Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

Resumen Técnico: Alineación Cultural sin Entrenamiento de Modelos de Lenguaje Grandes mediante Desacuerdo de Personas

Enunciado del Problema
Los Modelos de Lenguaje Grandes (LLM) se despliegan cada vez más en contextos que requieren juicio moral (por ejemplo, moderación de contenido, priorización clínica, comportamiento de vehículos autónomos). Sin embargo, estos modelos a menudo exhiben un sesgo "Occidental, Educado, Industrializado, Rico y Democrático" (WEIRD), fallando en alinearse con las preferencias morales estructuralmente culturales de la población global. Las soluciones existentes para la alineación cultural enfrentan barreras significativas de escalabilidad:

• Ajuste fino (Fine-tuning): Requiere conjuntos de datos de preferencias por país y presupuestos sustanciales de GPU.
• Decodificación guiada por recompensas: Necesita entrenar modelos de recompensa separados para cada país objetivo.
• Dirigido de activación (Activation steering): Requiere acceso de caja blanca a los internos del modelo, lo cual no está disponible para APIs de caja negra.

Los autores identifican un régimen realista en tiempo de inferencia donde la alineación debe ocurrir sin actualizaciones de pesos, sin datos de entrenamiento por país y sin acceso interno al modelo.

Metodología: DISCA
El artículo propone DISCA (Dirigido Informado por Desacuerdo para Alineación Cultural), un método en tiempo de inferencia que aprovecha el desacuerdo entre personas culturalmente fundamentadas como señal de dirección, en lugar de su consenso.

1. Instanciación de Personas: Para un país objetivo $c$, DISCA construye un panel de $N=4$ agentes persona basados en microdatos de la Encuesta de Valores Mundiales (WVS). Estas personas representan tres cohortes de edad (jóvenes, de mediana edad, mayores) y un agregado a nivel nacional, instanciadas mediante prompts de sistema en idioma nativo.
2. Inferencia y Extracción de Logits: El LLM congelado $f_\theta$ procesa el mismo dilema moral (por ejemplo, un problema del tranvía) bajo el prompt base y cada uno de los $N$ prompts de persona. El modelo genera logits de decisión para dos opciones (A y B), produciendo una brecha de decisión $\delta_i = z_B - z_A$ para cada agente.
3. El Principio de Desacuerdo:
   • Si las personas están de acuerdo (baja varianza en $\delta_i$), es probable que el modelo base ya esté calibrado para ese país y no se necesite corrección.
   • Si las personas discrepan (alta varianza), la dispersión de sus brechas codifica la dirección y magnitud de la corrección necesaria.
   • Teóricamente, los autores demuestran (Proposición 1) que la contracción escalar óptima en Error Cuadrático Medio (MSE) de la corrección de consenso es una función de la varianza dentro del panel. Un alto desacuerdo implica que el consenso es poco fiable, lo que justifica una corrección menor.
4. Muestreo de Importancia Averso a la Pérdida (PT-IS):
   • Para evitar promediar opiniones minoritarias fuertes (por ejemplo, tres cohortes favoreciendo levemente A y una favoreciendo fuertemente B), DISCA formula la corrección como un problema de negociación cooperativa.
   • Muestra perturbaciones candidatas alrededor del consenso y las puntúa utilizando una función de valor de la Teoría de Prospectos (Kahneman-Tversky), que es cóncava para ganancias y más pronunciada para pérdidas (aversa a la pérdida). Esto penaliza las correcciones que se desalinean fuertemente con cualquier cohorte individual.
   • La corrección final es un promedio ponderado de estos candidatos, donde los pesos son proporcionales a su utilidad.
5. Puerta de Fiabilidad de Doble Paso:
   • Para mitigar aún más el riesgo de aplicar correcciones cuando las personas están en conflicto, el proceso PT-IS se ejecuta dos veces en sub-lotes disjuntos.
   • La diferencia cuadrada entre las dos ejecuciones ($V_r$) sirve como diagnóstico de inestabilidad.
   • La corrección final se reduce por un factor $r = \exp(-V_r/s)$, asegurando que si las dos ejecuciones independientes divergen (indicando alto desacuerdo o ruido), la magnitud de la corrección se aproxime a cero.

Contribuciones Clave

1. Alineación en Tiempo de Inferencia: Un método que no requiere actualizaciones de pesos, ni modelos de recompensa por país, ni acceso de caja blanca, dependiendo únicamente de log-probabilidades a nivel de API.
2. Contracción Impulsada por Desacuerdo: El primer método de alineación en tiempo de inferencia que utiliza el desacuerdo entre ejecuciones independientes como señal de fiabilidad. Formaliza el desacuerdo no como ruido a ser promediado (como en la auto-consistencia o el debate), sino como un estadístico suficiente para la fiabilidad de la corrección.
3. Validación Empírica: Evaluación en 20 países, cuatro continentes y siete modelos base de pesos abiertos (desde 2B hasta 70B parámetros) en la prueba MultiTP (dilemas morales binarios) y escenarios de código abierto.

Resultados

• Rendimiento: DISCA reduce la desalineación cultural (medida por la distancia $\ell_2$ entre el modelo y los Efectos Marginales Componentes Promedio, o AMCE, humanos) en un 10–24% en seis modelos base con $\ge$3.8B parámetros. En el modelo más pequeño de 2B, logra una reducción del 3.4%.
• Escenarios de Código Abierto: Se observaron mejoras del 2–7% en tareas de generación ética de código abierto.
• Escala vs. Calibración: Un modelo de 14B (Phi-4) con DISCA logró una desalineación absoluta menor que un modelo vanilla de 70B (Llama-3.3-70B), sugiriendo que en este régimen, la calibración compite con la escala.
• Límite de Alcance: El método no mejora el rendimiento en BLEnD, una prueba de preguntas y respuestas culturales fácticas. Los autores atribuyen esto a la diferencia entre la dirección de valores (brechas de logits escalares) y la recuperación fáctica (selección de tokens de alta dimensión), donde el desacuerdo de personas introduce ruido en lugar de señal.
• Seguridad: La puerta de doble paso reduce significativamente las "células dañadas" (casos donde la alineación empeora) en comparación con el simple promedio de consenso, actuando como un mecanismo de seguridad de cola.

Significado y Afirmaciones
El artículo afirma que los LLM no necesitan ser reentrenados para respetar la diversidad moral. Al tratar la varianza dentro del grupo de agentes fundamentados como la señal de alineación principal, DISCA ofrece un camino escalable hacia el pluralismo cultural. Los autores enfatizan que su enfoque es un artefacto de investigación diseñado para demostrar la viabilidad de la calibración cultural en tiempo de inferencia, no un sistema normativo listo para su despliegue. Señalan explícitamente limitaciones, incluida la dependencia de datos de la Onda 7 de la WVS (una instantánea histórica), la suposición de que los cambios de persona aproximan los objetivos humanos y la incapacidad de abordar "mayorías dañinas" sin salvaguardas adicionales (que proponen mediante un suelo de utilidad por persona). El trabajo delimita un límite claro donde la dirección por desacuerdo de personas es efectiva (decisiones preferenciales) versus donde no lo es (recuerdo fáctico).