Coherence Maximization Improves Pluralistic Alignment

Resumen Técnico: La Maximización de la Coherencia Mejora el Alineamiento Pluralista

Planteamiento del Problema
Alinear los sistemas de IA con diversos valores humanos (alineamiento pluralista) sigue siendo un desafío central. Aunque los principios de alto nivel como la "utilidad" proporcionan una dirección, a menudo no logran traducirse en la práctica para poblaciones específicas debido a las inevitables tensiones que surgen al aplicarlos a casos concretos. Los enfoques actuales enfrentan una "brecha de especificación": los principios abstractos son insuficientes y, además, generar ejemplos de valores concretos para diversas personas (por ejemplo, nacionalidades, afiliaciones políticas o estilos de interacción específicos) requiere una supervisión humana extensiva. Asimismo, los procedimientos de alineamiento estándar corren el riesgo de colapsar el pluralismo distributivo necesario para servir a poblaciones diversas, a menudo seleccionando una única perspectiva o dependiendo de datos de post-entrenamiento que pueden haber erradicado la diversidad de valores latente presente en los corpus de pre-entrenamiento.

Metodología
Los autores proponen la Maximización de la Coherencia Interna (ICM, por sus siglas en inglés) para generar ejemplos de valores específicos de cada persona sin supervisión humana. La metodología opera bajo la intuición de que los sistemas de valores coherentes exhiben regularidad estadística; si una persona sostiene una posición sobre un tema, esto restringe sus posiciones probables en temas relacionados.

El proceso consta de tres etapas:

1. Extracción de Personas y Selección de Ítems: Se extraen características de la persona a nivel grueso (por ejemplo, nacionalidad, afiliación política) de la consulta objetivo. Se identifican los ítems relevantes (preguntas de encuesta, pares de respuestas o pares de pregunta-respuesta).
2. Inferencia de Etiquetas Basada en ICM: Utilizando un modelo de lenguaje base, el sistema infiere etiquetas para estos ítems maximizando una puntuación de coherencia definida como la predictibilidad mutua de las etiquetas bajo el modelo. El algoritmo realiza una búsqueda (usando recocido simulado o simulated annealing) sobre las asignaciones de etiquetas para encontrar la configuración que maximiza la consistencia interna. Este proceso recupera estructuras de valores latentes dentro de los priors del modelo sin supervisión externa.
3. Condicionamiento en Contexto: Los pares ítem-etiqueta inferidos sirven como ejemplos de pocos disparos (few-shot) para dirigir al modelo durante la inferencia descendente. Esto se aplica a tres formatos de tarea: predicción de etiqueta discreta (clasificación), selección de preferencia de pares y generación de texto abierto dirigida.

Para poblaciones donde la inferencia no supervisada es poco fiable (subrepresentadas en los datos de pre-entrenamiento), los autores introducen la Elicitación de Coherencia Colaborativa. Este proceso iterativo identifica las preguntas donde los valores inferidos del modelo tienen baja confianza (alta incertidumbre) y consulta únicamente a anotadores humanos para estos ítems específicos. Estas etiquetas humanas se fijan luego como restricciones estrictas, y se vuelve a ejecutar el ICM para regenerar las etiquetas restantes, asegurando la coherencia con las nuevas restricciones.

Contribuciones Clave

1. Coherencia sobre Exactitud: El artículo demuestra que la coherencia interna de un conjunto de ejemplos en contexto predice mejor la generalización descendente que la exactitud individual de las etiquetas. Cuando la exactitud de las etiquetas se mantiene constante, los ejemplos con mayor predictibilidad mutua generalizan sustancialmente mejor que los incoherentes.
2. Paridad No Supervisada con Etiquetas de Referencia (Gold Labels): Los ejemplos inferidos mediante ICM, generados sin ninguna supervisión humana, igualan el rendimiento de los ejemplos supervisados con etiquetas de referencia (anotados por humanos) en cuatro bancos de pruebas (GlobalOpinionQA, OpinionQA, Persona-Tailoring y OvertonBench) y tres formatos de tarea. Esto se mantiene a través de múltiples familias de modelos (Llama-3.1, Qwen-3, OLMo-3) y escalas.
3. Eficiencia del Feedback Humano Dirigido: Para personas subrepresentadas, la recopilación de feedback humano en preguntas de alta incertidumbre produce una generalización significativamente mejor que el mismo número de etiquetas en preguntas arbitrarias. Este enfoque minimiza la carga de anotación mientras corrige errores sistemáticos en la estructura de valores inferida del modelo.

Resultados

• Rendimiento: En todos los conjuntos de datos, las etiquetas inferidas por ICM lograron un rendimiento de alineamiento comparable al de las etiquetas supervisadas de referencia. Por ejemplo, en GlobalOpinionQA, ICM logró un 71.7% de exactitud frente al 71.2% de la supervisión de referencia; en OpinionQA, 81.9% frente a 81.0%. Ambos superaron significativamente a los baselines de cero disparos (zero-shot).
• El Rol de la Coherencia: Un baseline de "Exactitud Emparejada" (Accuracy-Matched), donde las etiquetas fueron perturbadas aleatoriamente para igualar la exactitud de ICM pero con menor coherencia, funcionó significativamente peor (cayendo a menudo a niveles de zero-shot). Esto aisla la coherencia como el motor principal de la generalización, no la corrección bruta de la etiqueta.
• Robustez: El efecto de la coherencia se observó en diversos tamaños de modelos (desde 7B hasta 70B de parámetros) y familias. Aunque los modelos más grandes recuperaron más de la ganancia potencial de la supervisión de referencia, incluso los modelos más pequeños se beneficiaron de ICM, siempre que poseyeran una estructura de valor latente suficiente.
• Elicitación Colaborativa: En experimentos con personas subrepresentadas (por ejemplo, Nigeria en GlobalOpinionQA), añadir solo cuatro etiquetas humanas dirigidas a las preguntas de menor confianza mejoró la exactitud en las pruebas en más de 30 puntos porcentuales, mientras que los baselines de aprendizaje activo o aleatorio mostraron ganancias menores.

Significancia y Reivindicaciones
El artículo argumenta que la coherencia es un principio de diseño clave para la especificación de valores escalable. Al aprovechar las diversas perspectivas humanas ya codificadas en los modelos de lenguaje pre-entrenados, ICM permite la construcción de especificaciones de valores efectivas sin la necesidad de una extensa supervisión de preferencias.

Los autores afirman que este enfoque ofrece una vía práctica para el alineamiento pluralista:

• Permite la generación de ejemplos específicos de cada persona que dirigen los modelos hacia los valores del grupo objetivo sin anotación humana para poblaciones bien representadas.
• Se integra naturalmente con el feedback humano para grupos subrepresentados, requiriendo solo una intervención mínima y dirigida para corregir sesgos latentes.
• Desafía la suposición de que la exactitud de la etiqueta individual es la métrica principal para la especificación de valores, sugiriendo en su lugar que la consistencia mutua de un sistema de valores es más crítica para la generalización.

El trabajo es modesto en su alcance, reconociendo que el enfoque depende de patrones estadísticos en el texto de pre-entrenamiento en lugar del acceso directo a las intenciones humanas, y que puede requerirse el ajuste de hiperparámetros para diferentes dominios. Sin embargo, postula que maximizar la coherencia interna proporciona una alternativa viable y escalable al alineamiento de valores tradicional supervisado.