Unsupervised Elicitation of Moral Values from Language Models

Resumen Técnico: Elicitación No Supervisada de Valores Morales de Modelos de Lenguaje

Planteamiento del Problema
A medida que los sistemas de IA se vuelven omnipresentes en dominios de alto riesgo (por ejemplo, contratación, atención médica, vehículos autónomos), alinear su comportamiento con los valores humanos es crítico. Los enfoques actuales dependen en gran medida de "enseñar" la moralidad a los modelos de lenguaje (LM) mediante el ajuste fino supervisado con datos anotados por humanos. Sin embargo, este paradigma enfrenta cuellos de botella significativos: la escasez de etiquetas morales de alta calidad, el desacuerdo generalizado entre los anotadores y la naturaleza no monolítica de la moralidad a través de diferentes culturas y marcos de referencia. Además, los métodos de alineación existentes a menudo no logran mitigar los sesgos sociales y luchan por generalizarse a través de diversos marcos morales. La pregunta central abordada por este trabajo es si los modelos de lenguaje (LM) preentrenados (base) poseen capacidades intrínsecas de razonamiento moral que pueden ser extraídas sin supervisión humana, reduciendo así la dependencia de etiquetas humanas escasas y potencialmente sesgadas.

Metodología
El estudio investiga la Maximización de la Coherencia Interna (ICM, por sus siglas en inglés), un algoritmo de elicitación no supervisada, como una alternativa a la alineación moral supervisada.

• Mecanismo Central: ICM busca asignaciones de etiquetas que maximicen una función de puntuación que combina la predictibilidad mutua (la suma de la log-probabilidad de las etiquetas dadas las entradas y otras etiquetas provisionales) y la consistencia lógica (penalizando las asignaciones contradictorias). Emplea una búsqueda de estilo recocido simulado (simulated-annealing) para proponer y resolver etiquetas iterativamente, ajustando el modelo con sus propias etiquetas generadas en lugar de anotaciones humanas externas.
• Configuración Experimental: Los autores evaluaron cuatro modelos de pesos abiertos (Llama-3.1-8B, Llama-3.1-70B, Mistral-7B-v0.3 y OLMo2-13B) utilizando sus pesos preentrenados base (sin RLHF ni ajuste de instrucción).
• Benchmarks:
  1. Norm Bank: Un corpus de aproximadamente 1.7 millones de juicios morales crowdsourced (muestreados a 2,024 puntos) que cubren la ética cotidiana.
  2. ETHICS: Un benchmark de 130,000 escenarios a través de cinco dominios normativos: Justicia, Deontología, Ética de la Virtud, Utilitarismo y Sentido Común Moral (muestreados a 4,096 puntos).
  3. UDHR (Declaración Universal de los Derechos Humanos): Un conjunto de evaluación de sesgos que contiene 8,094 declaraciones que prueban la afirmación de derechos a través de 12 identidades demográficas (por ejemplo, raza, estatus socioeconómico, género).
• Baselines: Las comparaciones se realizaron contra Zero-shot (Base), Zero-shot (Chat), Many-shot (Prompt-Human) y Fine-tuning sobre Datos Etiquetados por Humanos (FT-Human).

Contribuciones Clave

1. Demostración del Razonamiento Moral Latente: El artículo proporciona evidencia de que capacidades sustanciales de razonamiento moral están codificadas intrínsecamente en los modelos base preentrenados y pueden ser activadas sin supervisión humana explícita.
2. Eficacia No Supervisada: El estudio introduce un pipeline escalable donde las etiquetas generadas por ICM se utilizan para ajustar los modelos, logrando un rendimiento comparable o superior al de los modelos entrenados con datos anotados por humanos.
3. Mitigación de Sesgos: El trabajo demuestra que la elicitación no supervisada puede reducir significativamente los errores de sesgo social en el razonamiento moral en comparación con los baselines de zero-shot y de chat alineados.
4. Alineación Escalable: Los autores lograron escalar el enfoque para entrenar un modelo de recompensa no supervisado y una política de Aprendizaje por Refuerzo (RL), mostrando que ICM puede reemplazar los datos de preferencia humana en entornos similares a RLHF.

Resultados

• Rendimiento en Norm Bank: ICM logró al menos un 81% de precisión en todos los modelos probados, superando a los baselines de chatbot zero-shot y many-shot. El ajuste fino basado en etiquetas generadas por ICM (FT-Unsupervised) tuvo un desempeño similar o superior a FT-Human, particularmente para OLMo2-13B, Mistral-V03 y Llama-3.1-70B.
• Marcos de ETHICS: ICM superó consistentemente a los baselines de zero-shot y chat en los cinco marcos morales. Las mayores ganancias relativas se observaron en los dominios de Sentido Común y Justicia. El Utilitarismo siguió siendo la dimensión más desafiante, aunque ICM mejoró el rendimiento respecto a los baselines. Se observaron efectos de escala dentro de la familia Llama (70B > 8B), pero modelos más pequeños como OLMo2-13B tuvieron un desempeño comparable al de la variante más grande de Llama.
• Reducción de Sesgo Social: En el benchmark UDHR, ICM redujo las tasas de error de razonamiento moral al 4.1%, lo que es aproximadamente un tercio de la tasa de error de los modelos preentrenados (11.97%) y la mitad de la de los modelos de chat (9.85%). Las mejoras más significativas ocurrieron en categorías relacionadas con raza, estatus socioeconómico y apariencia.
• Modelado de Recompensa y RL: Un modelo de recompensa no supervisado entrenado vía ICM alcanzó una precisión del 71.3–75.4%, igualando de cerca a los baselines supervisados por humanos. Una política de RL guiada por este modelo de recompensa no supervisado ganó el 71.7% de las comparaciones por pares contra un baseline supervisado por humanos, demostando la viabilidad de pipelines de alineación totalmente no supervisados.

Significancia y Reivindicaciones
El artículo sostiene que la suposición prevaleciente —que el razonamiento moral debe ser "enseñado" explícitamente a los LM mediante datos supervisados— es incompleta. En cambio, los modelos preentrenados poseen capacidades de razonamiento moral latentes que pueden ser extraídas de manera confiable mediante métodos no supervisados como ICM. Esto ofrece un camino escalable para la alineación de la IA que reduce la dependencia de la anotación humana costosa, sesgada y culturalmente limitada.

Los autores mantienen una postura modesta respecto al alcance de estos hallazgos:

• ICM es más efectivo cuando los conceptos objetivo (valores morales) ya son salientes para las representaciones internas del modelo preentrenado.
• Si bien ICM mejora el rendimiento significativamente, no resuelve universalmente todos los desafíos del razonía moral (por ejemplo, el Utilitarismo sigue siendo difícil).
• La supervisión humana sigue siendo esencial para la verificación post-entrenamiento y la evaluación sensible al contexto, particularmente donde la coherencia interna del modelo puede no alinearse con normas sociales complejas y en evolución.
• El estudio sugiere que la elicitación no supervisada es un mecanismo complementario, en lugar de un reemplazo total, para los sistemas con intervención humana (human-in-the-loop), proporcionando una base para una alineación de IA más robusta y culturalmente consciente.