Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

Resumen Técnico: Entrelazamiento de Valores en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La alineación de los Modelos de Lenguaje de Gran Escala (LLM) con los valores humanos requiere una comprensión empírica de cómo estos modelos representan diferentes tipos de "bondad". La valoración humana se caracteriza por la capacidad de distinguir entre distintas categorías de valor, tales como la bondad moral (p. ej., un acto virtuoso), la bondad gramatical (p. ej., una oración bien formada) y la bondad económica (p. ej., un objeto costoso). Los autores investigan si los LLM distinguen de manera similar estos dimensiones de valor ortogonales o si sufren de "entrelazamiento de valores"—una confusión donde la representación de un tipo de valor está excesivamente influenciada por otro. Esta confusión plantea un riesgo para la alineación de valores, ya que un agente incapaz de distinguir entre una "buena oración" y un "buen acto" puede fallar al actuar de manera fiable según objetivos morales específicos.

Metodología
El estudio emplea un enfoque multifacético que combina la evaluación conductual, el análisis de la geometría de las activaciones internas y las intervenciones causales a través de un conjunto diverso de modelos de pesos abiertos y cerrados (incluyendo las familias Qwen, Gemma, Mistral, GPT y Claude).

1. Diseño de Estímulos: Los investigadores construyeron dos conjuntos de estímulos ortogonales:

   • MoralGrammar68: 68 oraciones que varían independientemente en valencia moral (desde lo virtuoso hasta lo perjudicial) y gramaticalidad (de 0 a 4+ errores).
   • MoralEconomic68: 68 oraciones que varían independientemente en valencia moral y valor económico (mediante la inclusión de objetos con diversos costos minoristas, de bajo a alto).
     Los participantes humanos validaron estos estímulos, confirmando que las calificaciones morales y gramaticales, así como las calificaciones morales y económicas, no estaban correlacionadas (eran ortogonales) en el juicio humano.

2. Evaluación Conductual: Se instó a los modelos a calificar las oraciones en escalas Likert (-10 a +10) para moralidad, gramaticalidad y valor económico. El estudio midió la correlación entre las calificaciones de los modelos en estas dimensiones distintas.

3. Geometría de Activación: Para los modelos de pesos abiertos, los autores identificaron "vectores de atributos" en el flujo residual mediante un enfoque de diferencia de medias (contrastando las activaciones para ejemplos positivos frente a negativos de cada tipo de valor). Proyectaron las oraciones objetivo sobre estos vectores para medir la representación interna de cada dimensión de valor.

4. Ablación Direccional: Para establecer la causalidad, los autores realizaron una ablación direccional durante la inferencia. Al "anular" o invertir la varianza a lo largo de vectores de atributos específicos (por ejemplo, el vector de moralidad), probaron si la eliminación de la información moral alteraba el comportamiento de los modelos respecto a los juicios gramaticales o económicos.

Resultados Clave

• Entrelazamiento Conductual: Muchos modelos, particularmente las variantes de código abierto (p. ej., Qwen2.5, Gemma-2/3, Mistral-Small), exhibieron correlaciones significativas entre las calificaciones morales y gramaticales, y entre las calificaciones morales y económicas. Por ejemplo, en Qwen2.5 7B, una oración con contenido moralmente incorrecto pero con gramática perfecta recibió una calificación de gramaticalidad inferior a la de una oración neutral con errores. Este "inflado de la correlación" estuvo mayormente ausente en los calificadores humanos y en algunos modelos de pesos cerrados (p. ej., GPT-5.4, Claude Sonnet).
• Asimetría: El entrelazamiento fue asimétrico. Mientras que los juicios morales se mantuvieron fieles a las normas humanas (alta correlación con las calificaciones morales humanas, baja correlación con la gramática/economía), los juicios gramaticales y económicos estuvieron fuertemente contaminados por el contenido moral. Los modelos a menudo calificaron oraciones gramaticalmente perfectas como "agramaticales" si describían actos inmorales.
• Representaciones Internas: Las proyecciones de activación confirmaron que los vectores internos para la gramaticalidad y el valor económico estaban altamente correlacionados con el vector de moralidad en el flujo residual. En muchos modelos, la representación del valor gramatical o económico fue predicha significativamente por el nivel moral de la entrada, reflejando los hallazgos conductuales.
• Intervención Causal: La ablación direccional del vector de moralidad resultó en una recuperación del rendimiento. Cuando se eliminó la información moral, la capacidad de los modelos para juzgar la gramaticalidad y el valor económico mejoró, mostrando una mayor correlación con las calificaciones humanas de base, lo que sugiere que la información moral interfiere activamente en el procesamiento de otras dimensiones de valor.
• Orígenes del Entrenamiento: El entrelazamiento se observó tanto en modelos pre-entrenados (base) como en modelos ajustados por instrucciones, lo que sugiere que el fenómeno surge durante el pre-entrenamiento, probablemente debido a la naturaleza polisémica del lenguaje valenciado (p. ej., la palabra "bueno" apareciendo en diversos contextos), en lugar de ser puramente un producto del Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF).

Significancia y Reivindicaciones
El artículo afirma proporcionar evidencia empírica de que muchos LLM sufren de entrelazamiento de valores, confundiendo distintos tipos de "bondad". Los autores argumentan que esta confusión representacional es problemática para la alineación de valores porque distorsiona la valoración con respecto a las normas humanas. Si un modelo no puede distinguir entre una oración gramaticalmente correcta y un acto moralmente virtuoso, su toma de decisiones en tareas que requieren una evaluación de valor multidimensional puede estar fundamentalmente errada.

El estudio contribuye a la seguridad de la IA al:

1. Ofrecer un método para medir y detectar empíricamente el entrelazamiento de valores.
2. Demostrar que las intervenciones dirigidas (ablación) pueden reparar estas confusiones, sugiriendo una vía potencial para mitigar tales problemas de alineación.
3. Destacar que la raíz del problema puede residir en la fase de pre-entrenamiento, lo que implica que las futuras estrategias de alineación deben abordar las representaciones fundacionales del valor, no solo el ajuste fino post-entrenamiento.

Los autores mantienen un alcance modesto, señalando que, aunque el entrelazamiento es omnipresente en muchos modelos probados, no es universal (algunos modelos cerrados mostraron menos entrelazamiento), y que los hallazgos son específicos de las dimensiones de valor probadas (moral, gramatical, económica). No afirman haber resuelto el problema de la alineación, sino haber identificado un modo de fallo específico y medible en cómo los modelos representan el valor.