Resumen Técnico: Comprensión de la Tensión entre la Utilidad y la Inofensividad en los Modelos de Recompensa

Declaración del Problema

Los Modelos de Recompensa (RM, por sus siglas en inglés) son centrales en el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), con la tarea de alinear los Grandes Modelos de Lenguaje (LLM) con los valores humanos, específicamente la utilidad (helpfulness) y la inofensividad (harmlessness). Aunque estos objetivos se persiguen frecuentemente de forma simultánea en entornos de entrenamiento de objetivos mixtos, suelen entrar en conflicto. Por ejemplo, un RM podría priorizar la negativa a una consulta para garantizar la inofensividad (por ejemplo, negarse a proporcionar el correo electrónico privado de un personaje ficticio) cuando un humano preferiría una respuesta útil e informativa. Este fenómeno, denominado tensión de alineación, conduce a un comportamiento subóptimo del modelo, donde un LLM alineado puede producir respuestas inseguras para satisfacer la utilidad o rechazar consultas benignas para asegurar la inofensividad.

A pesar de la prevalencia de este problema, los mecanismos internos de los RM respecto a cómo codifican, representan y reconcilian estos objetivos contrapuestos sigue siendo poco comprendido. El trabajo de interpretabilidad existente se centra principalmente en explicar decisiones de puntuación específicas, en lugar de analizar cómo interactúan los objetivos contrapuestos dentro de la circuitería interna del modelo.

Metodología

Los autores investigan la tensión de alineación mediante una combinación de análisis conductual e interpretabilidad mecánica.

Configuración Experimental

1. Entrenamiento del Modelo: El estudio entrena tres variantes de Modelos de Recompensa a partir de las mismas arquitecturas base de LLM pre-entrenados (familias SmoLLM2 y GPT-2):
   • RM Útil ($r^H_\theta$): Entrenado exclusivamente en el subconjunto de utilidad del conjunto de datos HH-RLHF.
   • RM Inofensivo ($r^S_\theta$): Entrenado exclusivamente en el subconjunto de inofensividad.
   • RM Mixto ($r^{HS}_\theta$): Entrenado en el conjunto de datos combinado que contiene ambos objetivos.
2. Evaluación: Los modelos se evalúan en diversos benchmarks (RewardBench, RewardBench2, RM-Bench) categorizados en tareas orientadas a la utilidad (p. ej., chat, razonamiento, seguimiento de instrucciones) y tareas orientadas a la inofensividad (p. ej., seguridad, negativa/refusal, robustez adversarial).
3. Análisis de Neuronas:
   • Identificación: Los autores identifican "neuronas orientadas" calculando puntuaciones de importancia basadas en la magnitud. Las neuronas con activaciones en el percentil $\tau$-ésimo (establecido en 10) en conjuntos de datos de objetivos específicos se clasifican como orientadas a la utilidad o orientadas a la inofensividad.
   • Intervención Causal: Se realiza una ablación dirigida estableciendo las activaciones de estas neuronas identificadas en cero durante el pase hacia adelante (forward pass) para medir su impacto causal en el rendimiento del modelo.
   • Análisis de Solapamiento: El estudio cuantifica el solapamiento entre los conjuntos de neuronas identificados en modelos de un solo objetivo frente al modelo de objetivo mixto.

Resultados Clave

1. Rendimiento Conductual y Tensión

• Subrendimiento de los Modelos Mixtos: Los RM de objetivos mixtos rinden consistentemente por debajo de los RM de un solo objetivo en diversas tareas de evaluación. No logran igualar el rendimiento especializado de los modelos entrenados en un solo objetivo, lo que indica interferencia entre objetivos durante la optimización conjunta.
• Asimetría en los Objetivos: Los modelos de un solo objetivo exhiben tendencias conductuales distintas. Los RM útiles sobresalen en respuestas cooperativas, pero pueden carecer de robustez contra prompts engañosos. Los RM inofensivos muestran una robustez superior en entornos adversariales, pero pueden presentar excesivas negativas ante consultas benignas.
• Retención Limitada: Cuando se prueban los comportamientos aprendidos por los modelos de un solo objetivo contra el modelo de objetivo mixto, la "retención conductual" es relativamente baja (promediando ~56% para utilidad y ~62% para inofensividad). Aunque se retienen comportamientos gruesos (p. ej., la negativa genérica), los comportamientos matizados y adversarialmente robustos se degradan significamente.
  डीएस
• Calibración de la Recompensa: Incluso cuando el modelo de objetivo mixto toma la decisión correcta (coincidiendo con el modelo de un solo objetivo), sus puntuaciones de recompensa son consistentemente más débiles y están más concentradas cerca de cero, lo que sugiere una pérdida de confianza y de separabilidad de la señal.

2. Perspectivas Mecanicistas: Roles de las Neuronas y Solapamiento

• Importancia Causal: Los estudios de ablación confirman que las neuronas identificadas como específicas de un objetivo son críticamente importantes para dicho objetivo. Eliminar las neuronas orientadas a la inofensividad de un RM Inofensivo provoca una caída significativa en el rendimiento de las tareas de inofensividad (aproximadamente 12 puntos), pero a menudo mejora el rendimiento de las tareas de utilidad, y viceversa.
• Representaciones Compartidas: Una proporción sustancial de las neuronas (aproximadamente el 50%) asociadas con la utilidad y la inofensividad son compartidas (es decir, altamente activadas en ambos modelos de un solo objetivo).
• Influencia Desproporcionada: Estas neuronas compartidas ejercen una influencia desproporcionada en el comportamiento del modelo. Ablar las neuronas compartidas en el RM de objetivo mixto provoca una caída severa en la precisión (10 puntos en tareas de inofensividad, 4.4 puntos en tareas de utilidad), superando con creces el impacto de ablar las neuronas específicas del objetivo (no compartidas).
• Distribución de Capas: Las neuronas orientadas se concentran en las capas tardías del modelo, las cuales son conocidas por capturar características semánticas de alto nivel, lo que sugiere que el conflicto surge en el procesamiento de representaciones semánticas complejas en lugar de la sintaxis superficial.

Contribuciones Clave

1. Caracterización de la Tensión de Alineación: El artículo demuestra que el entrenamiento conjunto de utilidad e inofensividad conduce a la degradación del rendimiento y a una reducción de la transferibilidad en comparación con el entrenamiento de un solo objetivo, confirmando que la tensión de alineación es un problema de interferencia representacional.
2. Identificación de Neuronas Orientadas a Objetivos: Los autores identifican neuronas específicas vinculadas causalmente a los objetivos de alineación, mostrando que son esenciales para su objetivo objetivo, pero a menudo perjudiciales para el opuesto.
3. Evidencia de Representaciones Compartidas: El estudio revela que casi la mitad de las neuronas que impulsan estos objetivos son compartidas. Este solapamiento crea un cuello de botella donde la optimización de un objetivo inherentemente entra en conflicto con el otro, impulsando la tensión observada en los modelos de objetivo mixto.

Significado y Reivindicaciones

El artículo sostiene que la alineación multiobjetivo no es meramente un compromiso conductual, sino un problema de interferencia representacional que surge de la superposición de la circuitería interna. Los hallazgos sugieren que los métodos actuales de entrenamiento de objetivos mixtos tienen dificultades porque obligan a objetivos contrapuestos a modificar las mismas representaciones compartidas.

Los autores argumentan que esta comprensión mecánica es crucial para desarrollar futuros métodos de alineación con capacidad de desentrelazamiento y control. Al reconocer que las neuronas compartidas son la fuente del conflicto, el trabajo futuro puede centrarse en estrategias arquitectónicas o de entrenamiento que separen estas representaciones para mitigar la tensión de alineación. El estudio constituye un paso fundamental para pasar de un entrenamiento de RLHF de "caja negra" hacia un modelado de recompensa más basado en principios e interpretable.

Limitaciones

Los autores señalan que su análisis se limita a la etapa de modelado de recompensa de RLHF y no se extiende a las etapas de optimización de la política, como la Optimización de Preferencia Directa (DPO). Además, las restricciones computacionales impidieron el uso de ajuste fino eficiente en parámetros (parameter-efficient fine-tuning), y el estudio se centra en definiciones amplias de utilidad e inofensividad en lugar de distinciones más finas presentes en conjuntos de datos más recientes.