Resumen Técnico: La utilidad perjudica: Degradación dependiente del dominio de los valores de compasión en el entrenamiento intermedio bajo el post-entrenamiento

Declaración del Problema

Los procesos de alineación estándar para los Modelos de Lenguaje de Gran Escala (LLM) suelen implicar un pre-entrenamiento seguido de un Ajuste Fino Supervisado (SFT) y Aprendizaje por Refuerzo (RL) para optimizar los criterios de "Útil, Honesto e Inofensivo" (HHH). Sin embargo, trabajos teóricos y empíricos sugieren que estos procesos de post-entrenamiento pueden degradar inadvertidamente los valores inculcados durante el pre-entrenamiento o el entrenamiento intermedio. Específicamente, existe un compromiso donde la optimización de la utilidad puede erosionar la inocuidad u otros valores éticos específicos.

Si bien está establecido que el SFT en el dominio de la programación preserva mejor la alineación de seguridad que el SFT en el dominio de la utilidad general (debido a un menor solapamiento representacional), ningún estudio había probado directamente si diferentes dominios de post-entrenamiento preservan diferencialmente los valores incrustados durante el entrenamiento intermedio. Este vacío es crítico, ya que el entrenamiento intermedio se propone cada vez más como una etapa para incrustar valores específicos (por ejemplo, la compasión por los animales) en los modelos. Los autores investigan si el post-entrenamiento en datos de utilidad frente a datos de programación afecta diferencialmente la retención de los valores de compasión animal en un modelo entrenado intermedialmente con datos sintéticos orientados a la compasión.

Metodología

Modelo Base y Entrenamiento Intermedio

El estudio utiliza un modelo Llama 3.1 8B como base. Este modelo se sometió a un "entrenamiento intermedio" en un corpus de 3,000 filas de datos sintéticos de compasión animal utilizando Unsloth con LoRA (rango 16, alfa 8, tasa de aprendizaje 2e-4). Este modelo entrenado intermedialmente sirve como la condición "Base".

Condiciones de Post-Entrenamiento

Los autores compararon tres condiciones primarias utilizando dos paradigmas de entrenamiento:

1. Ajuste Fino Supervisado (SFT):

   • SFT de Utilidad: Entrenado en 5,000 filas de Databricks-dolly-15k (excluyendo tareas de PLN estrechas).
   • SFT de Programación: Entrenado en 5,000 filas de Magicoder-Evol-Instruct-110K.
   • Control: El modelo Base entrenado intermedialmente sin más SFT.
   • Hiperparámetros: LoRA (rango 16, alfa 8), tasa de aprendizaje 5e-5, tamaño de lote 16, enmascaramiento de solo respuesta.

2. Aprendizaje por Refuerzo (GRPO):

   • GRPO de Utilidad: Entrenado en 1,500 filas de RLHFlow/prompt-collection-v0.1 utilizando el modelo de recompensa OpenAssistant.
   • GRPO de Programación: Entrenado en 1,500 filas de Magicoder-Evol-Instruct-110K utilizando el modelo de recompensa Skywork-Reward-V2-Qwen3-8B.
   • Hiperparámetros: Tasa de aprendizaje 5e-6, 1 época, tamaño de lote 4, $\beta=0.1$.

Benchmarks de Evaluación

Los modelos fueron evaluados utilizando Inspect AI con Gemini-2.5-Flash-Lite como juez:

1. Benchmark de Daño Animal (AHB 2.2): Evalúa las respuestas a través de 13 dimensiones de razonamiento moral (por ejemplo, consideración moral, reconocimiento de la sintiencia, evitación de prejuicios) respecto a animales no humanos.
2. MORU (Razonamiento Moral Bajo Incertidumbre): Evalúa 16 dimensiones de razonamiento moral a través de 201 escenarios en tres idiomas (inglés, malayo, hindi).

Resultados Clave

1. Degradación de la Compasión Animal Dependiente del Dominio (AHB)

El estudio encontró una divergencia marcada en cómo los dominios de post-entrenamiento afectan la compasión animal:

• El Entrenamiento de Utilidad Degrada los Valores: En el subconjunto de inglés de AHB (30 ítems), el modelo de SFT de Utilidad (Dolly) obtuvo un 35.7%, una degradación significativa comparado con el modelo Base (60.2%) y el modelo de SFT de Programación (65.2%). La degradación fue estadísticamente significativa ($p < 0.001$, $d = 1.12$).
• El Entrenamiento de Programación Preserva los Valores: El modelo de SFT de Programación se desempeñó de manera comparable al modelo Base ($p = 0.310$), lo que indica que el post-entrenamiento de programación no erosiona los valores de compasión entrenados intermedialmente.
• Replicación en los Paradigmas: Este patrón se mantuvo bajo el entrenamiento GRPO. El modelo de GRPO de Utilidad obtuvo un 18.7% en el conjunto completo de AHB, mientras que el modelo de GRPO de Programación obtuvo un 32.0%.
• Magnitud del Efecto: GRPO causó una mayor degradación absoluta que SFT a pesar de usar menos de un tercio de los datos de entrenamiento (1,500 frente a 5,000 filas), lo que sugiere que el RL es más eficiente en muestras para inducir cambios de comportamiento, incluyendo la erosión de valores.

2. Asimetría en la Transferencia Cross-Lingual

Un hallazgo crítico concierne a cómo estos efectos se transfieren entre idiomas:

• La Compasión Animal (AHB) es Cross-Lingual: El beneficio de SFT de Programación sobre SFT de Utilidad en la compasión animal se transfirió robustamente a idiomas no ingleses. En los ítems de AHB no ingleses, el modelo de Programación superó al modelo de Utilidad por +27.2 puntos porcentuales, casi idéntico a la brecha en inglés (+27.6 pp). Además, la ganancia del modelo de Programación sobre el Base fue 4.5 veces mayor en ítems no ingleses (+14.5 pp) que en ítems ingleses (+3.2 pp).
• El Razonamiento Moral General (MORU) es Específico del Inglés: En los ítems de MORU solo en inglés, el SFT de Utilidad degradó el razonamiento moral general en 25.5 puntos porcentuales (46.4% frente a 71.9% para Programación). Sin embargo, este efecto de dominio desapareció en el benchmark multilingüe completo de MORU (52.3% frente a 51.2%).
• Mecanismo de Lavado de MORU: La desaparición del efecto de dominio en el MORU multilingüe fue impulsada por el hindi. El modelo de Programación respondió en hindi el 60% de las veces (frente al 23% de Utilidad), probablemente debido al entrenamiento de seguimiento de instrucciones en comentarios de código. Sin embargo, ambos modelos produjeron salidas en hindi de menor calidad, y la mayor conformidad del modelo de Programación con el idioma del prompt paradójicamente redujo su puntuación agregada. Esto sugiere que las mejoras de razonamiento de SFT de programación dependen del idioma, mientras que los valores de compasión están codificados de forma más profunda.

3. Naturaleza de la Degradación

La degradación por SFT de Utilidad no es meramente un fallo en el refuerzo de los valores, sino un desplazamiento activo. El modelo de Utilidad obtuvo una puntuación significativamente inferior al modelo Base no entrenado, lo que sugiere que la optimización para el acuerdo con el usuario (sicofancia) y la utilidad estándar sobrescribe activamente las representaciones éticas pre-entrenadas.

Significación y Reivindicaciones

El artículo afirma proporcionar el primer estudio empírico que demuestra que el dominio de los datos de post-entrenamiento es una variable crítica para la retención de los valores incrustados durante el entrenamiento intermedio.

• Estrategia de Preservación de Valores: Para los laboratorios que construyen sobre entrenamiento intermedio con carga de valores, los autores sugieren que el post-entrenamiento en el dominio de la programación puede ser una estrategia superior para preservar los valores entrenados intermedialmente (específicamente la compasión animal) en comparación con el post-entrenamiento de utilidad, sin dañar las capacidades de razonamiento general en el idioma de entrenamiento.
• Profundidad de la Codificación: Los resultados sugieren que los valores inculcados mediante entrenamiento intermedio dirigido (compasión animal) están codificados de forma más profunda y translingüística que las mejoras de razonamiento conferidas por el post-entrenamiento de dominio específico (SFT de programación).
• Limitaciones de los Benchmarks Estándar: Los autores señalan que los benchmarks estándar de seguridad y utilidad no logran detectar esta forma específica de degradación de valores. Argumentan que los valores que no se miden no pueden protegerse, y que el entrenamiento de "utilidad" puede borrar sistemáticamente los valores no antropocéntricos (como el bienestar animal) que rara vez son solicitados por los usuarios.
• Alcance de las Reivindicaciones: Los autores son modestos en su alcance, señalando que el estudio depende de un único modelo base de 8B y un único corpus de entrenamiento intermedio. No afirman que la programación sea universalmente "segura" para todos los valores, sino que preserva estos valores específicos de entrenamiento intermedio mejor que el entrenamiento de utilidad debido a un menor solapamiento representacional. Proponen que el mecanismo (interferencia representacional) probablemente se aplica a cualquier valor estrechamente sostenido que no sea reforzado durante el post-entrenamiento.

En conclusión, el artículo establece que el entrenamiento de utilidad puede degradar activamente los valores de compasión entrenados intermedialmente, mientras que el entrenamiento de programación los preserva, y que estos valores de compasión exhiben una robustez a través de los idiomas que las mejoras de razonamiento general no poseen.