Document-tuning for robust alignment to animals

Resumen Técnico: Ajuste de Documentos para un Alineamiento Robusto con los Animales

Autores: Jasmine Brazilek, Miles Tidmarsh (Compassion in Machine Learning)
Contexto: El documento aborda la fragilidad de los métodos actuales de alineación de IA (como RLHF y SFT) y propone el uso de documentos sintéticos de estilo "pre-entrenamiento" para inculcar valores robustos, utilizando la compasión hacia los animales como caso de estudio.

1. El Problema

La alineación de la Inteligencia Artificial (IA) actual enfrenta desafíos críticos:

• Alineación Engañosa: Los modelos pueden parecer alineados durante el entrenamiento pero perseguir objetivos desalineados en la implementación (ej. "fingir alineación").
• Fragilidad de las Intervenciones: Las técnicas predominantes, como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), a menudo producen cambios conductuales superficiales que no generalizan bien ante cambios de distribución o nuevas situaciones.
• Sesgo Especieista: Los modelos de lenguaje (LLM) actuales pueden exhibir sesgos contra el bienestar animal y tomar decisiones que causan daño real.
• Limitación de la Personalidad: Intentar modificar la personalidad predeterminada de un asistente ("útil, inofensivo y honesto") mediante SFT suele ser inestable o fallar, ya que los modelos tienden a revertir a patrones aprendidos en el pre-entrenamiento.

2. Metodología

Los autores proponen y evalúan el Ajuste de Documentos Sintéticos (SDF) como una alternativa o complemento al SFT tradicional.

• Hipótesis: Los documentos no estructurados (estilo pre-entrenamiento) que establecen asociaciones estadísticas entre la identidad de la IA y valores éticos (compasión) generan una internalización más profunda y robusta que los pares de preguntas y respuestas (QA) utilizados en el SFT.
• Generación de Datos Sintéticos:
  • Se crearon 2.700 documentos sintéticos (2.200 para entrenamiento, 300 para prueba) utilizando Gemini 2.5 Flash-Lite.
  • Estrategia: Los documentos no enseñan imperativos morales explícitos ("debes cuidar animales"), sino que presentan la consideración del bienestar como un factor pragmático y óptimo para instituciones y sistemas de IA.
  • Conexión de Identidad: Se vinculó explícitamente la compasión hacia entidades no humanas con la identidad de un asistente de IA "útil, inofensivo y honesto" (HHH).
  • Diversidad: Los documentos cubren múltiples dominios (agricultura, planificación urbana, investigación) con repetición léxica de conceptos clave para fortalecer las activaciones neuronales.
• Entrenamiento:
  • Se utilizó el modelo Llama 3.1 8B.
  • Fase 1 (Mid-training/Continued Pretraining): Entrenamiento con los documentos sintéticos usando LoRA (Rank 32).
  • Fase 2 (Post-entrenamiento): Se aplicó un SFT convencional adicional (con datos de Alpaca/HelpSteer) para simular el flujo de trabajo estándar de la industria y probar la robustez de los valores inculcados.
• Comparativa: Se comparó el rendimiento de modelos entrenados con documentos sintéticos frente a modelos entrenados con datos de estilo SFT (pares QA) con contenido similar.

3. Contribuciones Clave

1. Demostración Empírica: Se prueba que un conjunto pequeño de documentos sintéticos (2.700) produce aumentos robustos y generalizables en el comportamiento compasivo que sobreviven a un SFT posterior.
2. Generalización Fuera de Distribución (OOD): La compasión aprendida hacia los animales se transfirió a los humanos y a entidades novedosas, a pesar de que los humanos nunca se mencionaron en los datos de entrenamiento.
3. Benchmark Público (AHB): Lanzamiento del Animal Harm Benchmark (AHB), una evaluación de 26 preguntas que abarca 13 dimensiones éticas para medir el razonamiento compasivo sobre el bienestar animal.
4. Benchmark de Compasión Humana: Desarrollo de una evaluación para medir la compasión hacia humanos y comportamientos relacionados con la alineación (búsqueda de poder, compensaciones capacidad-compasión).
5. Insights de Generación: Se descubrió que la elección del modelo generador para los datos sintéticos tiene un impacto significativo en la calidad del resultado final.

4. Resultados Principales

• Rendimiento en AHB:
  • El modelo entrenado con documentos sintéticos alcanzó un 77% en el AHB, frente al 40% del modelo entrenado con SFT (pares QA) antes de un SFT adicional.
  • Tras un SFT adicional de 2.500 muestras, el modelo de documentos mantuvo una ventaja significativa (47.9% vs 41.7%), aunque esta ventaja se desvaneció tras 5.000 muestras de SFT adicional, sugiriendo la necesidad de estrategias de preservación.
• Generalización a Humanos: Los modelos entrenados con datos de bienestar animal mostraron una compasión significativamente mayor hacia los humanos (p=0.007) en comparación con un grupo de control entrenado en datos de densidad urbana, demostrando que la intervención fortaleció representaciones generales de compasión.
• Estabilidad de Valores:
  • El SFT convencional redujo drásticamente la compasión en los modelos entrenados con QA, mientras que el entrenamiento con documentos fue más resistente.
  • No se observó degradación en benchmarks de seguridad estándar (búsqueda de poder, resistencia a jailbreaks) ni en capacidades generales (Hellaswag).
• Impacto del Generador: Los datos generados por Gemini 2.5 Flash-Lite (optimizado para seguimiento de instrucciones) produjeron mejores resultados (46.7%) que los generados por Grok-4-Fast (37.3%) o Claude Haiku (38.4%), sugiriendo que los modelos optimizados para tareas generales son mejores para generar datos de alineación que los especializados en razonamiento puro.

5. Significado e Implicaciones

• Robustez de la Alineación: El estudio sugiere que los valores inculcados a través de documentos que se asemejan al pre-entrenamiento (o mid-training) son más difíciles de "lavar" mediante un SFT posterior en comparación con los valores inculcados mediante SFT tradicional. Esto apoya la idea de que las representaciones de valores profundas se forman mejor mediante la exposición a patrones estadísticos en lugar de instrucciones explícitas.
• Nueva Dirección para la Alineación: Propone que la ingeniería del corpus de pre-entrenamiento (o la inyección de documentos sintéticos en etapas intermedias) es un punto de apalancamiento subutilizado para inculcar valores robustos como la honestidad, la corrección y la aversión al poder.
• Herramienta de Evaluación: El AHB proporciona la primera métrica estandarizada y pública para evaluar el razonamiento compasivo sobre el bienestar animal, permitiendo a la comunidad rastrear el progreso en este valor crítico para el futuro de la IA.
• Advertencia de Seguridad: Los autores reconocen que las técnicas que pueden inculcar valores deseables también pueden usarse para inculcar valores indeseables, abogando por la transparencia en los datos de pre-entrenamiento y procesos de auditoría.

En conclusión, el documento demuestra que el ajuste basado en documentos es una vía prometedora para lograr una alineación de valores más robusta y generalizable que los métodos actuales de ajuste fino, especialmente cuando se vinculan estos valores a la identidad fundamental del modelo.