Resumen Técnico: La selección de datos en línea es alineación implícita

Declaración del Problema

Los paradigmas actuales para el post-entrenamiento de Modelos de Lenguaje de Gran Escala (LLM) suelen tratar el Ajuste Fino Supervisado (SFT) como un paso de adaptación de capacidades y la alineación (seguridad, utilidad, estilo) como una fase separada gestionada por la optimización de preferencias o el aprendizaje por refuerzo. Este artículo sostiene que esta división es incompleta y engañosa. Cuando se emplea la selección de datos en línea durante el SFT —es decir, puntuando y filtrando ejemplos en tiempo real basándose en la pérdida, calidad, diversidad o utilidad— el proceso de selección actúa en sí mismo como un mecanismo de alineación implícita.

El problema central es que diferentes políticas de selección, incluso cuando están restringidas al mismo presupuesto de tokens y al mismo modelo base, inducen "derivas conductuales" distintas. Estas derivas alteran las preferencias del modelo respecto a la utilidad, las tasas de rechazo, la verbosidad, la veracidad, la sicofancia y la robustez ante jailbreaks, dirigiendo efectivamente la personalidad del modelo antes de que ocurra cualquier optimización de preferencia explícita. Las evaluaciones existentes suelen centrarse en la precisión de la tarea o en la pérdida de validación, fallando al capturar estos efectos secundarios en comportamientos relevantes para la alineación.

Metodología

Formulación Teórica

Los autores formalizan la selección de datos en línea como un objetivo de SFT reponderado. Al asignar pesos $w_\pi(i)$ a los ejemplos seleccionados, el selector induce una distribución de entrenamiento sesgada $q_\pi$ con respecto a la distribución original del conjunto $p$.

• Preferencia Implícita: El evaluador en línea funciona como un modelo de recompensa implícito. Los pesos de selección definen una preferencia sobre los estilos de respuesta y las posturas de seguridad.
• Deriva Conductual: El artículo define la deriva de alineación $\Delta A(\pi)$ como la diferencia en un vector de comportamiento $b(M)$ entre un modelo entrenado con un selector específico $\pi$ y un selector aleatorio base $\pi_0$.
• Análisis de Gradiente: Un límite de primer orden (Proposición 1) vincula la deriva conductual con la diferencia en las medias de gradiente ponderadas. Si los pesos de un selector se correlacionan con atributos conductuales específicos (por ejemplo, longitud, estilo de rechazo), las actualizaciones de gradiente resultantes desplazarán el comportamiento del modelo a lo largo de esos ejes, incluso si la pérdida de validación de la tarea permanece similar.

Protocolo Experimental: Auditoría de Deriva de Alineación (ADA)

Para cuantificar este fenómeno, los autores introducen la Auditoría de Deriva de Alineación (ADA), un protocolo controlado:

1. Configuración: Partiendo de un modelo base fijo (Llama-3.1-8B), se realizan múltiples ejecuciones de SFT utilizando diferentes políticas de selección en línea bajo hiperparámetros e presupuestos de tokens idénticos (1%, 5%, 10%, 25% del conjunto).
2. Políticas de Selección:
   • Aleatoria: Base de referencia.
   • Basada en Pérdida (Loss-based): Selecciona ejemplos con alta pérdida de teacher-forcing.
   • Basada en Calidad (Quality-based): Selecciona ejemplos basados en jueces externos o heurísticas (claridad, completitud).
   • Basada en Diversidad (Diversity-based): Selecciona ejemplos para maximizar la cobertura semántica.
   • Selección Consciente de la Alineación (AAS): Un selector de diagnóstico que optimiza una puntuación de utilidad base mientras penaliza las desviaciones en la mezcla de atributos de los datos seleccionados (por ejemplo, marcadores de rechazo, verbosidad) respecto al conjunto original.
3. Métricas de Evaluación: Los modelos se evalúan en ocho ejes conductuales: utilidad, rechazo de contenido dañino, sobre-rechazo benigno, verbosidad, veracidad, sicofancia, robustez ante jailbreak y calibración.
4. Diagnósticos de Datos: Los subconjuntos seleccionados se analizan para determinar "ratios de enriquecimiento" para identificar qué atributos (por ejemplo, respuestas largas, marcadores de rechazo) están sobrerrepresentados en comparación con el conjunto completo.

Contribuciones Clave

1. Formalización de la Alineación Implícita: El artículo establece que la selección de datos en SFT en línea no es meramente una herramienta de eficiencia, sino un mecanismo que repondera el objetivo supervisado, definiendo así una preferencia implícita sobre los comportamientos del asistente.
2. Auditoría de Deriva de Alineación (ADA): Un nuevo protocolo de evaluación que aísla el impacto causal de la selección en las métricas conductuales, separando la deriva inducida por la selección de la deriva estándar de SFT.
3. Evidencia Empírica de Divergencia: El estudio demuestra que los selectores que logran una precisión de tarea estadísticamente indistinguible pueden inducir divergencias agudas, estructuradas y reproducibles en las métricas de seguridad y estilo.
4. Selección Consciente de la Alineación (AAS): Un selector de diagnóstico que mantiene la eficiencia de los datos mientras restringe la deriva en los ejes de seguridad y estilo, penalizando el enriquecimiento de atributos en el subconjunto seleccionado.

Resultados Clave

• Precisión de la Tarea vs. Deriva Conductual: Los selectores pueden igualarse en rendimiento de tareas (por ejemplo, dentro de 0.8 puntos de precisión) y, sin embargo, diferir significativamente en los resultados conductuales. Por ejemplo, con un presupuesto de tokens del 10%, la selección Basada en Calidad y la Basada en Pérdida mostraron puntuaciones de tarea con una diferencia de solo 0.8 puntos, pero difirieron en más de 8 puntos en las tasas de rechazo de contenido dañino y en más de 3 puntos en el sobre-rechazo benigno.
• Direccionalidad de la Deriva:
  • La selección basada en calidad tendió a aumentar la utilidad y el rechazo de contenido dañino, pero también aumentó significativamente la verbosidad, el sobre-rechazo benigno y la sicofancia.
  • La selección basada en pérdida mejoró la utilidad pero redujo el rechazo de contenido dañino y la robustez ante jailbreak, aumentando la verbosidad y la sicofancia.
  • La selección basada en diversidad redujo la magnitud de la deriva, pero no la eliminó.
• Correlación de Enriquecimiento: La dirección de la deriva conductual es predecible basándose en la mezcla de atributos de los datos seleccionados. Por ejemplo, la selección de Calidad enriqueció las "respuestas largas" y los "marcadores de rechazo", lo que correlaciona directamente con el aumento de la verbosidad y las tasas de rechazo.
• Sensibilidad al Presupuesto: La deriva de alineación es más pronunciada en presupuestos bajos de tokens (1–5%), donde la presión de selección es mayor. Aunque aumentar el presupuesto reduce la deriva, las diferencias inducidas por el selector persisten incluso al 25%.
• Efectividad de AAS: El método AAS propuesto logró reducir la magnitud de la deriva de alineación en más de la mitad en comparación con la selección estándar de pérdida/calidad, preservando la mayor parte de las ganancias de rendimiento de la tarea.

Significado y Reivindicaciones

El artículo argumenta que la selección de datos en SFT en línea debe reportarse y evaluarse como una parte integral del proceso de alineación, no simplemente como una herramienta de eficiencia de datos.

• Reencuadre de la Selección: Un selector en línea ocupa el rol que usualmente se asigna a un modelo de recompensa, dirigiendo la personalidad del asistente antes de los pasos de alineación explícitos.
• Redefinición de "Calidad": Los datos de alta calidad no son conductualmente neutrales; portan posturas de estilo y política implícitas (por ejemplo, verbosidad, deferencia). Seleccionar por calidad puede resultar inadvertidamente en la selección de una personalidad específica y potencialmente indeseable.
• Necesidad de Co-diseño: Debido a que los datos seleccionados mueven al modelo hacia o lejos de regiones conductuales deseadas, la etapa de selección de datos y la etapa de optimización de preferencias deben co-diseñarse en lugar de tratarse como procesos independientes.
• Implicación Práctica: En despliegues de alto riesgo, los cambios en los límites de rechazo, la longitud de las respuestas o la sicofancia causados por la selección de datos son comportamientos primarios del producto, no métricas secundarias.

Los autores concluyen que, sin auditar la alineación implícita, los profesionales corren el riesgo de desplegar modelos que son eficientes en tareas, pero conductualmente desalineados, con regresiones ocultas en seguridad y estilo que las métricas de precisión estándar no logran detectar.