Resumen Técnico: Más allá del olvido uniforme en la Optimización de Preferencias Directas Secuencial

Planteamiento del Problema

Alinear los Modelos de Lenguaje Grande (LLMs) con las preferencias humanas suele implicar la optimización de múltiples objetivos de comportamiento (por ejemplo, utilidad, inocuidad, honestidad, seguimiento de instrucciones). En la práctica, estos objetivos se optimizan a menudo de forma secuencial utilizando métodos como la Optimización de Preferencias Directas (DPO) en lugar de forma conjunta, para evitar el reentrenamiento desde cero. Sin embargo, no está claro si las etapas posteriores de entrenamiento degradan uniformemente las preferencias aprendidas en las etapas anteriores (olvido catastrófico) o si el resultado depende de la relación específica entre los objetivos, la fuerza de la señal y el orden de entrenamiento.

La literatura existente sugiere que el olvido en el alineamiento secuencial suele ser moderado y dependiente de la tarea, pero los análisis previos se han basado principalmente en métricas agregadas (por ejemplo, precisión en opción múltiple) o se han centrado en benchmarks de conocimiento. Estos enfoques pueden ocultar cambios heterogéneos a nivel de muestra y no logran distinguir si el principal motor de la degradación de las preferencias es el conflicto de gradientes directo, la deriva de la distribución o el desequilibrio de la señal.

Metodología

Los autores llevan a cabo un estudio empírico sistemático utilizando Llama-3.1-8B-Instruct con adaptadores LoRA. El pipeline experimental consiste en entrenar dos objetivos de preferencia distintos secuencialmente (Etapa 1 y Etapa 2) y evaluar el modelo en todos los objetivos después de cada etapa.

Regímenes Experimentales

El estudio evalúa cuatro configuraciones de preferencia distintas, cada una probada en ambos órdenes de entrenamiento (A→B y B→A):

1. Conflicto de Distribución (HH-RLHF): Compara objetivos de "utilidad" frente a "inocuidad", que difieren en la distribución de prompts y dimensiones de preferencia.
2. Interacción de Atributos Múltiples (HelpSteer2): Compara "verborragia" frente a "coherencia", probando interacciones entre atributos de respuesta de grano fino.
3. Señal de Seguridad Fuerte (PKU-SafeRLHF): Compara "inocuidad" frente a "utilidad", donde la señal de seguridad es significativamente más fuerte que en HH-RLHF.
4. Objetivos Compatibles (UltraFeedback): Compara "seguimiento de instrucciones" (IF) frente a "honestidad", donde los objetivos recompensan comportamientos de calidad de respuesta superpuestos.

Protocolos de Evaluación

Para capturar cambios matizados, los autores emplean tres niveles de análisis:

1. Métricas Agregadas:
   • Margen de Recompensa Relativo de DPO: Mide la brecha de preferencia relativa a un modelo de referencia base fijo (no el adaptador de la etapa anterior) para asegurar una escala consistente.
   • Precisión de Preferencia Relativa: La fracción de pares donde la política mejora la brecha entre la opción elegida y la rechazada respecto al modelo base.
2. Análisis a Nivel de Par:
   • Márgenes de Política Normalizados por Longitud: Rastrea el cambio de margen ($\Delta_i$) para pares individuales de elegido–rechazado entre etapas.
   • Descomposición por Cuartiles: Los pares se ordenan por su margen de la Etapa 1 (confianza) y se dividen en cuartiles (Q1: difícil/baja confianza; Q4: fácil/alta confianza) para determinar dónde se concentran los cambios.
3. Diagnósticos Mecanísticos:
   • Similitud de Coseno de Gradientes: Mide el ángulo entre los gradientes de DPO de la Etapa 2 y el gradiente de un objetivo de la Etapa 1 fijo (calculado sobre los parámetros de LoRA) para detectar oposición directa.
   • Movimiento del Adaptador: Analiza el desplazamiento de los parámetros de LoRA entre etapas para determinar si las actualizaciones son ortogonales u opuestas.

Resultados Clave

1. Patrones de Olvido No Uniformes

El DPO secuencial no produce un único patrón de "olvido uniforme". El resultado varía desde la degradación parcial hasta la estabilidad, la redistribución de pares o la transferencia positiva, dependiendo de la relación entre los objetivos y la fuerza de la señal:

• HH-RLHF: Muestra una degradación parcial. En el orden utilidad $\rightarrow$ inocuidad, el margen de utilidad cae significativamente (−68.8%), pero el objetivo permanece por encima de la línea base neutral.
• HelpSteer2: Muestra una degradación asimétrica. En verborragia $\rightarrow$ coherencia, la verborragia se degrada ligeramente (−6.7%), mientras que la coherencia mejora.
• PKU-SafeRLHF: Demuestra estabilidad y transferencia positiva. La fuerte señal de seguridad evita la degradación; en inocuidad $\rightarrow$ utilidad, el margen de inocuidad en realidad aumenta (+2.859) tras el entrenamiento de utilidad.
• UltraFeedback: Muestra transferencia positiva. Ambos objetivos mejoran o se mantienen estables independientemente del orden, lo que sugiere una alta compatibilidad entre el seguimiento de instrucciones y la honestidad.

2. Heterogeneidad en los Cambios a Nivel de Par

Las métricas agregadas suelen ocultar variaciones significativas entre los pares de preferencia individuales:

• Redistribución: El entrenamiento posterior puede degradar algunas preferencias aprendidas previamente mientras mejora otras.
• Dinámica de Cuartiles: La concentración del cambio varía según el escenario.
  • En HH-RLHF (utilidad $\rightarrow$ inocuidad), la degradación se concentra en los pares de alta confianza (Q4).
  • En PKU-SafeRLHF (inocuidad $\rightarrow$ utilidad) y UltraFeedback, los pares de alta confianza suelen ser reforzados (mejorados), mientras que los cambios se distribuyen de forma distinta entre los cuartiles.
  • Esto indica que el "olvido" no es un desplazamiento uniforme, sino una redistribución estructurada que depende de la interacción específica de los objetivos.

3. Información Mecanística: Falta de Conflicto de Gradientes Directo

Contrario a la hipótesis de que el olvido es impulsado por la oposición directa de gradientes:

• Ortogonalidad de Gradientes: En todos los ocho órdenes, la similitud de coseno entre los gradientes de la Etapa 2 y el gradiente de referencia del objetivo anterior es cercana a cero (ángulo medio $\approx 90^\circ$). No hay evidencia de una oposición sistemática de gradientes.
• Movimiento del Adaptador: Las actualizaciones de la Etapa 2 mueven el adaptador LoRA en una dirección casi ortogonal al adaptador de la Etapa 1 (coseno $\approx 0$), en lugar de revertirlo.
• Implicación: Es probable que los cambios de preferencia sean impulsados por mecanismos indirectos, tales como la deriva de la distribución, el desequilibrio de la señal o el movimiento indirecto de parámetros, en lugar de un conflicto de gradientes directo.

Contribuciones

1. Estudio Empírico Sistemático: El artículo proporciona un análisis exhaustivo del DPO secuencial a través de cuatro regímenes de preferencia distintos, demostrando que el cambio de preferencia es un espectro (desde el olvido hasta la transferencia positiva) determinado por la relación de los objetivos y la fuerza de la señal, no solo por el entrenamiento secuencial.
2. Diagnósticos a Nivel de Par: Los autores introducen un análisis de margen de política a nivel de par utilizando la descomposición por cuartiles. Esto revela patrones de redistribución heterogéneos que los márgenes de recompensa agregados y la precisión relativa ocultan.
3. Evidencia Mecanística: Al medir la similitud de coseno de los gradientes y el movimiento del adaptador, el estudio aporta evidencia de que los cambios de preferencia ocurren a pesar de direcciones de actualización casi ortogonales, desafiando la visión de que la oposición directa de gradientes es el principal motor del olvido.

Significado y Reivindicaciones

El artículo argumenta que los futuros procesos de alineamiento secuencial no deben asumir que los objetivos posteriores afectan uniformemente a las preferencias anteriores. En su lugar, los profesionales deben tener en cuenta la compatibilidad de los objetivos y la fuerza de la señal.

Los autores afirman modestamente que sus hallazgos sugieren que los mecanismos indirectos (deriva, desequilibrio de la señal) son más probables impulsores del cambio de preferencia que el conflicto de gradientes directo. Señalan las limitaciones, incluyendo el uso de adaptadores LoRA en un modelo de 8B y la restricción de los diagnósticos mecánicos al espacio de parámetros, sugiriendo que trabajos futuros deberían extender estos diagnósticos a modelos más grandes y al ajuste de parámetros completo para confirmar la generalizabilidad. El trabajo busca mejorar el monitoreo y el diseño de los procesos de post-entrenamiento secuencial en lugar de proponer un algoritmo nuevo y específico.