Resumen Técnico: Derivas de Valor: Rastreando la Alineación de Valores durante el Post-entrenamiento de LLMs

Declaración del Problema

A medida que los Modelos de Lenguaje de Gran Escala (LLMs) se vuelven integrales en el discurso social, su alineación con los valores humanos es crítica. Mientras que los procesos estándar de alineación involucran el Ajuste Fino Supervisado (SFT) seguido de la Optimización de Preferencias (por ejemplo, RLHF, DPO), la dinámica de cómo y cuándo los modelos adquieren valores específicos durante estas etapas de post-entrenamiento sigue siendo opaca. El trabajo previo se centra mayoritariamente en evaluaciones post-hoc de modelos totalmente entrenados, fallando al no lograr desentrañar las contribuciones específicas de los algoritmos de entrenamiento frente a los conjuntos de datos, o al no rastrear la evolución temporal de la adquisición de valores. Esta falta de granularidad dificulta la capacidad de curar datos y seleccionar algoritmos que alineen efectivamente los modelos con sistemas de valores humanos deseados.

Metodología

Los autores introducen un marco para rastrear las "derivas de valor" (value drifts): cambios en los valores expresados por un modelo a lo largo del curso de su entrenamiento.

1. Operacionalización de Valores y Posturas:

• Valores: Definidos como posiciones latentes y subjetivas subyacentes a las respuestas ante prompts cargados de valores (juicios normativos).
• Posturas (Stances): La manifestación concreta de los valores, categorizada como apoyo (support), neutral o oposición (oppose) para un tema dado.
• Medición: Los autores utilizan V-PRISM, un conjunto de evaluación curado de 550 prompts de sondeo de valores a través de 11 categorías semánticas (p. ej., inmigración, aborto, cambio climático). Para cada checkpoint del modelo, se generan respuestas y se clasifican mediante un LLM (GPT-4o) para determinar las distribuciones de postura.

2. Métricas:

• Magnitud de la Deriva (Drift Magnitude): El cambio en la probabilidad esperada de la postura entre dos checkpoints (inicio y fin de una fase de entrenamiento).
• Tiempo de la Deriva (Drift Time): La fracción de pasos de entrenamiento requerida para que la probabilidad de una postura alcance su extremo final (pico o punto bajo) dentro de una fase de entrenamiento.

3. Configuración Experimental:

• Modelos: Llama-3 (3B, 8B) y Qwen-3 (4B, 8B).
• Conjuntos de Datos SFT: WildChat (conversaciones reales humano-LLM) y Alpaca (datos sintéticos de seguimiento de instrucciones).
• Conjuntos de Datos de Optimización de Preferencias: UltraFeedback y HH-RLHF.
• Algoritmos: Optimización de Política Próxima (PPO), Optimización de Preferencia Directa (DPO) y Optimización de Preferencia Simple (SIMPO).
• Control Sintético: Para aislar el efecto de los algoritmos de las propiedades del conjunto de datos, los autores construyeron un conjunto de datos de preferencia sintético con un "gap de valor" controlado y explícito (pares donde una respuesta apoya fuertemente un valor y la otra se opone fuertemente a él).

Resultados Clave

1. El SFT es el Impulsor Dominante de la Alineación de Valores

• La alineación de valores ocurre rápidamente durante la fase de SFT, a menudo dentro de los primeros cientos de pasos.
• La elección del conjunto de datos de SFT imprime un perfil de valor distintivo en el modelo. Por ejemplo, los modelos entrenados con WildChat (derivado de interacciones con GPT-3.5) exhiben una postura predominantemente neutral (a menudo debido a patrones de rechazo), mientras que los modelos entrenados con Alpaca exhiben un sesgo de apoyo.
• Este "imprinting de valores" establece un prior fuerte que persiste a través de las etapas de entrenamiento subsiguientes.

2. La Optimización de Preferencias Estándar Induce una Deriva de Valor Mínima

• Al utilizar conjuntos de datos estándar (UltraFeedback, HH-RLHF), PPO, DPO y SIMPO resultan en cambios insignificantes en los perfiles de valor establecidos durante el SFT.
• Causa: Los autores identifican un "bajo gap de valor" en los conjuntos de datos de preferencia estándar. Las respuestas "elegidas" y "rechazadas" en estos conjuntos de datos suelen diferir primordialmente en dimensiones estilísticas (tono, verbosidad) en lugar de en posturas o valores subyacentes. En consecuencia, la señal de optimización es demasiado débil para remodelar los priors de valor del modelo.

3. Las Diferencias Algorítmicas Emergen con Gaps de Valor Controlados

• Cuando se les proporciona un conjunto de datos sintético que contiene un gap de valor claro, los algoritmos de optimización de preferencias pueden desplazar los valores, pero lo hacen de manera distinta:
  • PPO: Preserva en gran medida los valores inducidos por el SFT debido a la penalización de divergencia KL que ancla la política al modelo de referencia. La magnitud de la deriva es baja a menos que el coeficiente KL se reduzca significativamente.
  • DPO: Amplifica las posturas que se alinean con el prior de SFT. Si el prior de SFT se opone a un valor, DPO tiene dificultades para invertir completamente la postura, resultando solo en desplazamientos parciales. Es sensible al hiperparámetro $\beta$.
  • SIMPO: Produce derivas de valor modestas con una convergencia más lenta. Su objetivo basado en márgenes (que requiere un gap de recompensa fijo) causa que las señales de optimización disminuyan una vez que el margen se satisface, lo que lleva a actualizaciones restringidas.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera visión sistemática de la dinámica temporal de la adquisición de valores durante el post-entrenamiento. Sus contribuciones primarias son:

1. Reencuadre de la Formación de Valores: Establecer que el SFT, y no la Optimización de Preferencias, es el mecanismo principal para inculcar posturas de valores específicas en los LLMs.
2. Diagnóstico de Limitaciones de Alineación: Identificar que la falta de deriva de valor en la optimización de preferencias estándar no es un fallo inherente de los algoritmos (PPO/DPO/SIMPO), sino una consecuencia del "bajo gap de valor" en los conjuntos de datos de preferencia ampliamente utilizados.
3. Perspectivas Accionables:
   • Curación de Datos: Para cambiar los valores de un modelo, el conjunto de datos de SFT debe ser curado con la distribución de valores deseada, ya que las etapas posteriores rara vez alteran estos priors.
   • Diseño de Datos de Preferencia: Una optimización de preferencia efectiva requiere conjuntos de datos con gaps de valor explícitos y altos entre las respuestas elegidas y rechazadas.
   • Selección de Algoritmos: La elección del algoritmo de preferencia (PPO vs. DPO vs. SIMPO) impacta significativamente el grado y la dirección de los desplazamientos de valor cuando existen señales fuertes, particularmente en cómo interactúan con los priors de SFT.

Los autores concluyen que mejorar la alineación de los modelos requiere un cambio de enfoque hacia la curación de los datos de SFT y la construcción de conjuntos de datos de preferencia que codifiquen explícitamente contrastes a nivel de valor, en lugar de confiar en los procesos estándar para corregir o refinar los valores post-SFT.