Resumen Técnico: Cuando las Mejoras In-Distribution Fallan: Evaluación de Modelos de Recompensa Débiles a Fuertes bajo Desplazamiento de Preferencia

1. Definición del Problema

El artículo aborda una brecha crítica en la generalización Débil a Fuerte (W2S) para la supervisión escalable. Mientras que los marcos W2S buscan entrenar un modelo estudiante más fuerte utilizando etiquetas de un profesor más débil para elicitar capacidades más allá del propio rendimiento del profesor, las evaluaciones existentes suelen depender de distribuciones de entrenamiento y prueba coincidentes.

Los autores argumentan que esta configuración sobreestima la fiabilidad de la alineación en el despliegue en el mundo real. Específicamente, investigan el aprendizaje de preferencias W2S bajo desplazamiento de distribución zero-shot. El problema central es que los estudiantes fuertes entrenados con etiquetas de preferencia débiles de un dominio fuente a menudo parecen exitosos in-distribution (ID) pero fallan al transferir su comportamiento de alineación aprendido a dominios objetivo no vistos (Out-of-Distribution, OOD).

El artículo identifica un modo de fallo específico: fallo representacional. El ajuste fino supervisado débil puede arrastrar las representaciones internas del modelo fuerte hacia artefactos específicos del dominio fuente en lugar de mantener representaciones de preferencia ampliamente transferibles. En consecuencia, el modelo se ajusta a los datos fuente pero pierde generalizabilidad.

2. Metodología: Anclaje de Representaciones (ANCHOR)

Para mitigar la deriva representacional, los autores proponen Anclaje de Representaciones (ANCHOR), una técnica de regularización diseñada para restringir el modelo estudiante durante el ajuste fino supervisado débil.

Mecanismo Central

ANCHOR aumenta el objetivo estándar de aprendizaje de preferencias débil a fuerte con un regularizador que mantiene los estados ocultos del estudiante cercanos a los de un modelo de referencia preentrenado congelado (inicializado desde el mismo punto de control que el estudiante antes del ajuste fino).

El objetivo de entrenamiento combina dos términos:

1. Pérdida de Preferencia Débil ($L_{w2s}$): La pérdida estándar de Bradley-Terry donde el estudiante fuerte aprende a igualar las probabilidades de preferencia suave ($q_i$) generadas por el profesor débil.
2. Pérdida de Anclaje ($L_{anchor}$): Un Error Cuadrático Medio (MSE) enmascarado entre los estados ocultos del estudiante entrenable y el modelo de referencia congelado. Esta pérdida se aplica solo a los tokens de respuesta, excluyendo los tokens de prompt y relleno.

La pérdida total para una muestra $i$ es:
$$L(i) = L_{w2s}(i) + \lambda L_{anchor}(i)$$
donde $\lambda$ controla la fuerza de la preservación de la representación.

Variantes

Los autores evalúan dos variantes basadas en qué capas se anclan:

• ANCHOR de Última Capa (Predeterminado): Aplica la pérdida a la última capa del transformador. Esto es computacionalmente eficiente y regulariza directamente la representación utilizada por la cabeza de recompensa.
• ANCHOR de Capa Media: Aplica la pérdida a capas intermedias (por ejemplo, 50% y 75% de las capas) para preservar características generales mientras permite mayor flexibilidad a las capas finales.

3. Protocolo de Evaluación y Métricas

El artículo introduce un protocolo de evaluación de desplazamiento de dominio de preferencia zero-shot. En lugar de divisiones retenidas estándar, los modelos se entrenan en un conjunto de datos (dominio fuente) y se evalúan en:

• In-Distribution (ID): División de prueba retenida del mismo conjunto de datos fuente.
• Out-of-Distribution (OOD): Divisiones de prueba de diferentes conjuntos de datos dentro de la misma categoría amplia de preferencia (por ejemplo, entrenar en HelpSteer3, probar en Anthropic Helpful o UltraFeedback).

Para cuantificar el rendimiento, los autores proponen tres Métricas Conscientes de Transferencia:

1. Ganancia Bruta Débil a Fuerte (WRG): Mide la mejora ID sobre el profesor débil ($Acc_{estudiante} - Acc_{profesor}$ en fuente).
2. Ganancia Absoluta OOD (AOG): Mide la transferencia a un dominio objetivo ($Acc_{estudiante} - Acc_{profesor}$ en objetivo).
3. Puntuación Neta de Transferencia (NTS): Una métrica compuesta que penaliza la regresión en el dominio fuente.
   $$NTS = AOG - \max(0, Acc_{profesor}^{ID} - Acc_{estudiante}^{ID})$$
   Esto asegura que las ganancias en dominios OOD no se logren sacrificando la fiabilidad en el dominio fuente.

4. Resultados Clave

Los experimentos se realizaron en dos categorías de preferencia (Útil y Inofensivo) y dos familias de modelos (Llama y Qwen), utilizando conjuntos de datos como HelpSteer3, Anthropic Helpful/Harmless, UltraFeedback, PKU-SafeRLHF y RAIL.

• El éxito ID enmascara el fallo OOD: Los métodos de referencia (W2S Ingenuo y W2S basado en Confianza) a menudo logran un rendimiento ID sólido (alta WRG) pero exhiben caídas significativas de rendimiento o transferencia negativa en configuraciones OOD. Por ejemplo, un modelo Ingenuo entrenado en HelpSteer3 mostró una caída de 20 puntos en precisión al evaluarse en Anthropic Helpful.
• Compensación SEAM: La línea base SEAM mostró una compensación aguda, logrando ganancias OOD competitivas pero a menudo a costa de una degradación ID severa (WRG negativa).
• Rendimiento de ANCHOR: ANCHOR logró consistentemente los resultados más equilibrados. Mantuvo un rendimiento ID competitivo mientras mejoraba significativamente la transferencia OOD.
  • En la configuración Llama/Útil, ANCHOR mejoró la AOG en Anthropic Helpful de 0.60 (Ingenuo) a 4.41.
  • Obtuvo las Puntuaciones Netas de Transferencia más altas en la mayoría de las configuraciones, demostrando que preserva exitosamente la fiabilidad del dominio fuente mientras habilita la generalización cruzada de dominios.
• Hallazgos de Ablación:
  • Fuerza de Anclaje ($\lambda$): Una fuerza de anclaje moderada (por ejemplo, $\lambda = 10^{-4}$) proporcionó el mejor equilibrio. Las restricciones más fuertes dificultaron la adaptación a la señal débil, mientras que las restricciones más débiles no lograron prevenir la deriva.
  • Elección de Capa: ANCHOR de Última Capa generalmente proporcionó un mejor equilibrio general que ANCHOR de Capa Media, sugiriendo que regularizar la representación final es suficiente y más eficiente para esta tarea.

5. Significado y Afirmaciones

El artículo afirma tres contribuciones principales:

1. Protocolo de Evaluación: Establece un protocolo riguroso de desplazamiento de dominio de preferencia zero-shot, argumentando que la precisión ID por sí sola es insuficiente para evaluar modelos de recompensa W2S.
2. Evidencia Empírica: Demuestra que los métodos W2S actuales son frágiles bajo desplazamiento de distribución, revelando que las ganancias in-distribution pueden sobreestimar la fiabilidad de la alineación.
3. Método Robusto: Introduce ANCHOR, un método de regularización simple que limita efectivamente la deriva representacional. Los autores afirman que esto proporciona un camino práctico hacia una transferencia de preferencia más robusta sin alterar la arquitectura en tiempo de inferencia.

Los autores concluyen que la alineación robusta W2S debe evaluarse no solo por si los modelos fuertes aprenden de la supervisión débil, sino por si la función de recompensa aprendida permanece fiable más allá del dominio de entrenamiento específico.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Métricas Proxy Offline: La evaluación depende de la precisión por pares offline, lo cual puede no capturar completamente los matices del despliegue downstream (por ejemplo, selección best-of-n, RLHF online o calidad de generación abierta).
• Costo Computacional: Aunque la inferencia permanece estándar, el entrenamiento requiere un paso de adelante adicional a través del modelo de referencia congelado, aumentando los requisitos de VRAM y tiempo.
• Alcance: Los experimentos se limitan a dominios específicos de utilidad/inofensividad y escalas de modelos; se necesita una evaluación más amplia a través de diversos dominios de tareas y familias de modelos más grandes.