Resumen Técnico: DynaCF – Mitigación del Aprendizaje de Atajos en Modelos de Recompensa mediante la Sensibilidad Contrafactual Dinámica

1. Planteamiento del Problema

Los modelos de recompensa (RM) son fundamentales para alinear los Modelos de Lenguaje Extensos (LLMs) con las preferencias humanas, entrenándose típicamente utilizando datos de preferencia por pares mediante el objetivo de Bradley–Terry. Sin embargo, estos modelos frecuentemente explotan el aprendizaje de atajos (shortcut learning), dependiendo de señales superficiales (por ejemplo, longitud de la respuesta, formato, verbosidad o expresiones tipo plantilla) en lugar de una calidad genuina relevante para la tarea.

Un desafío crítico identificado es que el riesgo de atajo no es una propiedad estática del conjunto de datos. Un par de preferencia puede parecer benigno inicialmente, pero puede volverse sensible a los atajos si la frontera de decisión del modelo depende fuertemente de características superficiales para mantener su margen de recompensa. Por el contrario, una muestra que parece depender de atajos podría ser robusta si la preferencia del modelo permanece estable cuando esas propiedades superficiales se neutralizan. Las estrategias de mitigación existentes suelen depender de heurísticas estáticas o características superficiales predefinidas, fallando en considerar la naturaleza dinámica de cómo un modelo específico aprende atajos durante diferentes etapas de entrenamiento.

2. Metodología: DynaCF

Los autores proponen DynaCF (Sensibilidad Contrafactual Dinámica), un marco que diagnostica y repondera dinámicamente las muestras de entrenamiento basándose en la sensibilidad del modelo de recompensa actual a las perturbaciones superficiales.

Mecanismo Central

DynaCF opera construyendo variantes contrafactuales que preservan la semántica de la respuesta "elegida" ($y^+$) mientras mantiene fijos el prompt ($x$) y la respuesta "rechazada" ($y^-$). Estas variantes neutralizan las propiedades superficiales (formato, tono, longitud) sin alterar el contenido central relevante para la tarea.

El proceso involucra tres pasos principales:

1. Construcción de Contrafactuales:

   • Para cada muestra, el sistema genera contrafactuales válidos ($y^{cf}_{i,k}$) utilizando reglas conscientes del dominio (por ejemplo, eliminar encabezados Markdown, neutralizar el tono, acortar la verbosidad).
   • Verificaciones estrictas de validez aseguran que el contrafactual preserve el contenido semántico principal (mediante umbrales de superposición de tokens) y, para dominios de matemáticas/código, retenga todos los números y estructuras lógicas.

2. Diagnóstico de Sensibilidad:

   • El modelo de recompensa actual $R_\theta$ evalúa tanto el par original como los pares contrafactuales.
   • El sistema calcula el margen de recompensa ($m$) para los pares originales y contrafactuales.
   • Puntuación de Sensibilidad ($s_{cf,i}$): Computada basada en la magnitud del cambio de margen ($\Delta$) y la frecuencia de inversiones de preferencia (donde la respuesta elegida contrafactual recibe una recompensa menor que la rechazada).
   • Una puntuación de sensibilidad alta indica que la preferencia del modelo es inestable y probablemente esté impulsada por pistas superficiales en lugar de una calidad real.

3. Reponderación Dinámica:

   • En lugar de eliminar muestras o tratar los contrafactuales como nuevas etiquetas, DynaCF convierte la puntuación de sensibilidad en un peso de muestra local de paso ($w_i$) para la pérdida de Bradley–Terry original.
   • El peso se define como $w_i(t) = \max(w_{min}, 1 - \gamma \cdot s_{cf,i}(t))$, donde $\gamma$ controla la fuerza de la reducción de peso y $w_{min}$ evita la eliminación completa.
   • Las muestras con alta sensibilidad a los atajos son deponderadas, reduciendo su influencia en las actualizaciones del gradiente, mientras que las muestras de baja sensibilidad mantienen su peso completo.
   • Este proceso se realiza en línea durante la optimización, permitiendo que los pesos se adapten a medida que el comportamiento del modelo evoluciona.

3. Contribuciones Clave

• Diagnóstico Dinámico: El artículo introduce un método para diagnosticar la dependencia de atajos dinámicamente durante el entrenamiento, reconociendo que la sensibilidad al atajo es dependiente del modelo y de la etapa, en lugar de ser una propiedad estática del conjunto de datos.
• Sondeo Contrafactual: Utiliza contrafactuales que preservan la semántica como sondas de diagnóstico para medir la estabilidad de los márgenes de recompensa bajo perturbaciones de superficie únicamente.
• Marco de Reponderación: DynaCF propone una estrategia de reponderación novedosa que suprime las actualizaciones de muestras sensibles a los atajos sin descartar datos ni alterar la distribución de preferencias.
• Validación Empírica: El marco es validado a través de múltiples benchmarks (RM-Bench, RewardBench, RewardBench2) y escalas de modelos (Qwen3-4B y Qwen3-8B).

4. Resultados Experimentales

Los experimentos demuestran que DynaCF mejora consistentemente la robustez de los modelos de recompensa en comparación con el entrenamiento estándar de Bradley–Terry:

• Razonamiento Difícil y Seguridad: Las ganancias más significativas se observan en las divisiones "Hard" (difíciles) y evaluaciones de seguridad crítica, donde las pistas superficiales son malos indicadores de calidad.
  • En RM-Bench Hard, DynaCF mejoró Qwen3-4B en +8.7 puntos (41.3% $\to$ 50.0%) y Qwen3-8B en +4.6 puntos (49.8% $\to$ 54.4%).
  • En métricas de Seguridad, Qwen3-4B vio ganancias de +8.2 en RM-Bench y +4.0 en RewardBench.
• Escala del Modelo: Los modelos más pequeños (Qwen3-4B) se beneficiaron de manera más consistente en todos los benchmarks, sugiriendo que son más vulnerables al aprendizaje de atajos y, por lo tanto, ganan más de la reponderación dinámica.
• Estudios de Ablación:
  • Dinámico vs. Estático: Las puntuaciones de sensibilidad estáticas computadas antes del entrenamiento funcionaron peor que la línea base, confirmando que las estimaciones de sensibilidad deben actualizarse en línea para ser efectivas.
  • Uso de Contrafactuales: El uso de contrafactuales únicamente como sondas de diagnóstico (sin añadir una pérdida auxiliar) superó a las variantes que trataban a los contrafactuales como etiquetas de preferencia adicionales.
  • Hiperparámetros: Una fuerza de reponderación moderada ($\gamma$) y un periodo de calentamiento corto produjeron los mejores compromisos, evitando que las estimaciones ruidosas iniciales distorsionaran el objetivo.

5. Significado y Reivindicaciones

El artículo afirma que DynaCF ofrece una solución robusta al problema del reward hacking (ataque de recompensa) y la sobreoptimización causadas por el aprendizaje de atajos. Al cambiar de un filtrado estático a una reponderación dinámica y consciente del modelo, el método fomenta que los modelos de recompensa dependan de señales de preferencia relevantes para la tarea en lugar de patrones superficiales.

Los autores enfatizan que este enfoque:

• Mejora la generalización en tareas difíciles y sensibles a la seguridad.
• No requiere descartar datos ni cambios arquitectónicos complejos.
• Proporciona una herramienta de diagnóstico para entender cómo modelos específicos aprenden atajos en diferentes etapas de entrenamiento.

6. Limitaciones

Los autores reconocen varias limitaciones:

• Calidad de los Contrafactuales: La efectividad depende de la calidad de la construcción de contrafactuales basada en reglas, que ocasionalmente puede alterar información útil o fallar en eliminar completamente las pistas objetivo.
• Alcance: Los experimentos se limitan a modelos de recompensa basados en texto y benchmarks; la aplicabilidad a modelos de recompensa multimodales o de proceso no ha sido probada.
• Alcance del Sondeo: Actualmente, el sondeo contrafactual se aplica únicamente a las respuestas elegidas; las respuestas rechazadas también pueden contener pistas de atajos.
• Dinámicas de Entrenamiento: La relación entre la reponderación de atajos, la capacidad del modelo y las dinámicas de entrenamiento requiere mayor exploración.