Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

Resumen Técnico: La Paradoja de las Recompensas Espurias: Entendiendo Mecánicamente cómo el RLVR Activa Atajos de Memorización en los LLM

Planteamiento del Problema
El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés) se ha convertido en un paradigma dominante para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLM), particularmente en dominios deterministas como las matemáticas. La suposición prevalente es que las ganancias de rendimiento provienen de la optimización de políticas de razonamiento robustas mediante la supervisión basada en la verdad fundamental (ground-truth). Sin embargo, observaciones empíricas recientes desafían esta narrativa. Modelos como Qwen2.5-Math han demostrado mejoras significativas en el rendimiento en benchmarks estándar (p. ej., MATH-500, AIME) incluso cuando han sido entrenados con "recompensas espurias": señales que son aleatorias, basadas en el formato o enteramente incorrectas. Si bien trabajos previos sugirieron que estas ganancias podrían ser resultado de la contaminación de datos (memorización de conjuntos de prueba durante el preentrenamiento), una brecha crítica persistía: si los datos ya estaban presentes, ¿por qué la precisión inicial era limitada y cómo es que el entrenamiento con recompensas incorrectas desbloquea paradójicamente este rendimiento? Este artículo investiga los mecanismos internos mediante los cuales el RLVR espurio desencadena un cambio del razonamiento general hacia una "memorización obstinada".

Metodología
Los autores emplean un conjunto de herramientas de interpretabilidad mecánica para diseccionar la dinámica de aprendizaje del modelo Qwen2.5-Math-7B bajo el entrenamiento de RLVR espurio. La metodología combina análisis estáticos y dinámicos:

1. Análisis de Perplejidad: El estudio rastrea la perplejidad de los tokens de respuesta frente a los tokens de la instrucción (prompt) para identificar anomalías de aprendizaje macroscópicas.
2. Parcheo de Rutas (Path Patching): Para atribuir causalmente las salidas a componentes específicos del modelo, los autores intercambian activaciones entre muestras de "Fuga" (Leakage, donde la memorización está activa) y muestras "Estables" (donde el razonamiento se mantiene) a través de diferentes capas. Esto aísla las aristas en el grafo computacional responsables de activar la recuperación de memoria.
3. Lente de Logit (Logit Lens) y Divergencia de Jensen-Shannon (JSD): Estas herramientas se utilizan para monitorear la emergencia de tokens capa por capa y cuantificar la alineación entre los estados ocultos intermedios y la distribución de salida final. Los puntajes altos de JSD indican una computación significativa restante antes de que el modelo se comprometa con una respuesta.
4. Ecuaciones Diferenciales Neuronales (NDEs): Las actualizaciones del flujo residual se modelan como una trayectoria continua ($dx(t)/dt = F_\theta(x(t))$). Esto permite la identificación matemática de "puntos de bifurcación" donde las trayectorias de memorización y de razonamiento divergen en el espacio latente.
5. Intervención Mecanicista: Los autores realizan un control causal escalando las llaves (keys) de neuronas específicas de la MLP identificadas como críticas para el circuito de memorización. Esto pone a prueba la suficiencia causal de estas neuronas para activar o suprimir el atajo.

Contribuciones Clave y Hallazgos

1. La Paradoja de la Perplejidad
El estudio identifica una "Paradoja de la Perplejidad" única en modelos que exhiben ganancias de RLVR espurio. En conjuntos de datos contaminados, la perplejidad del modelo en los tokens de respuesta disminuye significativamente, mientras que la perplejidad en el lado de la instrucción (coherencia) se degrada. Esta divergencia sugiere que el modelo está eludiendo el razonamiento general para recuperar directamente soluciones memorizadas, sacrificando la calidad del modelo de lenguaje en la entrada para minimizar la pérdida en la salida.

2. Descubrimiento del Circuito Ancla–Adaptador
A través del análisis mecánico, los autores localizan un circuito previamente desconocido responsable de este comportamiento, el cual consta de dos componentes distintos:

• Ancla Funcional (Capas 18–20): Estas capas medias actúan como el disparador decisivo. El parcheo de rutas y el análisis de NDE revelan que la "fuerza de separación" entre las muestras de fuga y las estables alcanza su pico aquí. Es donde el modelo decide causalmente recuperar una respuesta memorizada e inyecta un token disparador de alta probabilidad.
• Adaptadores Estructurales (Capas 21+): Las capas subsiguientes experimentan una reorganización drástica de pesos (alta JSD en $W_{up}$ y $W_{gate}$) no para almacenar nuevo conocimiento, sino para transformar la representación interna para acomodar la señal del Ancla Funcional. Estas capas actúan como adaptadores que rotan el espacio de características para alinearlo con la solución memorizada.

3. Validación Empírica de la Contaminación
Los estudios de ablación confirman que este circuito depende del conjunto de datos. Restablecer las capas del Ancla Funcional a los pesos del modelo base provoca una caída significativa en la precisión en benchmarks contaminados (p. ej., MATH-500), mientras que deja prácticamente sin efecto el rendimiento en conjuntos de datos limpios y libres de fugas (p. ej., LiveMathBench). Por el contrario, manipular estas capas tiene un impacto mínimo en las muestras "Estables" que dependen del razonamiento genuino, lo que indica que las capacidades de razonamiento general están distribuidas en la red y no dependen críticamente de este circuito específico.

4. Control Causal mediante Intervención en MLP
Los autores demuestran que escalar las llaves de neuronas MLP específicas dentro del circuito identificado permite un control causal bidireccional.

• Amplificación: Aumentar el factor de escala potencia artificialmente la dependencia del modelo en los datos contaminados, recuperando el rendimiento incluso en muestras donde el modelo base falló.
• Supresión: Disminuir el factor de escala suprime el atajo, revelando el rendimiento base subyacente del modelo.
  Esto proporciona evidencia causal definitiva de que estas neuronas son el mecanismo de activación del atajo. Además, se propone una intervención de "puerta de sondeo" (probe-gated), que suprime selectivamente el circuito solo cuando un sondeo de fuga detecta una alta probabilidad de contaminación, auditando eficazmente las ganancias sospechosas sin dañar el rendimiento en benchmarks nuevos.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera explicación mecánica de cómo las señales de RLVR espurio reconfiguran físicamente la arquitectura interna de un LLM para favorecer la memorización sobre el razonamiento. Al identificar el circuito "Ancla–Adaptador" y la "Paradoja de la Perplejidad", los autores ofrecen una hoja de ruta para:

• Distinguir Capacidad de Contaminación: Proporcionar herramientas para diferenciar entre la generalización del razonamiento genuino y la recuperación de datos pre-memorizados.
• Mitigar la Contaminación de Datos: Demostrar que intervenciones específicas pueden suprimir la ganancia impulsada por la contaminación sin necesidad de reentrenamiento, ofreciendo un método para "descontaminar" modelos post-hoc.
• Mejorar la Seguridad del RLVR: Resaltar la vulnerabilidad del RLVR ante la optimización mediante atajos, sugiriendo la necesidad de funciones de recompensa más sofisticadas y benchmarks de evaluación resistentes a la fuga de datos.

Los autores mantienen una postura modesta, enmarcando sus hallazgos como evidencia de un mecanismo específico dentro de la familia Qwen al operar con datos contaminados, en lugar de una ley universal para todos los LLM. Enfatizan que su trabajo sirve como una herramienta de diagnóstico para mejorar la transparencia y la seguridad de los sistemas de IA desplegados en dominios críticos.