Resumen Técnico: LaRA – Análisis de Representación por Capas para Detectar Contaminación de Datos en el Entrenamiento Post-RL

Declaración del Problema

El entrenamiento post-refuerzo (RL) ha demostrado una eficacia significativa para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLM). Sin embargo, este paradigma introduce una vulnerabilidad crítica y poco explorada: la contaminación de datos, donde muestras de evaluación o de referencia se incluyen inadvertidamente en los datos de entrenamiento de RL. Tal contaminación puede inducir sobreajuste impulsado por recompensas y memorización implícita, socavando así la generalización y la fiabilidad de la evaluación del proceso de entrenamiento.

Los métodos de detección existentes dependen principalmente de señales a nivel de salida (por ejemplo, probabilidades de tokens, entropía o perplejidad) derivadas de contextos de pre-entrenamiento o Ajuste Fino Supervisado (SFT). Estos métodos son cada vez menos fiables para modelos entrenados con RL por dos razones:

1. Problemas de Calibración: Las distribuciones de salida de los LLM a menudo están mal calibradas, lo que convierte las señales basadas en probabilidades en ruidosas.
2. Incompatibilidad de Objetivos: A diferencia del pre-entrenamiento o el SFT, que optimizan las probabilidades token a token, el RL optimiza las recompensas esperadas sobre trayectorias completas de razonamiento. En consecuencia, las señales conductuales a nivel de token están menos alineadas directamente con el objetivo de entrenamiento subyacente.

Metodología: Marco LaRA

Los autores proponen LaRA (Análisis de Representación por Capas), un marco que desplaza el paradigma de detección de estadísticas a nivel de salida a la geometría a nivel de representación. La hipótesis central es que la memorización inducida por RL crea respuestas geométricas anómalas en los estados ocultos internos del modelo bajo perturbaciones controladas.

1. Configuración Experimental

Los autores construyen benchmarks de contaminación controlada utilizando tres modelos de código abierto entrenados con RL (EURUS-2-7B-PRIME, LIMR y Olmo-3.1-7B-RL-Zero-Math).

• Miembros: 30 problemas de matemáticas de nivel olímpico del propio conjunto de entrenamiento RL del modelo.
• No Miembros: 30 problemas de AIME 2026 (datos no vistos).
• Entrenamiento: Los modelos sufren un entrenamiento adicional de RL sobre un corpus que contiene las muestras "miembro" para simular y rastrear la evolución de las señales de contaminación.

2. Estrategia de Perturbación

Para una pregunta dada $q_0$, el marco genera:

• Vecinos Semánticos: Un conjunto de preguntas estructuralmente similares $Q = \{q_0, q_1, \dots, q_K\}$.
• Variantes Perturbadas: La información clave se elimina de estas preguntas utilizando un operador BLANKIMPORTANT para crear $q^-_i$.
• Variantes Parafraseadas: Para las preguntas perturbadas, se generan parafraseos semánticamente equivalentes preservando las posiciones de los espacios en blanco para probar la invariancia local.

3. Tres Métricas Geométricas

Se extraen representaciones ocultas a través de todas las capas del transformador ($\ell \in \{0, \dots, L-1\}$) para calcular tres métricas complementarias:

• Magnitud del Desplazamiento de Representación (RSM): Mide la sensibilidad de las representaciones a la eliminación de información. Calcula la norma euclidiana del desplazamiento ($\Delta_i = u_i - w_i$) entre las representaciones originales y perturbadas. Un RSM alto indica que una muestra memorizada es excesivamente sensible a la eliminación de información específica en comparación con sus vecinos semánticos.
• Colapso Direccional (DC): Caracteriza la organización de los cambios inducidos por la perturbación. Mide la alineación coseno entre la dirección de perturbación de la muestra original y la dirección de perturbación promedio de sus vecinos semánticos. Un DC alto indica que la respuesta del modelo a las perturbaciones colapsa en una dirección compartida y de baja dimensión, sugiriendo una diversidad representacional reducida.
• Índice de Estabilidad de Representación (RSI): Cuantifica la rigidez local bajo perturbaciones parafrásticas. Mide la varianza de las representaciones para las variantes parafraseadas de la misma pregunta perturbada. Un RSI bajo (alta estabilidad) sugiere que el modelo ha formado representaciones locales rígidas e invariantes para el contenido memorizado.

4. Protocolo de Detección

El marco agrega estas métricas en una única puntuación de detección (SLaRA) mediante un proceso de tres pasos:

1. Estandarización Robusta: Las métricas se comprimen y estandarizan frente a una distribución de referencia "limpia" (no miembros) utilizando la Desviación Absoluta Mediana (MAD) para manejar distribuciones de colas pesadas y prevenir la inflación de valores atípicos.
2. Alineación Específica de Métrica: Las puntuaciones estandarizadas se alinean basándose en la dirección esperada de la contaminación (por ejemplo, invirtiendo el RSI si una alta estabilidad indica contaminación).
3. Agregación por Capas: Las desviaciones alineadas se promedian a través de todas las capas y métricas para producir la puntuación de anomalía final.

Resultados Clave

Los experimentos en múltiples modelos entrenados con RL y puntos de control de entrenamiento demuestran que LaRA supera a las líneas base existentes a nivel de salida (Recall, CDD, Min-K%, Min-K%++, PPL, Auto-crítica).

• Mejoras de Rendimiento: LaRA logra hasta un +9.6% de mejora en AUC y una Tasa de Verdaderos Positivos 3.5 veces mayor a una Tasa de Falsos Positivos del 5% (TPR@FPR=5%) en comparación con el método anterior más fuerte a nivel de salida.
• Robustez: La puntuación combinada (SLaRA) permanece estable y efectiva a través de diferentes épocas de entrenamiento RL, mientras que métricas a nivel de salida como la Perplejidad (PPL) muestran alta varianza y menor fiabilidad en regímenes estrictos de baja FPR.
• Insights Geométricos: Las muestras contaminadas exhiben consistentemente:
  • Sensibilidad amplificada a la perturbación (RSM alto).
  • Concentración direccional anómala (DC alto).
  • Rigidez local mejorada (RSI bajo/alta estabilidad).
  • Estas desviaciones se vuelven más pronunciadas a medida que avanza el entrenamiento RL, particularmente en rangos de capas específicos (por ejemplo, capas 7–9 para Eurus).

Significado y Contribuciones

El artículo afirma las siguientes contribuciones:

1. Primer Marco a Nivel de Representación para RL: Es el primer trabajo que propone un marco de análisis de representación por capas específicamente para detectar contaminación en el entrenamiento post-RL, utilizando métricas de rigidez y rigidez.
2. Protocolo de Detección Superior: El protocolo propuesto supera consistentemente a las líneas base a nivel de salida en diversos modelos RL, ofreciendo una señal más fiable para auditar modelos de razonamiento entrenados con RL.
3. Insights Empíricos: El estudio proporciona nueva evidencia de que el entrenamiento RL afecta la geometría de la representación de maneras distintas, creando "firmas geométricas" detectables de memorización que persisten a través de las capas y son robustas a los cambios de etapa de entrenamiento.

Los autores concluyen que, aunque la auditoría a nivel de representación introduce sobrecarga computacional, es necesaria para superar las limitaciones de las señales a nivel de salida en el dominio de RL, mejorando así la transparencia y la fiabilidad de la evaluación de LLM.