💬 NLP

Detecting RLVR Training Data via Structural Convergence of Reasoning

Este trabajo presenta Min- $k$ NN Distance, un detector de caja negra que identifica datos de entrenamiento RLVR al cuantificar la colapso estructural en las generaciones de modelos, aprovechando la menor diversidad de respuestas en prompts vistos durante el entrenamiento en comparación con los no vistos.

Autores originales: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Publicado 2026-02-13

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Hongbo Zhang, Yue Yang, Jianhao Yan, Guangsheng Bao, Yue Zhang, Yue Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina (el modelo de inteligencia artificial) que ha estado aprendiendo a cocinar.

El Problema: ¿Cocinó de memoria o realmente aprendió?

En el mundo de la inteligencia artificial, hay una técnica llamada RLVR (Aprendizaje por Refuerzo con Recompensas Verificables). Es como si el chef cocinara un plato, un "juez" le dijera "¡está perfecto!" o "¡está salado!", y el chef ajustara su receta para la próxima vez. Con el tiempo, el chef se vuelve increíblemente bueno resolviendo problemas específicos, como matemáticas o código.

Pero hay un truco oscuro: nadie sabe qué ingredientes (datos) usó el chef.

¿Aprendió realmente a cocinar de cero?
¿O simplemente memorizó las recetas de un libro de cocina que le dieron (contaminación de pruebas)?

Si el chef solo memorizó las preguntas de un examen, fallará estrepitosamente si le das un problema nuevo que no vio antes. El problema es que, a diferencia de los métodos antiguos donde podías "escuchar" al chef pensar (probabilidades de palabras), en este nuevo método el chef piensa en silencio y solo te muestra el plato final. Es muy difícil saber si ya había cocinado ese plato antes.

La Solución: El "Efecto Espejo" (Convergencia Estructural)

Los autores de este paper descubrieron algo fascinante: cuando un chef memoriza una receta, pierde su creatividad.

Si le pides un plato nuevo (que nunca vio): El chef piensa: "Hmm, no sé exactamente cómo hacerlo". Prueba muchas formas diferentes de cocinarlo. A veces usa la sartén, a veces el horno. Sus intentos son diversos y variados.
Si le pides un plato que ya cocinó en su entrenamiento (RLVR): El chef no piensa. Simplemente ejecuta la receta que memorizó. Intenta cocinarlo 10 veces, y las 10 veces lo hace exactamente igual, con los mismos movimientos, las mismas palabras y la misma estructura.

Es como si el chef se hubiera convertido en un robot que solo sabe hacer un movimiento para ese problema específico.

La Herramienta: "Min-kNN Distance" (El Medidor de Rigidez)

Para detectar si el chef ya vio el plato, los autores crearon una herramienta sencilla llamada Min-kNN Distance. No necesita entrar a la cocina ni ver los apuntes del chef; solo necesita pedirle que cocine el plato varias veces.

La analogía del "Bucle de Gravedad":

Pides al chef que cocine el mismo plato 32 veces.
Miras los resultados:
- Si es un plato nuevo, los 32 platos se verán muy diferentes entre sí (uno tiene más sal, otro está cortado diferente). Están "dispersos".
- Si es un plato memorizado, los 32 platos se verán idénticos. Están tan juntos que parecen un solo bloque rígido.

La herramienta Min-kNN Distance mide qué tan "pegados" están estos platos entre sí.

Pegados = Rigidez = El chef ya vio esto antes (¡Alerta de contaminación!).
Separados = Diversidad = El chef está improvisando (¡Es un dato nuevo!).

¿Por qué es genial esto?

Es un detective "Ciego" (Black-box): No necesitas saber cómo funciona el chef por dentro, ni ver sus apuntes. Solo le preguntas "¿Cocínalo otra vez?" y observas.
Funciona con cualquier chef: Da igual si el chef es pequeño o gigante (modelos de 1.5B a 32B parámetros), o si usó una técnica de entrenamiento u otra. La rigidez siempre aparece cuando hay memorización.
Resiste trucos: Incluso si cambias un poco la pregunta (paráfrasis), el chef sigue haciendo el mismo movimiento rígido si ya lo había memorizado.

En resumen

Este paper nos dice: "Cuando un modelo de IA se entrena demasiado en datos específicos, pierde su capacidad de variar sus respuestas y se vuelve un robot repetitivo."

La herramienta Min-kNN Distance es como un detector de metal: si le pides al modelo que resuelva un problema varias veces y todas las respuestas suenan exactamente igual (como un disco rayado), ¡Bingo! Ese problema ya estaba en su entrenamiento. Esto nos ayuda a limpiar las pruebas de inteligencia artificial y asegurarnos de que los modelos realmente saben pensar, no solo a repetir lo que ya leyeron.

1. El Problema: Contaminación de Benchmarks en Modelos de Razonamiento

El aprendizaje por refuerzo con recompensas verificables (RLVR, por sus siglas en inglés) se ha convertido en el pilar fundamental para entrenar modelos de lenguaje modernos con capacidades avanzadas de razonamiento (matemáticas, codificación, lógica). Sin embargo, surge un problema crítico:

Falta de transparencia: Muchos modelos de código abierto se publican solo después de la fase de ajuste fino con RLVR, sin revelar los datos de entrenamiento ni los checkpoints base.
Riesgo de contaminación: Esto genera preocupaciones sobre la "contaminación de benchmarks". Si un modelo ha visto las preguntas de evaluación durante su entrenamiento, sus altas puntuaciones no reflejan una capacidad de generalización real, sino una memorización o sobre-especialización.
Limitación de métodos existentes: Las técnicas tradicionales de detección de datos (como las basadas en la probabilidad de tokens o la perplejidad) funcionan bien en preentrenamiento o ajuste supervisado (SFT), pero fallan en RLVR. Esto se debe a que RLVR no optimiza la probabilidad de una trayectoria dorada, sino que ajusta la política basándose en recompensas de trayectorias generadas por el propio modelo, haciendo que las señales estadísticas a nivel de token sean ineficaces.

2. Metodología: Convergencia Estructural y Min-kNN Distance

Los autores proponen una nueva perspectiva: en lugar de analizar la probabilidad de los tokens, analizan la diversidad estructural de las trayectorias de razonamiento.

Observación Clave: Colapso de la Diversidad

El análisis revela que el entrenamiento RLVR induce una convergencia estructural en las respuestas del modelo:

Para prompts vistos (Seen): El modelo tiende a generar respuestas que colapsan en un número reducido de "modos estructurales" rígidos. Las variaciones en el razonamiento (especialmente en pasos simbólicos y algebraicos) disminuyen drásticamente.
Para prompts no vistos (Unseen): El modelo mantiene una mayor diversidad en sus generaciones, explorando más caminos de razonamiento.

La Solución: Min-kNN Distance

Basándose en esta observación, los autores introducen Min-kNN Distance, un detector de "caja negra" (black-box) que no requiere acceso a las probabilidades de los tokens ni a modelos de referencia.

Algoritmo:

Muestreo: Dado un prompt de entrada $x$ , se generan $m$ completaciones (respuestas) desde el modelo ajustado con RLVR.
Cálculo de Distancias: Se calcula la distancia de edición normalizada (Levenshtein) entre todos los pares de completaciones.
Selección de Vecinos: Para cada completación, se identifica su vecino más cercano (la distancia mínima).
Puntuación: Se ordenan estas distancias y se promedian las $k$ distancias más pequeñas.
$\text{Min-kNN}(x) = \frac{1}{k} \sum_{t=1}^{k} NN_{(t)}(x)$
Detección:
- Si el prompt fue visto durante el entrenamiento RLVR, las completaciones serán muy similares (rígidas), resultando en distancias pequeñas (valor bajo de Min-kNN).
- Si el prompt es nuevo, las completaciones serán diversas, resultando en distancias grandes (valor alto de Min-kNN).

3. Contribuciones Clave

Análisis Sistemático del Comportamiento RLVR: Es el primer trabajo que cuantifica cómo el RLVR reduce la diversidad de razonamiento, demostrando que el colapso ocurre principalmente en componentes de razonamiento simbólico y algebraico, no solo en la superficie léxica.
Método de Detección Robusto (Min-kNN Distance): Presentan una técnica simple, eficiente y de caja negra que detecta la exposición a datos RLVR sin necesidad de acceso interno al modelo (log-probabilities).
Validación Exhaustiva: Demuestran que el método funciona consistentemente a través de diferentes algoritmos de RL (DAPO, GRPO, PPO), escalas de modelos (de 1.5B a 32B parámetros) y configuraciones de entrenamiento.

4. Resultados Experimentales

Los experimentos se realizaron en múltiples modelos de razonamiento de código abierto (como SimpleRL, DAPO-Qwen, Open-Reasoner-Zero) y en configuraciones controladas de benchmark RL-MIA.

Rendimiento Superior: Min-kNN Distance logró un AUC promedio de 0.70, superando a la mejor línea base existente en un 17%.
Comparación con Baselines: Los métodos tradicionales (PPL, Min-K% Prob, CDD) y métodos específicos para RL (Self-Critique) mostraron un rendimiento inestable o cercano al azar (AUC ~0.50-0.60).
Robustez:
- Parafraseo: El método mantiene su eficacia incluso cuando los prompts de entrenamiento se parafrasean (AUC 0.71 vs 0.72 en originales), lo que indica que detecta la estructura del razonamiento, no la forma superficial del texto.
- Destilación: Funciona para detectar prompts utilizados en la fase de destilación de modelos (entrenar un estudiante sobre las salidas de un maestro RLVR).
- Diferentes Dominios: Funciona bien tanto en matemáticas como en codificación, aunque es ligeramente menos efectivo en código debido a la mayor flexibilidad inherente de las soluciones de programación.
Análisis de Contaminación Dual: El método es capaz de distinguir la contaminación de la fase de RLVR incluso en presencia de contaminación previa en el preentrenamiento, validando que la señal de colapso estructural es única de la fase de RL.

5. Significado e Impacto

Transparencia en IA: Proporciona una herramienta crucial para la comunidad de investigación y práctica para auditar modelos de código abierto y verificar si sus resultados en benchmarks son legítimos o fruto de la contaminación de datos.
Nueva Línea de Investigación: Cambia el paradigma de la detección de datos de "probabilidad de tokens" a "diversidad estructural de trayectorias", abriendo nuevas vías para entender los efectos del aprendizaje por refuerzo en la generación de modelos.
Seguridad y Evaluación: Ayuda a mitigar la sobreestimación de capacidades de los modelos, asegurando que las evaluaciones de razonamiento reflejen habilidades generalizables y no memorización de problemas específicos.

En resumen, el paper demuestra que el entrenamiento RLVR deja una "huella digital" única en la rigidez estructural de las respuestas del modelo, y que Min-kNN Distance es una herramienta efectiva para detectar esta huella, resolviendo un problema crítico de integridad en la evaluación de modelos de IA modernos.