💬 NLP

Quantifying the Effect of Test Set Contamination on Generative Evaluations

Este artículo demuestra cuantitativamente que la contaminación del conjunto de prueba infla significativamente el rendimiento de la evaluación generativa al permitir que los modelos superen el error irreducible mediante la memorización, al tiempo que revela que factores como el tamaño del modelo, la duración del entrenamiento y la temperatura de inferencia modulan críticamente estos efectos de maneras distintas a las evaluaciones discriminativas.

Autores originales: Rylan Schaeffer, Joshua Kazdan, Baber Abbasi, Ken Ziyu Liu, Brando Miranda, Ahmed Ahmed, Fazl Berez, Abhay Puri, Stella Biderman, Niloofar Mireshghallah, Sanmi Koyejo

Publicado 2026-02-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rylan Schaeffer, Joshua Kazdan, Baber Abbasi, Ken Ziyu Liu, Brando Miranda, Ahmed Ahmed, Fazl Berez, Abhay Puri, Stella Biderman, Niloofar Mireshghallah, Sanmi Koyejo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: Hacer trampa en el examen final

Imagina que eres un profesor que aplica un examen final a una clase de estudiantes (modelos de IA). El objetivo es ver si realmente comprenden la materia o si solo están adivinando.

La contaminación del conjunto de prueba (test set contamination) es como si un estudiante colara una copia de las preguntas del examen en su mochila antes de que comience la prueba. No aprendieron matemáticas de verdad; simplemente memorizaron las respuestas a las preguntas específicas que vieron.

Este artículo se pregunta: ¿Qué sucede cuando los modelos de IA "hacen trampa" memorizando las preguntas del examen durante su entrenamiento? ¿Esto los hace parecer inteligentes, o es un tipo de inteligencia falsa?

1. La configuración: Alimentando a los estudiantes con las respuestas

Los investigadores crearon un experimento controlado. Tomaron un examen de matemáticas estándar (llamado MATH benchmark) y alimentaron secretamente a diferentes modelos de IA con distintas cantidades de este examen mientras los modelos estaban aprendiendo.

Contaminación baja: El modelo vio las preguntas del examen unas pocas veces.
Contaminación alta: El modelo vio las preguntas del examen cientos o miles de veces.

Luego, probaron los modelos para ver qué tal lo hacían.

2. Los resultados: La "ilusión de competencia"

La buena noticia (para los tramposos):
Cuando los modelos memorizaron las preguntas del examen, sus puntuaciones aumentaron drásticamente. Si veían las preguntas del examen suficientes veces, podían obtener casi un 100% en la prueba.

Analogía: Es como un estudiante que memoriza la clave de respuestas. En el examen exacto que estudió, obtiene un sobresaliente.

La mala noticia (para la verdad):
Cuando los investigadores cambiaron ligeramente las preguntas —como cambiando los números en un problema matemático o cambiando la redacción de la frase— los modelos fallaron de inmediato.

Analogía: Si le das al estudiante un nuevo problema matemático que utiliza la misma lógica pero con números diferentes, no puede resolverlo. Solo conocía las respuestas específicas que memorizó, no la matemática real.
Conclusión: Las puntuaciones altas no se debieron a que la IA se hiciera más inteligente en matemáticas; era simplemente porque tenía una "hoja de trucos" para esas preguntas específicas.

3. La sorpresa de "una sola copia"

El artículo encontró algo impactante: Solo necesitas mostrarle al modelo las preguntas del examen una sola vez para romper las reglas del aprendizaje.

Normalmente, para mejorar en una tarea, necesitas practicar mucho. Pero aquí, ver el conjunto de prueba una sola vez permitió al modelo desempeñarse mejor de lo que jamás podría haberlo hecho aprendiendo solo de datos normales, sin importar cuánto practicara.

Analogía: Imagina a un estudiante que, por ver las preguntas del examen una sola vez, de repente rinde mejor que un estudiante que estudió durante 10 años sin haber visto nunca el examen. Parece magia, pero en realidad es un error del sistema.

4. El "suero de la verdad" (Temperatura)

Los investigadores descubrieron una forma de atrapar a los tramposos. En la IA, existe un ajuste llamado Temperatura que controla qué tan "creativa" o "aleatoria" es la respuesta.

Temperatura baja (Estricta): La IA da la respuesta más segura y directa. Aquí es donde la memorización funciona mejor.
Temperatura alta (Creativa): La IA toma riesgos e intenta caminos diferentes.

El hallazgo: Cuando aumentaron la "Temperatura" (haciendo a la IA más creativa), las respuestas memorizadas se desmoronaron. Los modelos que habían memorizado el examen de repente obtuvieron puntuaciones terribles, cayendo al nivel de un estudiante que no había visto el examen en absoluto.

Analogía: Piensa en la respuesta memorizada como un guion rígido. Si le pides al actor que improvise (Temperatura alta), olvidará el guion inmediatamente. El "suero de la verdad" revela que nunca entendieron realmente la obra; solo memorizaron las líneas.

5. El problema de la longitud

El artículo también analizó la longitud de las respuestas.

Respuestas cortas: Los modelos pueden memorizar respuestas cortas y simples fácilmente.
Respuestas largas: A medida que las respuestas se hacían más largas (miles de palabras), la memorización fallaba. Los modelos lograban decir bien las primeras palabras, pero luego perdían el hilo y empezaban a cometer errores.
Analogía: Es fácil memorizar un número de teléfono de 5 dígitos. Es mucho más difícil memorizar un discurso de 500 palabras perfectamente. Si la IA intenta recitar un discurso largo que memorizó, eventualmente se pierde y empieza a tener alucinaciones.

6. Una solución sorprendente: Sobreentrenamiento y Ajuste Fino (Fine-Tuning)

Los investigadores intentaron "curar" la trampa haciendo que los modelos estudiaran más datos frescos (datos que no eran el examen).

Sobreentrenamiento (Overtraining): Si obligas al modelo a estudiar mucho contenido nuevo después de haber visto el examen, este de hecho olvida las respuestas del examen. Los datos frescos "diluyen" la hoja de trucos.
Ajuste fino (Fine-Tuning): Si enseñas al modelo con la versión de entrenamiento de los problemas matemáticos (no el examen), en realidad se vuelve peor en el examen si había memorizado demasiado el examen. Parece que el modelo se confunde al intentar aprender la lógica real después de haber memorizado las respuestas específicas.

7. Corrección de un error crítico

Finalmente, los autores encontraron un error en una herramienta popular utilizada para calificar estos exámenes de matemáticas. La herramienta estaba eliminando accidentalmente el formato importante de las respuestas, lo que causaba que marcara respuestas correctas como incorrectas.

La solución: Corrigieron la herramienta. Ahora, cuando un modelo da la respuesta correcta, la herramienta realmente le otorga el crédito. Esto significa que algunos estudios previos podrían haber subestimado qué tan bien lo estaban haciendo los modelos (o qué tan bien estaban haciendo trampa).

Resumen

Este artículo nos advierte que cuando los modelos de IA obtienen puntuaciones perfectas en exámenes de matemáticas, no significa necesariamente que sean genios. Puede que solo hayan memorizado las preguntas del examen.

Inteligencia Real: Resolver problemas nuevos que nunca has visto.
Inteligencia Falsa: Memorizar las respuestas a los problemas específicos en los que fuiste evaluado.

El artículo proporciona herramientas para distinguir la diferencia: si la IA falla cuando cambias los números, o si falla cuando le pides que sea más creativa, es probable que solo estuviera haciendo trampa.

Resumen Técnico: Cuantificación del Efecto de la Contaminación del Conjunto de Prueba en Evaluaciones Generativas

Declaración del Problema

La contaminación del conjunto de prueba —la inclusión inadvertida de datos de referencia en los corpus de preentrenamiento— es una amenaza crítica para la evaluación confiable de los sistemas de IA de frontera. Si bien el impacto de la contaminación en las evaluaciones discriminativas (por ejemplo, preguntas de opción múltiple, clasificación) está bien documentado, sus efectos en las evaluaciones generativas (donde los modelos deben producir soluciones de formato largo) permanecen poco explorados. Las tareas generativas introducen complejidades únicas, incluyendo la longitud de la solución, la temperatura de muestreo y el requisito de cadenas de tokens coherentes, que pueden interactuar con la memorización de manera distinta a las tareas de elección corta. Este artículo busca evaluar cuantitativamente estos efectos a través del ciclo de vida del modelo de lenguaje para determinar si la contaminación en entornos generativos conduce a una generalización robusta o simplemente a una memorización frágil.

Metodología

Los autores realizaron un estudio controlado y a gran escala centrado en el benchmark MATH (Hendrycks et al., 2021b), un conjunto de datos de problemas matemáticos de competición que requieren soluciones generadas.

Configuración de Preentrenamiento:
- Modelos: Decenas de modelos de lenguaje causales basados en la arquitectura Qwen 3 fueron preentrenados desde cero. Los tamaños de los modelos variaron de 34M a 344M de parámetros.
- Protocolo de Contaminación: Los corpus de preentrenamiento se construyeron mezclando un web crawl de alta calidad (FineWeb-Edu-Dedup) con un número variable ( $R$ ) de réplicas del conjunto de prueba de MATH. El número de réplicas varió logarítmicamente de 0 (no contaminado) a 3,162.
- Control de Cómputo: El entrenamiento se realizó a escalas computacionalmente óptimas (20 tokens por parámetro) y se extendió hacia regímenes de "sobreentrenamiento" (hasta 16 veces el cómputo óptimo) utilizando datos nuevos y no repetidos.
- Ajuste Fino (Fine-tuning): Algunos modelos se sometieron a Ajuste Fino Supervisado (SFT) sobre el conjunto de entrenamiento de MATH para observar las interacciones con la contaminación del preentrenamiento.
Métricas de Evaluación:
- Math Verify: La fracción de problemas donde la solución generada es matemáticamente equivalente a la respuesta de oro (gold answer). Los autores identificaron y corrigieron un error crítico en el EleutherAI LM Evaluation Harness que previamente reportaba estos puntajes de forma subestimada (elevando los puntajes de referencia de oro del ~70% al 100%).
- Pérdida de Entropía Cruzada (Cross-Entropy Loss): La pérdida en las soluciones de referencia de oro, utilizada para analizar las leyes de escala (scaling laws).
- Verificaciones de Robustez: Los modelos fueron probados en versiones refraseadas (misma lógica, diferente redacción) y perturbadas (misma redacción, diferentes números) del conjunto de prueba para distinguir la memorización de la generalización.
Variables de Inferencia:
- Los experimentos recorrieron diversas temperaturas de muestreo (0 a 1.5) y analizaron el desempeño en relación con la longitud de la solución en tokens.

Contribuciones Clave y Resultados

1. Leyes de Escala y la Brecha del "Error Irreducible"

El estudio confirma que el desempeño (puntajes de Math Verify) aumenta tanto con el nivel de contaminación como con el tamaño del modelo. Sin embargo, se descubrió una brecha fundamental en las leyes de escala:

Efecto de Réplica Única: Incluir incluso una sola réplica del conjunto de prueba permite que los modelos alcancen una pérdida de entropía cruzada inferior al error irreducible estimado del entrenamiento en un corpus no contaminado.
Implicación Económica: Bajo los supuestos estándar de las leyes de escala, una sola réplica del conjunto de prueba simula efectivamente una cantidad "infinita" de cómputo de preentrenamiento en comparación con un corpus no contaminado, permitiendo a los modelos saltarse el techo de rendimiento teórico de los datos limpios.

2. Memorización vs. Generalización

El desempeño impulsado por la contaminación no es generalización.

Memorización Verbatim: Al ser probados en problemas refraseados o perturbados, el desempeño colapsó a niveles base en todos los tamaños de modelo y niveles de contaminación.
Conclusión: Las ganancias dependen casi exclusivamente de la memorización literal (verbatim) de secuencias específicas del conjunto de prueba, no de la adquisición de un razonamiento matemático subyacente.

3. Interacción con el Entrenamiento Posterior

El artículo identifica un efecto de "dosis-respuesta" respecto al entrenamiento subsecuente:

Sobreentrenamiento: Entrenar con datos frescos más allá del punto computacionalmente óptimo diluye los efectos de la contaminación. Para modelos altamente contaminados, el sobreentrenamiento en realidad aumenta la pérdida del conjunto de prueba, ya que los datos frescos reducen la proporción de tokens contaminados, debilitando la señal memorizada.
Ajuste Fino Supervisado (SFT): El SFT tiene efectos opuestos dependiendo de los niveles de contaminación:
- Baja Contaminación: El SFT mejora el desempeño en el conjunto de prueba.
- Alta Contaminación: El SFT degrada el desempeño en el conjunto de prueba. Los autores conjeturan que el SFT obliga al modelo a generalizar, causando que "olvide" las muestras del conjunto de prueba memorizadas. Dado que la señal memorizada era el motor principal del desempeño en modelos con alta contaminación, este olvido resulta en una pérdida neta.

4. Regímenes de Inferencia de la Memorización

Los autores caracterizan cómo la temperatura de muestreo y la longitud de la solución modulan la memorización, identificando tres regímenes distintos:

Decoherencia Exponencialmente Rápida ( $E > 0$ ): En ausencia de contaminación significativa, la probabilidad de generar una secuencia larga correcta decae exponencialmente.
Memorización Frágil ( $E \approx 0, \alpha \le 1$ ): En contaminación intermedia, el modelo puede generar secuencias, pero la probabilidad acumulada de éxito eventualmente desaparece a medida que aumenta la longitud.
Bloqueo Determinista ( $E \approx 0, \alpha > 1$ ): En alta contaminación, el modelo entra en un régimen donde la certeza del siguiente token crece más rápido de lo que se acumula el riesgo, permitiendo la generación determinista de soluciones largas.
El Efecto "Suero de la Verdad": El muestreo de alta temperatura ( $\tau > 1$ ) actúa como un "suero de la verdad", desacoplando las ganancias de la contaminación de la generalización robusta. Puede revertir instantáneamente un modelo de "Bloqueo Determinista" de vuelta a "Memorización Frágil", causando que el desempeño colapse a los niveles base.

5. Corrección de Implementación

Los autores identificaron un error crítico en el EleutherAI LM Evaluation Harness (antes de la v0.4.8) donde la función de puntuación Math Verify eliminaba la notación \boxed{} antes de procesar, lo que llevaba a una subestimación sistemática del desempeño matemático. Corregir esto elevó los puntajes de referencia de oro del ~70% al 100%.

Significancia y Reivindicaciones

El artículo afirma proporcionar la primera cuantificación integral de la mecánica de la contaminación en el régimen generativo. Su significancia principal radica en:

Redefinición de la Amenaza: Mientras que la contaminación generativa infla los puntajes de manera similar a la contaminación discriminativa, el mecanismo subyacente es distinto: depende de la memorización frágil y literal de largas cadenas de tokens, en lugar de un razonamiento robusto.
Magnitud Económica: El descubrimiento de que una sola réplica del conjunto de prueba permite a los modelos saltar la barrera del "error irreducible" sugiere que la contaminación puede simular un cómputo infinito, rompiendo fundamentalmente el proxy de los benchmarks para la capacidad real.
Palancas Prácticas: El estudio identifica la temperatura de muestreo y la longitud de la solución como palancas críticas que diferencian la memorización de la generalización. El muestreo de alta temperatura y las soluciones más largas exponen la fragilidad de los modelos contaminados.
Dinámicas de Entrenamiento Contraintuitivas: El hallazgo de que el SFT puede perjudicar el desempeño en modelos altamente contaminados sugiere que una caída en la precisión del conjunto de prueba tras el entrenamiento de alineación puede ser una señal positiva de descontaminación (olvido del conjunto de prueba) en lugar de un "impuesto de alineación" negativo.

Los autores concluyen que, si bien la contaminación crea una "ilusión de competencia", es una ilusión frágil que puede desmantelarse mediante parámetros específicos de inferencia y un mayor entrenamiento con datos frescos.