Test of Time: Rethinking Temporal Signal of Benchmark Contamination

1. Planteamiento del Problema

La fiabilidad de la evaluación de los Modelos de Lenguaje Grande (LLM) se ve amenazada por la contaminación de los puntos de referencia (benchmarks), donde los modelos alcanzan puntuaciones altas al memorizar datos de evaluación de sus corpus de entrenamiento en lugar de demostrar un razonamiento genuino.

• Método de Detección Actual: Un método ampliamente aceptado para detectar la contaminación es el análisis temporal. Esto implica comparar el rendimiento del modelo en preguntas publicadas antes de la fecha de corte de entrenamiento del modelo (pre-corte) frente a las publicadas después (post-corte).
• La Suposición: Si un modelo tiene un rendimiento significativamente peor en las preguntas post-corte (un fenómeno denominado decaimiento del rendimiento post-corte), se interpreta como evidencia de que el modelo memorizó datos pre-corte.
• El Conflicto: Estudios recientes (por ejemplo, RealMath) han observado una falta de decaimiento post-corte en preguntas generadas por LLM derivadas de fuentes con marca de tiempo (como arXiv), mientras que los puntos de referencia tradicionales (por ejemplo, LiveCodeBench) muestran un decaimiento claro. Esta discrepancia sugiere que la "señal temporal" de la contaminación puede ser frágil y depender de cómo se construyen las preguntas del punto de referencia, en lugar de depender únicamente de la presencia de contaminación.

2. Metodología

Los autores emplean un enfoque multifacético que combina evaluación empírica a gran escala, construcción comparativa de puntos de referencia y análisis de interpretabilidad mecánica.

A. Análisis Temporal a Gran Escala (Preguntas y Respuestas Generadas por LLM)

• Conjunto de Datos: Se recuperaron 20.277 artículos de arXiv (Matemáticas y Física) que abarcan 26 meses (mayo de 2023 – junio de 2025).
• Generación de Preguntas: Se utilizó o4-mini para generar preguntas de razonamiento de múltiples pasos a partir de los artículos. Estas se filtraron por calidad, resultando en 1.643 preguntas generadas por LLM.
• Modelos Evaluados: 8 modelos de vanguardia de 4 familias (DeepSeek, OpenAI-o3/o4, Gemini, Llama) con fechas de corte de conocimiento variables.
• Objetivo: Verificar si la falta de decaimiento post-corte es un patrón consistente a través de diferentes arquitecturas y dominios.

B. Construcción Comparativa de Puntos de Referencia

Para aislar la variable de "construcción de la pregunta", los autores crearon puntos de referencia alternativos a partir de los mismos materiales fuente:

1. Preguntas de Cloze (Completar espacios): Generadas enmascarando términos semánticos clave de los resúmenes originales de los artículos (preservando la estructura exacta del texto).
2. Transformación de LiveCodeBench: Se aplicaron transformaciones semánticas basadas en LLM a problemas de codificación existentes, manteniendo el código de solución subyacente idéntico.
3. Preguntas y Respuestas basadas en Wiki: Se transformaron preguntas de opción múltiple al estilo FreshQA derivadas de eventos de Wikipedia.

C. Interpretabilidad Mecánica (Funciones de Influencia)

• Herramienta: Se utilizaron Funciones de Influencia (específicamente Kronfluence) para rastrear qué documentos de entrenamiento influyen más en la predicción de un modelo.
• Configuración: Se utilizó OLMo2-7B-Instruct (un modelo de datos abiertos con un conjunto de entrenamiento conocido) que contenía 40 artículos de arXiv contaminados demostrablemente.
• Tarea: Para cada artículo, se generó tanto una pregunta de Cloze como una pregunta generada por LLM. El sistema luego clasificó los 100 documentos de entrenamiento más influyentes para cada consulta para ver si se identificaba el artículo fuente original.

3. Contribuciones y Resultados Clave

A. Ausencia de Decaimiento en Puntos de Referencia Generados por LLM

• Hallazgo: En 8 modelos y 2 dominios (Matemáticas/Física), no se observó un decaimiento sistemático del rendimiento post-corte en las preguntas generadas por LLM. De hecho, el rendimiento aumentó ligeramente post-corte (+2,19 puntos porcentuales en promedio, estadísticamente significativo).
• Implicación: La "señal temporal" no es un indicador universal de contaminación cuando las preguntas se generan sintéticamente.

B. Presencia de Decaimiento en Puntos de Referencia de Cloze/Verbatim

• Hallazgo: Cuando los mismos artículos fuente se convirtieron en preguntas de Cloze (extracción verbatim), surgió un decaimiento claro del rendimiento post-corte en todos los modelos.
• Comparación:
  • Preguntas y Respuestas generadas por LLM: Sin decaimiento (o ligera mejora).
  • Preguntas y Respuestas de Cloze: Decaimiento significativo (por ejemplo, de -3,83% a -6,60% dependiendo de la métrica y el modelo).
• Conclusión: El proceso de generación por LLM transforma el material subyacente lo suficiente como para que los modelos ya no puedan "recordarlo" mediante memorización, incluso si la fuente estaba en los datos de entrenamiento.

C. Generalizabilidad a través de Dominios

• LiveCodeBench: El LiveCodeBench original mostró un decaimiento claro. Después de la transformación por LLM (reformular), el decaimiento desapareció.
• Preguntas y Respuestas basadas en Wiki: Las preguntas de opción múltiple originales mostraron decaimiento (hasta -7,59% para GPT-4o-mini). Las variantes transformadas mostraron un decaimiento significativamente reducido o invertido.
• Significado: La sensibilidad de la señal temporal es un fenómeno general, no limitado a artículos académicos.

D. Evidencia Mecánica (Funciones de Influencia)

• Preguntas de Cloze: El modelo identificó con éxito el artículo fuente como el documento más influyente en el Top-1 el 77,5% de las veces (100% dentro del Top-3). Esto confirma que el modelo está "recordando" la instancia de entrenamiento específica.
• Preguntas Generadas por LLM: La tasa de éxito cayó drásticamente al 17,5% (Top-1) y 25,0% (Top-3).
• Interpretación: El proceso de transformación rompe el vínculo directo entre la consulta y la secuencia específica de tokens de entrenamiento, haciendo que las funciones de influencia (y, por extensión, la simple memorización) sean ineficaces.

4. Significado e Implicaciones

• Reevaluación de las Señales de Contaminación: El artículo argumenta que el decaimiento del rendimiento post-corte es una señal altamente sensible y potencialmente poco fiable para la contaminación de puntos de referencia. Su presencia o ausencia depende en gran medida de la metodología de construcción del punto de referencia (verbatim vs. transformado) en lugar de simplemente de la presencia de fugas de datos.
• Efecto de la "Transformación": La reformulación o síntesis simple basada en LLM puede "limpiar" efectivamente un punto de referencia contaminado al romper el vínculo de memorización, haciendo que el modelo parezca razonar en lugar de recordar.
• Recomendaciones para la Comunidad:
  1. Transparencia Metodológica: Los investigadores deben documentar exactamente cómo se construyen los puntos de referencia, ya que esto dicta la validez del análisis temporal.
  2. Detección Robusta: El análisis temporal no debe utilizarse de forma aislada. Debe validarse contra otros métodos (por ejemplo, funciones de influencia, variantes de parafraseo).
  3. Más allá de las Puntuaciones Escalares: La evaluación futura debe tener en cuenta la fluctuación en el rendimiento cuando los problemas se transforman, ya que esto revela la fragilidad del razonamiento frente a la memorización.

Conclusión

El artículo desafía fundamentalmente la suposición de que "el decaimiento post-corte = contaminación". En su lugar, demuestra que las transformaciones generadas por LLM pueden enmascarar las señales de contaminación al alterar la distribución de entrada lo suficiente como para prevenir la memorización directa, incluso cuando el material fuente está presente en los datos de entrenamiento. Esto exige enfoques más robustos y multimodales para evaluar las capacidades de la IA y detectar fugas de datos.