Resumen Técnico: SrDetection

Planteamiento del Problema

La evaluación de los Modelos de Lenguaje de Código (Code LLMs) se ve cada vez más comprometida por la filtración de datos (data leakage), donde las muestras de los benchmarks se incluyen inadvertidamente en el corpus de preentrenamiento de un modelo. Cuando los modelos memorizan estas muestras, sus métricas de rendimiento se inflan artificialmente, reflejando memorización en lugar de una verdadera generalización. Esto socava la equidad en las comparaciones de modelos y complica la evaluación de la innovación real.

Los métodos de detección existentes sufren tres limitaciones principales:

1. Dependencia de Datos Propietarios: Los métodos basados en la superposición (por ejemplo, coincidencia de n-gramas) requieren acceso a los corpus de entrenamiento del modelo, que suelen ser propietarios y no divulgados.
2. Heurísticas Frágiles: El filtrado basado en marcas de tiempo asume que el código publicado después del corte de entrenamiento de un modelo no puede estar en el corpus. Esto falla en la práctica debido a la reutilización, herencia y bifurcación (forking) de código.
3. Inestabilidad de Umbrales: Los enfoques basados en la confianza (por ejemplo, Perplejidad) dependen de conjuntos de referencia externos para calibrar los umbrales de decisión. Estos umbrales suelen ajustarse con datos de lenguaje natural y no generalizan bien a las regularidades estructurales del código, o bien dependen de la misma heurística temporal defectuosa.

Metodología: SrDetection

Los autores proponen SrDetection, un marco unificado y autorreferencial para la detección de filtración de datos tanto en entornos de caja gris (acceso a los logits del modelo) como de caja negra (acceso solo a las salidas del modelo). La hipótesis central es que si un modelo ha memorizado un fragmento de código específico, exhibirá un comportamiento significativamente más predecible (menor perplejidad o mayor similitud de generación) en la forma superficial original en comparación con variantes semánticamente equivalentes.

El marco opera en dos etapas principales:

1. Módulo de Transformación de Código

Este módulo genera un conjunto de $n$ variantes semánticamente equivalentes ($V = \{x_1, ..., x_n\}$) a partir de una muestra de benchmark original ($x_0$) utilizando un LLM auxiliar. Las transformaciones son mínimas y localizadas para preservar el comportamiento de ejecución mientras se alteran las formas léxicas y sintácticas:

• Renombrado de Nombres de Funciones ($\tau_f$): Reemplaza los nombres de las funciones y los sitios de llamada por alternativas semánticamente equivalentes (ej. solve $\to$ compute).
• Renombrado de Nombres de Variables ($\tau_v$): Reemplaza sistemáticamente los identificadores y parámetros de las variables (ej. nums $\to$ arr).
• Transformación de Casos de Prueba ($\tau_t$): Genera nuevos inputs de prueba semánticamente similares a los originales, los valida mediante ejecución y reemplaza los casos de prueba originales.

2. Módulo de Decisión de Filtración

El marco compara el comportamiento del modelo en la muestra original ($x_0$) frente a sus variantes ($V$) sin depender de umbrales externos.

• Entorno de Caja Gris (Basado en Perplejidad):
  La puntuación de detección $S_M(x)$ es la Perplejidad (PPL) de la muestra. Si el modelo ha memorizado $x_0$, su PPL será menor que la de cualquier variante.
  $$\text{Leakage}_{gray}(x_0) = \mathbb{I}[S_M(x_0) < \min_{x_i \in V} S_M(x_i)]$$
  Donde $\mathbb{I}$ es la función indicadora.

• Entorno de Caja Negra (Basado en Similitud de Generación):
  La puntuación de detección $S_M(x)$ es el Solapamiento de N-gramas (NGO) entre el sufijo generado por el modelo y el sufijo de verdad fundamental (ground-truth) cuando se le proporciona un prefijo. Si hay memorización, el modelo genera un sufijo más cercano al ground-truth para la forma original que para las variantes.
  $$\text{Leakage}_{black}(x_0) = \mathbb{I}[S_M(x_0) > \max_{x_i \in V} S_M(x_i)]$$

Construcción de un Entorno de Pruebas Controlado

Para evaluar rigurosamente estos métodos, los autores construyeron un entorno de pruebas de filtración controlada:

1. Preparación del Dataset: Se filtró un benchmark de código público para eliminar las muestras que ya mostraban signos de filtración (donde la original ya era la más fácil entre las variantes).
2. Simulación de Filtración: Los modelos fueron sometidos a un preentrenamiento continuo sobre un subconjunto de los datos (la división de "entrenamiento") mezclado con un corpus web general, mientras que el resto de los datos sirvieron como el conjunto de prueba "reservado" (held-out). Esto crea una verdad fundamental donde la filtración está explícitamente controlada y conocida.

Contribuciones Clave

1. Marco Autorreferencial: SrDetection elimina la necesidad de datos de referencia externos o umbrales definidos manualmente al utilizar el contraste dentro de la propia muestra entre un fragmento de código y sus variantes que preservan la semántica.
2. Aumentación Automática: Un método adaptado para generar variantes de código que exponen la memorización bajo ediciones comunes (renombrado, refactorización) mientras preservan la funcionalidad semántica.
3. Evaluación Controlada: La introducción de un entorno de entrenamiento que permite la medición precisa del rendimiento de la detección de filtración en diferentes modelos y etapas de entrenamiento, evitando la falta de fiabilidad de las heurísticas temporales.

Resultados Experimentales

Los autores evaluaron SrDetection contra bases de comparación sólidas (ej. PPL, Min-K% Prob, Zlib, VeilProbe, DPDLLM) en modelos Qwen2.5 y LLaMA3.1 con preentrenamiento continuo.

• Ganancias de Rendimiento: SrDetection superó significativamente a las bases de comparación.
  • Caja gris: Mejoró el F1 promedio en 21.52 puntos respecto a las bases de comparación sólidas.
  • Caja negra: Mejoró el F1 promedio en 14.46 puntos.
• Robustez: A diferencia de las bases de comparación que mostraron un rendimiento inestable o dependieron de épocas específicas, SrDetection se mantuvo constante a través de diferentes modelos y etapas de entrenamiento.
• Sensibilidad: El rendimiento mejoró con un mayor número de variantes ($n$), y el método se mantuvo estable a través de diferentes proporciones de mezcla de código-texto en el corpus de preentrenamiento.
• Aplicación en el Mundo Real: Un estudio de 15 Code LLMs ampliamente utilizados en cuatro benchmarks (APPS, HumanEval, MBPP, BigCodeBench) reveló patrones de filtración específicos de cada benchmark. Notablemente, BigCodeBench mostró altas tasas de filtración en el entorno de caja gris, lo que sugiere que la detección basada en el comportamiento puede identificar la contaminación que el análisis de superposición estricto pasa por alto.

Significado y Reivindicaciones

El artículo afirma que SrDetection aborda una brecha crítica en la evaluación de los Code LLMs al proporcionar un mecanismo de detección independiente de umbrales e independiente del corpus. Al replantear la detección de filtración como un problema autorreferencial, el método evita la fragilidad de las suposiciones temporales y la inaccesibilidad de los datos de entrenamiento.

Los autores sostienen que sus hallazgos demuestran que la filtración no es meramente un artefacto marginal, sino un confundidor sistemático en las prácticas de evaluación actuales. La capacidad de detectar filtración sin referencias externas sugiere que los patrones de contaminación específicos de cada benchmark son más prevalentes y complejos de lo que se entendía anteriormente mediante análisis de superposición únicamente. El trabajo subraya la necesidad de un diseño y reporte de benchmarks conscientes de la filtración para asegurar la fiabilidad de las evaluaciones de los Code LLMs.