💬 NLP

SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

El artículo presenta SPENCE, un marco de sondeo sintáctico que detecta y cuantifica la contaminación en benchmarks de NL2SQL al revelar que los conjuntos de datos más antiguos como Spider muestran una mayor sensibilidad a la fuga de datos de entrenamiento en comparación con el conjunto más reciente BIRD.

Autores originales: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mohammadtaher Safarzadeh, Hitesh Laxmichand Patel, Afshin Orojlooyjadid, Graham Horwood, Dan Roth

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás en una competencia de cocina muy famosa. Los jueces le dan a los chefs una lista de platos clásicos (como "paella" o "tacos") y les piden que los cocinen. Los chefs ganan premios si sus platos saben bien.

Pero, ¿qué pasa si algunos de esos chefs ya han visto las recetas exactas de esos platos en internet antes de la competencia? Si es así, no están cocinando de verdad; están simplemente recitando la receta de memoria. Si les cambias una sola palabra en la orden (por ejemplo, en lugar de decir "hazme una paella", dices "prepara un arroz con mariscos estilo español"), se confunden y el plato sale mal.

Este es exactamente el problema que el paper "SPENCE" quiere resolver, pero en lugar de cocineros, hablamos de Inteligencias Artificiales (IA) y en lugar de recetas, hablamos de preguntas para bases de datos (SQL).

Aquí tienes la explicación sencilla:

1. El Problema: ¿Memoria o Inteligencia?

Las IAs modernas (como las que usas en tu celular) son muy buenas respondiendo preguntas sobre bases de datos. Pero hay una duda: ¿realmente entienden cómo funciona la base de datos, o simplemente han "memorizado" las preguntas y respuestas que aparecieron en los exámenes de práctica (los benchmarks)?

Si una IA solo memoriza, es como un estudiante que se sabe las respuestas de un examen de memoria. Si el profesor cambia la redacción de una pregunta, el estudiante falla.

2. La Solución: SPENCE (El "Detective de Sinónimos")

Los autores crearon una herramienta llamada SPENCE. Imagina que SPENCE es un detective de cambios o un traductor muy estricto.

Su trabajo es tomar una pregunta original y crear 10 versiones diferentes de la misma pregunta, cambiando la forma de decir las cosas pero manteniendo el mismo significado.

Versión 1: Muy parecida a la original (cambia solo una palabra).
Versión 10: Muy diferente (cambia el orden de la frase, usa sinónimos complejos, estructura nueva).

Luego, le da estas versiones a la IA y ve qué pasa.

3. La Prueba: ¿Qué descubrieron?

Los investigadores probaron esto con cuatro "exámenes" famosos de IA, que se crearon en diferentes años:

Spider (2018): El examen más viejo.
SParC y CoSQL (2019): Exámenes intermedios.
BIRD (2023): El examen más nuevo.

Los resultados fueron reveladores:

En los exámenes viejos (Spider): Cuando la IA veía la pregunta original, acertaba casi siempre. Pero, en cuanto les daban la Versión 10 (la más diferente), la IA fallaba estrepitosamente.
- La analogía: Es como si un actor se supiera un guion de memoria. Si le cambian una palabra, se queda en blanco. Esto sugiere que la IA memorizó las preguntas viejas en lugar de aprender a pensar.
En el examen nuevo (BIRD): Aquí la IA se comportó de manera diferente. No importa si la pregunta estaba escrita de forma muy extraña o muy parecida, la IA acertaba casi igual.
- La analogía: Aquí la IA parece estar pensando de verdad. Entiende la lógica de la pregunta, no solo la forma en que está escrita.

4. ¿Por qué es importante esto?

El paper nos dice que los puntajes altos en los exámenes viejos pueden ser una ilusión. Si una IA saca un 95% en el examen de 2018, no significa que sea un genio; significa que probablemente se aprendió el examen de memoria.

SPENCE nos da una nueva forma de medir la inteligencia real:

Si la IA falla cuando cambiamos las palabras, es un "memorizador" (contaminado).
Si la IA sigue funcionando bien aunque cambies las palabras, es un "pensador" (generaliza bien).

En resumen

SPENCE es como un espejo deformante para las IAs. Si la IA se ve bien en el espejo normal pero se ve terrible en el espejo deformado (cuando cambiamos la forma de preguntar), sabemos que no es tan inteligente como creíamos. Solo estaba recitando lo que ya había visto.

Gracias a este estudio, ahora sabemos que los exámenes de IA más antiguos están "sucios" (contaminados) porque las IAs los han memorizado, y que necesitamos exámenes más nuevos y preguntas más variadas para ver quién realmente sabe hacer el trabajo.

1. El Problema: Contaminación en Benchmarks de NL2SQL

Los Modelos de Lenguaje Grandes (LLMs) han mostrado un rendimiento excepcional en tareas de conversión de lenguaje natural a SQL (NL2SQL). Sin embargo, existe una preocupación creciente de que estas métricas de precisión estén infladas artificialmente debido a la contaminación de datos. Esto ocurre cuando los modelos han memorizado las consultas de los conjuntos de prueba (benchmarks) o patrones estructuralmente similares durante su fase de entrenamiento, en lugar de haber aprendido a generalizar la tarea.

La literatura actual ha identificado este problema, pero falta un método estandarizado para cuantificar la "robustez sintáctica" de los modelos. Si un modelo depende de la memorización, su rendimiento debería colapsar drásticamente cuando se le presentan variaciones sintácticas de las consultas originales, incluso si el significado semántico permanece intacto.

2. Metodología: El Framework SPENCE

Los autores introducen SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects), un marco de trabajo controlado diseñado para detectar y cuantificar la contaminación mediante la perturbación sintáctica.

El pipeline de SPENCE consta de las siguientes etapas:

Selección de Datos: Se utilizan cuatro benchmarks ampliamente utilizados con fechas de lanzamiento escalonadas: Spider (2018), SParC (2019), CoSQL (2019) y BIRD (2023). Se trabaja sobre los conjuntos de desarrollo de cada uno.
Generación de Parafraseos:
- Se utilizan LLMs (GPT-5 en el experimento principal) para generar 10 variantes parafraseadas de cada consulta de lenguaje natural (NL).
- El prompt incluye la consulta SQL dorada (gold SQL) y el esquema de la base de datos para garantizar que las paráfrasis sean semánticamente equivalentes y válidas.
Filtrado y Clasificación Sintáctica:
- Se utiliza el Tree Edit Distance (TED) sobre árboles de dependencia (generados con spaCy) para medir la distancia sintáctica entre la consulta original y cada paráfrasis.
- Las paráfrasis se clasifican de 1 a 10 (donde 1 es la más similar sintácticamente y 10 la más divergente).
- Se aplica un filtro adicional basado en la similitud de cosenos de los embeddings para asegurar la fidelidad semántica y eliminar ruido.
Evaluación Emparejada:
- Se ejecutan los modelos NL2SQL tanto en la consulta original como en las 10 paráfrasis.
- Se calcula la precisión de ejecución (Execution Accuracy) para cada rango.
- Se mide el cambio en la precisión ( $\Delta$ Accuracy) a medida que aumenta la distancia sintáctica.
Análisis Estadístico:
- Se calcula la correlación de Kendall's $\tau$ entre el rango de la paráfrasis y el cambio en la precisión. Un valor negativo fuerte indica que la precisión cae a medida que la sintaxis se aleja de la original (señal de contaminación/memorización).
- Se utilizan intervalos de confianza mediante bootstrapping para validar la robustez estadística.

3. Contribuciones Clave

Framework SPENCE: Una metodología reproducible y agnóstica al modelo para detectar contaminación mediante pruebas sintácticas controladas, diferenciándose de métodos basados en superposición de cadenas (string overlap).
Análisis Temporal: La primera evaluación sistemática que correlaciona la fecha de lanzamiento de un benchmark con su vulnerabilidad a la contaminación, demostrando un "gradiente temporal" claro.
Validación de Robustez: Demostración de que la caída de rendimiento no se debe a la longitud de la consulta, al solapamiento léxico (Jaccard) ni a fallos en el enlace de esquema (schema linking), sino específicamente a la divergencia estructural.

4. Resultados Principales

Los experimentos se realizaron en seis modelos de diferentes capacidades (desde LLaMA-3.1-405B hasta GPT-4o-mini y modelos de razonamiento como o3-mini).

Benchmarks Antiguos (Spider, SParC, CoSQL):
- Exhiben una alta sensibilidad al rango sintáctico.
- La precisión cae drásticamente a medida que aumenta la distancia sintáctica (rango 1 a 10).
- En Spider (el más antiguo), la caída de precisión supera los 10-15 puntos porcentuales en los rangos altos.
- Los valores de Kendall's $\tau$ son fuertemente negativos (entre -0.6 y -0.95), confirmando que los modelos dependen de la forma superficial de las consultas antiguas.
Benchmarks Recientes (BIRD):
- Muestran una robustez notable. La precisión se mantiene estable o incluso mejora ligeramente en las primeras paráfrasis, y la caída es mínima o nula en los rangos altos.
- Los valores de Kendall's $\tau$ están cerca de cero, indicando que el modelo no ha memorizado patrones específicos de este conjunto de datos más nuevo.
Validación de Hipótesis Alternativas:
- Longitud: Se descartó que la caída se deba a que las paráfrasis sean más largas.
- Solapamiento Léxico: La tendencia negativa persiste incluso cuando se controla el solapamiento de palabras (Jaccard).
- Enlace de Esquema: Se verificó manualmente que las paráfrasis mantenían las claves para el enlace de esquema; el fallo del modelo fue en la generación de la consulta SQL, no en entender el esquema.
- Generador de Paráfrasis: Repetir el experimento con un generador diferente (LLaMA-4 Maverick en lugar de GPT-5) produjo resultados consistentes, descartando que el sesgo provenga del generador de paráfrasis.

5. Significado e Implicaciones

El estudio concluye que la contaminación de datos es un problema persistente y severo en los benchmarks de NL2SQL más antiguos, lo que sugiere que las puntuaciones de liderazgo actuales pueden no reflejar la verdadera capacidad de generalización de los modelos.

Advertencia sobre Benchmarks: Benchmarks como Spider, SParC y CoSQL ya no son fiables para medir el progreso real de los LLMs en NL2SQL debido a la alta probabilidad de memorización.
Necesidad de Nuevas Evaluaciones: Se propone que las evaluaciones basadas en la robustez sintáctica (como SPENCE) deben convertirse en un estándar complementario a los informes de precisión tradicionales.
Futuro: Los autores sugieren que los benchmarks más nuevos (como BIRD) son mejores indicadores de generalización, pero también proponen extender este enfoque sintáctico a otras tareas como text-to-code y preguntas y respuestas, y explorar la contaminación a nivel de muestras (no solo sintáctica).

En resumen, SPENCE proporciona una herramienta crítica para "desenmascarar" la memorización en modelos de IA, demostrando que la capacidad de un modelo para manejar variaciones sintácticas es un indicador más fiable de su inteligencia real que su rendimiento en consultas estáticas.