💬 NLP

Evaluating Latent Knowledge of Public Tabular Datasets in Large Language Models

Este trabajo propone un marco de evaluación para detectar la contaminación de datos en conjuntos tabulares mediante consultas controladas y pruebas estadísticas, revelando evidencia de que el rendimiento de los modelos de lenguaje grandes en cuatro de ocho conjuntos de datos analizados está inflado debido a la memorización previa.

Autores originales: Matteo Silvestri, Fabiano Veglianti, Flavio Giorgi, Fabrizio Silvestri, Gabriele Tolomei

Publicado 2026-03-31

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Matteo Silvestri, Fabiano Veglianti, Flavio Giorgi, Fabrizio Silvestri, Gabriele Tolomei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que los Modelos de Lenguaje Grande (LLMs), como los que usan ChatGPT o similares, son como estudiantes universitarios muy inteligentes que han leído casi todo internet.

El problema que plantea este paper es el siguiente: ¿Cómo sabemos si un estudiante realmente aprendió las matemáticas, o simplemente se aprendió de memoria las respuestas del examen de la semana pasada?

Aquí tienes la explicación de la investigación, usando analogías sencillas:

1. El Problema: El "Truco" de la Contaminación

En el mundo de la Inteligencia Artificial, hay un fenómeno llamado contaminación de datos. Ocurre cuando el "estudiante" (el modelo) ya ha visto las preguntas del examen (los datos de prueba) antes de que se le ponga a prueba.

La analogía: Imagina que le das a un alumno un examen de historia. Si el alumno saca un 100%, ¿es porque estudió mucho o porque alguien le pasó las respuestas del examen antes?
El problema actual: Para los textos (como escribir ensayos), ya sabemos cómo detectar esto. Pero para los datos tabulares (esas hojas de cálculo con filas y columnas, como listas de clientes, diagnósticos médicos o datos del Titanic), nadie tenía una forma buena de saber si el modelo estaba "haciendo trampa" o si realmente entendía los datos.

2. La Solución: El "Examen Trampa" Creativo

Los autores crearon un nuevo método para detectar si el modelo ha "copiado y pegado" la información de la memoria. En lugar de preguntar lo mismo, les hacen una serie de preguntas de opción múltiple con un giro interesante:

Imagina que tienes una foto de una familia (una fila de datos) y le preguntas al modelo: "¿Quién es el padre?".

Para ver si el modelo sabe la respuesta de verdad o si solo la memorizó, les hacen tres tipos de pruebas:

La Prueba Real (El examen original): Les muestran la foto tal cual. Si el modelo acierta, ¿es porque sabe o porque la vio antes?
La Prueba "Mezclada" (El "Like"): Les muestran una foto donde los rasgos están mezclados al azar (ej. un padre con la cara de un hijo, pero con la ropa correcta). Si el modelo sigue acertando, es porque solo recuerda patrones generales (como "los padres suelen llevar corbata"), no la foto específica.
La Prueba "Enmascarada" (El "Obfuscated"): Les muestran la foto pero sin nombres. En lugar de "Padre", "Madre" o "Hijo", les dicen "Columna 1", "Columna 2", "Columna 3". Y los nombres de las personas son códigos como "Persona A", "Persona B".
- La clave: Si el modelo sigue acertando en esta prueba "enmascarada", ¡es una señal de alarma! Significa que no estaba usando su conocimiento general del mundo, sino que recordaba exactamente esa fila de datos específica que vio en su entrenamiento. Es como si el alumno dijera: "No sé quién es el padre, pero recuerdo que en la pregunta 4 la respuesta era la opción C".

3. Los Resultados: ¡Encontraron a los "Copiones"!

Los investigadores probaron este método en 8 conjuntos de datos famosos (como el del Titanic, datos de crédito, diabetes, etc.) con varios modelos de IA.

Lo que descubrieron: En 4 de los 8 casos, detectaron claramente que los modelos estaban "haciendo trampa". Tenían la información guardada en su memoria y la estaban usando para sacar buenas notas, no porque fueran genios en el tema.
La sorpresa: Los métodos antiguos (que solo preguntaban "¿recuerdas esta fila exacta?") no detectaron nada. Era como si el examen fuera tan obvio que el modelo no caía en la trampa. El nuevo método es como un examen con preguntas más sutiles que revelan el truco.

4. ¿Por qué importa esto?

Imagina que estás comprando un coche y el vendedor te dice: "Este coche es el más rápido del mundo, ¡hemos probado que llega a 300 km/h!".

Pero, si descubres que solo lo probaron en una pista de carreras que el fabricante construyó él mismo, esa prueba no vale nada.

El riesgo: Si los modelos de IA están "contaminados" con los datos de prueba, sus resultados en los rankings (las listas de los mejores modelos) están inflados artificialmente.
La conclusión: No significa que los modelos sean malos, pero significa que no podemos confiar ciegamente en sus puntuaciones actuales. Necesitamos saber si están aprendiendo de verdad o si simplemente tienen la "hoja de respuestas" en el bolsillo.

En resumen

Este paper es como un detective de plagio para la Inteligencia Artificial. Nos dice: "Oye, muchos modelos están sacando buenas notas en exámenes de tablas de datos no porque sean inteligentes, sino porque ya vieron las respuestas antes. Tenemos que cambiar la forma de evaluarlos para que no puedan hacer trampa".

Es un paso crucial para que la IA sea honesta y realmente útil en el futuro.

1. El Problema: Contaminación de Datos en Datos Tabulares

El artículo aborda el problema de la contaminación de datos en la evaluación de Modelos de Lenguaje Grande (LLM). La contaminación ocurre cuando un modelo ha estado expuesto previamente a los datos de prueba durante su entrenamiento (pre-entrenamiento o post-entrenamiento), lo que infla artificialmente sus puntuaciones en benchmarks y distorsiona la evaluación de su capacidad de generalización.

Brecha actual: Mientras que la contaminación en datos textuales ha sido estudiada, el ámbito de los datos tabulares (estructurados) está poco explorado.
Limitación de métodos existentes: Los enfoques actuales se basan principalmente en pruebas de memorización verbatim (reconstrucción exacta de filas). El paper argumenta que esto es demasiado tosco: un modelo puede tener conocimiento profundo de un conjunto de datos sin ser capaz de recitar una fila exacta, pero aún así obtener puntuaciones altas al reconocer patrones o combinaciones específicas.

2. Metodología Propuesta

Los autores proponen un marco de trabajo innovador para detectar contaminación mediante la generación de consultas controladas y una evaluación comparativa.

A. Variaciones del Conjunto de Datos

Para aislar el conocimiento específico del conjunto de datos del conocimiento general o estadístico, generan cuatro variantes de cada dataset público:

Real: El dataset original sin modificar (condición de referencia).
Like (Similar): Se muestrea independientemente cada columna desde su distribución marginal. Preserva las frecuencias de valores individuales pero destruye las dependencias entre filas (estructura de fila).
Swapped (Intercambiado): Aplica una biyección dentro de cada columna (permutación de valores categóricos o transformación lineal en numéricos) de modo que ningún valor se mapee a sí mismo. Preserva la estructura de la fila y las co-ocurrencias, pero cambia la semántica superficial.
Obfuscated (Ofuscado): Elimina las pistas semánticas superficiales renombrando las características (ej. $f_1, f_2$ ) y los valores categóricos con códigos anónimos. Preserva la estructura y distribución, pero oculta el significado.

B. Tareas de Evaluación (Probes)

Se generan consultas de opción múltiple alineadas a través de las variantes:

Tarea de Completado (Completion): Se ocultan ciertas columnas de una fila real y el modelo debe elegir la combinación correcta de valores entre 5 opciones (la correcta y 4 distractores).
Tarea de Existencia (Existence): Se presentan 5 filas completas y el modelo debe identificar cuál existe realmente en el dataset.

C. Baselines y Pruebas Estadísticas

El marco compara el rendimiento del LLM contra tres baselines no neuronales:

Aleatorio: Selección uniforme al azar.
Determinista: Selección basada en la probabilidad marginal máxima (Laplace smoothing).
Estocástico: Muestreo basado en la distribución de probabilidad marginal.

Se utiliza la prueba de McNemar para determinar si la mejora del modelo sobre las baselines es estadísticamente significativa. La contaminación se detecta si el modelo supera significativamente a la baseline aleatoria en la variante "Real", pero su rendimiento cae en las variantes transformadas (indicando que no es solo conocimiento estadístico general).

3. Contribuciones Clave

Primer Marco para Tablas: Introducen el primer framework diseñado específicamente para evaluar la contaminación en datasets tabulares públicos utilizando un benchmark de opción múltiple dual (completado y existencia).
Detección Fina: Proporcionan baselines no neuronales y un procedimiento de prueba estadística para distinguir entre conocimiento general (marginal) y exposición previa al dataset (estructura de fila).
Evidencia Empírica: Demuestran que los enfoques basados en memorización verbatim fallan en detectar contaminación en muchos casos, mientras que su método revela señales sutiles de contaminación que antes pasaban desapercibidas.

4. Resultados Experimentales

El estudio se realizó en 8 datasets tabulares públicos (Adult, Blood, Credit, Diabetes, Gamma, Iris, Mushroom, Titanic) y 7 modelos LLM de diferentes tamaños (Mistral, Qwen, Llama, GPT-OSS).

Hallazgos de Contaminación: Se encontró evidencia clara de contaminación en 4 de los 8 datasets (Adult, Credit, Iris, Titanic).
- En el dataset Titanic, todos los modelos mostraron un rendimiento significativamente superior a la línea base aleatoria en la variante "Real", confirmando contaminación.
- En Adult, la contaminación fue detectada consistentemente en todos los modelos probados.
Fallo de Métodos Anteriores: La comparación con el framework de memorización de Bordt et al. (2024) mostró que este último no detectó contaminación en Adult ni en Titanic (rendimiento cercano a cero en reconstrucción exacta), mientras que el nuevo marco sí lo detectó.
Efecto de la Escala: La señal de contaminación tiende a ser más fuerte en modelos de mayor tamaño (ej. Llama-70B, Qwen-32B), sugiriendo que los modelos más grandes son más capaces de explotar la exposición previa.
Casos Negativos: En datasets como Mushroom y Synthetic, el marco no detectó contaminación, validando que el método no genera falsos positivos sistemáticos.

5. Significado e Implicaciones

Fiabilidad de las Evaluaciones: Los resultados sugieren que las puntuaciones de rendimiento en tareas tabulares pueden estar infladas significativamente debido a la contaminación, lo que pone en duda las afirmaciones de progreso en la generalización de los LLMs.
Sesgo en Comparaciones: La contaminación puede distorsionar las comparaciones entre modelos de diferentes tamaños, haciendo que las ganancias de escala parezcan mayores de lo que realmente son si se basan en datos contaminados.
Nueva Norma: Los autores argumentan que la evaluación de la contaminación debe convertirse en un estándar obligatorio en estudios que utilizan datasets tabulares públicos. No se trata necesariamente de descartar los datasets, sino de reportar transparentemente la contaminación y ajustar la interpretación de los resultados.

En conclusión, el paper demuestra que la contaminación en datos estructurados es un problema real y metodológicamente grave, y ofrece una herramienta más sensible y robusta para identificarla que los métodos tradicionales de memorización.