Evaluating Latent Knowledge of Public Tabular Datasets in Large Language Models

1. O Problema

O artigo aborda a crescente preocupação com a contaminação de dados em Grandes Modelos de Linguagem (LLMs). A contaminação ocorre quando os dados de teste de um benchmark estão presentes no conjunto de treinamento do modelo (seja durante o pré-treinamento ou pós-treinamento), levando a uma inflação artificial do desempenho.

Embora esse problema seja bem estudado em dados textuais, ele permanece pouco explorado no contexto de dados tabulares. As abordagens existentes focam principalmente em testes de memorização verbatim (cópia exata de linhas), o que é considerado muito grosseiro para detectar contaminação em tabelas, onde o modelo pode ter aprendido padrões estatísticos ou estruturas de dados sem memorizar linhas inteiras. A falta de um framework principiado para avaliar se um LLM possui conhecimento prévio de conjuntos de dados tabulares públicos compromete a validade das avaliações de generalização.

2. Metodologia Proposta

Os autores propõem um novo framework para avaliar a contaminação em dados tabulares, baseado na geração de consultas controladas e avaliação comparativa. O processo envolve os seguintes componentes principais:

• Geração de Variantes de Dados: Para cada conjunto de dados original, são criadas quatro variantes controladas para isolar o tipo de conhecimento que o modelo possui:

  1. Real: O conjunto de dados original e limpo (condição de referência).
  2. Like (Semelhante): Cada coluna é reamostrada independentemente de sua distribuição marginal. Preserva as estatísticas univariadas, mas destrói as dependências entre as linhas (estrutura de registro).
  3. Swapped (Troca): Aplica uma bijeção dentro de cada coluna (troca de valores categóricos ou inversão de numéricos) de modo que nenhum valor mapeie para si mesmo. Preserva a estrutura da linha e padrões de co-ocorrência, mas altera os valores específicos.
  4. Obfuscated (Ofuscado): Remove pistas semânticas de superfície (renomeia colunas para f1, f2... e valores categóricos para códigos anônimos). Preserva a estrutura e distribuição, mas elimina o significado semântico.

• Provas de Avaliação (Probes): O framework utiliza tarefas de múltipla escolha alinhadas entre as variantes:

  • Tarefa de Completar (Completion): O modelo deve preencher células mascaradas de uma linha com base nas outras, escolhendo entre 5 opções.
  • Tarefa de Existência (Existence): O modelo deve identificar qual, entre 5 linhas completas, é uma linha autêntica do conjunto de dados original.

• Baselines Não-Neurais e Teste Estatístico:

  • O desempenho do LLM é comparado contra três baselines: aleatório, determinístico (baseado na probabilidade marginal das colunas) e estocástico.
  • Utiliza-se o Teste de McNemar para verificar se o desempenho do modelo é estatisticamente superior às baselines na variante "Real".
  • Critério de Contaminação: Se o modelo supera significativamente a baseline aleatória na variante "Real", mas não nas variantes transformadas (ou se o padrão de desempenho indica dependência da estrutura original), há evidência de contaminação.

3. Principais Contribuições

1. Primeiro Framework para Tabular: Introdução do primeiro framework sistemático para avaliar contaminação em LLMs usando dados tabulares, superando a limitação dos testes de memorização verbatim.
2. Baselines e Critério Estatístico: Proposição de baselines não-neurais e um procedimento de teste estatístico formal para distinguir entre conhecimento geral/estatístico e exposição prévia ao dataset.
3. Evidência Empírica de Contaminação: Demonstração de que frameworks baseados apenas em memorização falham em detectar contaminação em benchmarks comuns, enquanto a nova abordagem revela sinais sutis de contaminação em modelos de diferentes escalas.
4. Registro de Contaminação: Criação de um registro empírico de quais datasets e modelos apresentam sinais de contaminação.

4. Resultados Experimentais

Os experimentos foram realizados em 8 conjuntos de dados tabulares públicos (Adult, Blood, Credit, Diabetes, Gamma, Iris, Mushroom, Titanic) e 7 modelos LLM (Mistral, Qwen, Llama, GPT-OSS) de diferentes tamanhos.

• Falha das Abordagens Anteriores: Os testes de memorização de Bordt et al. (2024) falharam em detectar contaminação em datasets como Adult e Titanic, mostrando precisão próxima a zero na reconstrução de linhas, o que sugere que a contaminação não é necessariamente verbatim.
• Detecção Efetiva: O novo framework detectou contaminação clara em 4 dos 8 datasets testados (Adult, Credit, Iris, Titanic).
  • No dataset Titanic, todos os modelos superaram significativamente a baseline aleatória na variante "Real" na tarefa de completar, indicando conhecimento prévio.
  • A performance caiu drasticamente nas variantes Swapped e Obfuscated, confirmando que o modelo dependia da estrutura e semântica originais do dataset, e não apenas de regularidades gerais de tabelas.
• Efeito de Escala: Sinais de contaminação tendem a ser mais fortes em modelos maiores (ex: Llama-70B, Qwen-32B), sugerindo que modelos maiores são mais capazes de explorar a exposição prévia aos dados.
• Caso Negativo: No dataset Mushroom e no dataset sintético, o framework não detectou contaminação, validando que o método não marca falsamente todos os benchmarks públicos como contaminados.

5. Significado e Implicações

• Validade das Avaliações: Os resultados indicam que as pontuações de benchmarks tabulares podem estar substancialmente infladas devido à contaminação, distorcendo comparações entre modelos e a percepção de progresso.
• Necessidade de Transparência: A avaliação de contaminação deve se tornar um padrão em estudos que avaliam LLMs em dados tabulares públicos. Datasets contaminados não precisam ser descartados, mas seus resultados devem ser interpretados com cautela e reportados transparentemente.
• Viés de Escala: A contaminação pode enviesar não apenas a estimativa de desempenho absoluto, mas também as comparações relativas, fazendo com que ganhos de escala pareçam maiores do que realmente são se os modelos maiores tiverem mais exposição aos dados de teste.
• Futuro: O trabalho destaca a necessidade de desenvolver protocolos de detecção ainda mais sensíveis e de entender a granularidade do conhecimento contaminado (o que exatamente o modelo sabe sobre o dataset).

Em resumo, o artigo demonstra que a contaminação em dados tabulares é um problema real e metodologicamente consequente, exigindo novas ferramentas de avaliação que vão além da simples verificação de memorização de linhas.