Test of Time: Rethinking Temporal Signal of Benchmark Contamination

1. Declaração do Problema

A confiabilidade da avaliação de Modelos de Linguagem de Grande Escala (LLMs) é ameaçada pela contaminação de benchmarks, onde os modelos alcançam pontuações altas ao memorizar dados de avaliação de seus corpora de treinamento, em vez de demonstrar raciocínio genuíno.

• Método Atual de Detecção: Um método amplamente aceito para detectar contaminação é a análise temporal. Isso envolve comparar o desempenho do modelo em questões lançadas antes da data de corte de treinamento do modelo (pré-corte) versus aquelas lançadas após (pós-corte).
• A Premissa: Se um modelo performa significativamente pior em questões pós-corte (um fenômeno denominado decaimento de desempenho pós-corte), isso é interpretado como evidência de que o modelo memorizou dados pré-corte.
• O Conflito: Estudos recentes (por exemplo, RealMath) observaram uma falta de decaimento pós-corte em questões geradas por LLMs derivadas de fontes com carimbo de data/hora (como arXiv), enquanto benchmarks tradicionais (por exemplo, LiveCodeBench) mostram um decaimento claro. Essa discrepância sugere que o "sinal temporal" da contaminação pode ser frágil e dependente de como as questões do benchmark são construídas, e não apenas da presença de contaminação.

2. Metodologia

Os autores empregam uma abordagem multifacetada combinando avaliação empírica em larga escala, construção comparativa de benchmarks e análise de interpretabilidade mecânica.

A. Análise Temporal em Larga Escala (QA Gerada por LLM)

• Conjunto de Dados: Recuperou-se 20.277 artigos do arXiv (Matemática e Física) abrangendo 26 meses (maio de 2023 – junho de 2025).
• Geração de Questões: Utilizou-se o o4-mini para gerar questões de raciocínio multi-etapa a partir dos artigos. Estas foram filtradas por qualidade, resultando em 1.643 questões geradas por LLM.
• Modelos Avaliados: 8 modelos de ponta em 4 famílias (DeepSeek, OpenAI-o3/o4, Gemini, Llama) com datas de corte de conhecimento variadas.
• Objetivo: Verificar se a falta de decaimento pós-corte é um padrão consistente entre diferentes arquiteturas e domínios.

B. Construção Comparativa de Benchmarks

Para isolar a variável de "construção de questões", os autores criaram benchmarks alternativos a partir dos mesmos materiais fonte:

1. Questões Cloze (Preenchimento de lacunas): Geradas mascarando termos semânticos-chave dos resumos originais dos artigos (preservando a estrutura exata do texto).
2. Transformação LiveCodeBench: Aplicaram transformações semânticas baseadas em LLM a problemas de codificação existentes, mantendo o código de solução subjacente idêntico.
3. QA Baseada em Wiki: Transformaram questões de múltipla escolha no estilo FreshQA derivadas de eventos da Wikipedia.

C. Interpretabilidade Mecânica (Funções de Influência)

• Ferramenta: Utilizaram Funções de Influência (especificamente Kronfluence) para rastrear quais documentos de treinamento influenciam mais a previsão de um modelo.
• Configuração: Utilizaram o OLMo2-7B-Instruct (um modelo de dados abertos com conjunto de treinamento conhecido) contendo 40 artigos do arXiv comprovadamente contaminados.
• Tarefa: Para cada artigo, geraram tanto uma questão Cloze quanto uma questão gerada por LLM. O sistema então classificou os 100 documentos de treinamento mais influentes para cada consulta para verificar se o artigo fonte original foi identificado.

3. Principais Contribuições e Resultados

A. Ausência de Decaimento em Benchmarks Gerados por LLM

• Descoberta: Em 8 modelos e 2 domínios (Matemática/Física), nenhum decaimento sistemático de desempenho pós-corte foi observado em questões geradas por LLM. Na verdade, o desempenho aumentou ligeiramente pós-corte (+2,19 pontos percentuais em média, estatisticamente significativo).
• Implicação: O "sinal temporal" não é um indicador universal de contaminação quando as questões são geradas sinteticamente.

B. Presença de Decaimento em Benchmarks Cloze/Verbatim

• Descoberta: Quando os mesmos artigos fonte foram convertidos em questões Cloze (extração verbatim), um claro decaimento de desempenho pós-corte emergiu em todos os modelos.
• Comparação:
  • QA Gerada por LLM: Sem decaimento (ou leve melhoria).
  • QA Cloze: Decaimento significativo (por exemplo, -3,83% a -6,60%, dependendo da métrica e do modelo).
• Conclusão: O processo de geração por LLM transforma o material subjacente o suficiente para que os modelos não possam mais "recordá-lo" via memorização, mesmo que a fonte estivesse nos dados de treinamento.

C. Generalização Através de Domínios

• LiveCodeBench: O LiveCodeBench original mostrou decaimento claro. Após a transformação por LLM (reformulação), o decaimento desapareceu.
• QA Baseada em Wiki: As MCQs originais mostraram decaimento (até -7,59% para GPT-4o-mini). Variantes transformadas mostraram decaimento significativamente reduzido ou invertido.
• Significado: A sensibilidade do sinal temporal é um fenômeno geral, não limitado a artigos acadêmicos.

D. Evidência Mecânica (Funções de Influência)

• Questões Cloze: O modelo identificou com sucesso o artigo fonte como o documento mais influente (Top-1) 77,5% das vezes (100% dentro do Top-3). Isso confirma que o modelo está "lembrando" a instância de treinamento específica.
• Questões Geradas por LLM: A taxa de sucesso caiu drasticamente para 17,5% (Top-1) e 25,0% (Top-3).
• Interpretação: O processo de transformação rompe o link direto entre a consulta e a sequência específica de tokens de treinamento, tornando as funções de influência (e, por extensão, a simples memorização) ineficazes.

4. Significado e Implicações

• Reavaliação dos Sinais de Contaminação: O artigo argumenta que o decaimento de desempenho pós-corte é um sinal altamente sensível e potencialmente pouco confiável para contaminação de benchmarks. Sua presença ou ausência depende fortemente da metodologia de construção do benchmark (verbatim vs. transformado) e não apenas da presença de vazamento de dados.
• O Efeito "Transformação": Uma simples reformulação ou síntese baseada em LLM pode efetivamente "limpar" um benchmark contaminado ao quebrar o link de memorização, fazendo com que o modelo pareça estar raciocinando em vez de recordar.
• Recomendações para a Comunidade:
  1. Transparência Metodológica: Pesquisadores devem documentar exatamente como os benchmarks são construídos, pois isso dita a validade da análise temporal.
  2. Detecção Robusta: A análise temporal não deve ser usada isoladamente. Deve ser validada contra outros métodos (por exemplo, funções de influência, variantes de paráfrase).
  3. Além de Pontuações Escalares: A avaliação futura deve levar em conta a flutuação no desempenho quando os problemas são transformados, pois isso revela a fragilidade do raciocínio versus a memorização.

Conclusão

O artigo desafia fundamentalmente a premissa de que "decaimento pós-corte = contaminação". Em vez disso, demonstra que transformações geradas por LLM podem mascarar sinais de contaminação ao alterar a distribuição de entrada o suficiente para impedir a memorização direta, mesmo quando o material fonte está presente nos dados de treinamento. Isso exige abordagens mais robustas e multimodais para avaliar capacidades de IA e detectar vazamento de dados.