💻 computer science

Memory or Generalization? Temporal Probing of Data Contamination in Bengali LLM Benchmarks

Este artigo introduz o "temporal probing", um teste de validade direta utilizando itens de dificuldade correspondente e posteriores ao corte para medir a contaminação de dados em benchmarks de LLMs em bengali, constatando que os modelos atuais no conjunto de dados BoolQ-bn não apresentam inflação significativa por memorização, apesar da prevalência de conjuntos de teste estáticos e traduzidos.

Autores originais: Md Fahim Faisal Tanha

Publicado 2026-08-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Md Fahim Faisal Tanha

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, os pesquisadores dependem de testes para medir o quão inteligente um programa de computador é. Esses testes, chamados de benchmarks, são como exames padronizados para máquinas. Por muito tempo, esses exames foram escritos em inglês. À medida que a tecnologia cresceu, os desenvolvedores traduziram esses testes em inglês para outras línguas para ver o quão bem seus programas entendem as muitas línguas do mundo. Uma das línguas mais importantes para testar é o bengali, falado por aproximadamente um quarto de bilhão de pessoas. No entanto, uma sombra paira sobre esses testes traduzidos. Como a internet é vasta, o texto desses exames frequentemente acaba dentro das massivas bibliotecas de dados que ensinam esses programas a falar. Se um programa já leu as perguntas do exame durante seu treinamento, ele não está verdadeiramente demonstrando sua inteligência ao respondê-las corretamente; ele está simplesmente lembrando as respostas que viu antes. Esse problema, conhecido como contaminação de dados, torna difícil saber se uma pontuação alta significa que o programa é realmente capaz ou se apenas tem uma boa memória.

Um pesquisador chamado Md Fahim Faisal Tanha partiu para resolver esse mistério para os modelos de linguagem bengali. Em vez de tentar adivinhar se um modelo tinha visto uma pergunta, ele usou o tempo como uma ferramenta para encontrar a verdade. Ele percebeu que, se um modelo foi treinado com dados até uma certa data, ele não poderia possivelmente saber sobre nada publicado após essa data. Para testar isso, ele pegou as antigas e existentes perguntas de exames bengali e criou perguntas novas e difíceis de combinar usando artigos de notícias e provas publicadas em 2025 e 2026. Essas novas perguntas foram cuidadosamente elaboradas para serem tão difíceis quanto as antigas, mas eram garantidamente inéditas para os modelos, pois foram escritas depois que os modelos pararam de aprender. Ao comparar o desempenho dos modelos nas perguntas antigas versus as novas, ele pôde ver se as pontuações antigas estavam infladas pela memória.

O estudo focou em sete modelos de linguagem de código aberto diferentes, variando de tamanhos pequenos a médios, e os testou em oitenta e quatro pares de perguntas. Os resultados foram surpreendentemente tranquilizadores para a comunidade. Para a maioria dos modelos, as pontuações nas perguntas antigas eram quase exatamente as mesmas das pontuações nas novas perguntas não vistas. Isso sugere que os modelos não estavam memorizando os exames antigos; eles estavam realmente usando sua compreensão da língua para resolver os problemas. A maior diferença encontrada foi uma pequena lacuna de cerca de oito pontos percentuais, que a análise estatística mostrou ser provavelmente apenas ruído aleatório, e não um sinal de contaminação de dados. Em outras palavras, as pontuações atuais para esses modelos bengali parecem ser confiáveis.

Houve uma exceção interessante que ensinou aos pesquisadores uma lição valiosa sobre como projetar esses testes. Um modelo, uma versão grande da família Qwen, na verdade teve um desempenho significativamente melhor nas perguntas novas do que nas antigas. A princípio, isso pareceu estranho, mas os pesquisadores perceberam que não era um sinal de contaminação. Em vez disso, significava que as novas perguntas eram simplesmente mais fáceis para esse modelo específico responder do que as antigas perguntas traduzidas. As perguntas antigas exigiam um raciocínio complexo com o qual o modelo tinha dificuldade, enquanto as novas perguntas eram fatos mais diretos. Essa lacuna diminuiu à medida que os pesquisadores refinaram seu processo de correspondência, provando que a diferença inicial era uma falha no design do teste, não uma falha no desempenho do modelo. Essa descoberta destaca que o novo método de usar o tempo para verificar a contaminação de dados é poderoso o suficiente para detectar não apenas a memória, mas também desajustes sutis de dificuldade.

Fundamentalmente, este trabalho fornece uma maneira prática para a comunidade de inteligência artificial bengali verificar seus resultados sem precisar de ferramentas caras ou jogos de adivinhação complexos. Ao usar um método simples e gratuito que compara perguntas antigas com novas, os pesquisadores podem agora ter mais confiança de que suas pontuações altas refletem inteligência genuína. O estudo conclui que, para os modelos testados, os benchmarks são válidos e as pontuações são reais. À medida que novos e mais poderosos modelos cheguem no futuro, este mesmo método pode ser usado para garantir que o progresso relatado seja baseado em capacidade real, mantendo o campo honesto e avançando sobre terreno sólido.

Resumo Técnico: Memória ou Generalização? Sondagem Temporal de Contaminação de Dados em Benchmarks de Bengali para LLMs

Definição do Problema
Os benchmarks de modelos de linguagem de grande escala (LLM) em bengali são predominantemente conjuntos de teste estáticos traduzidos do inglês. Uma ameaça crítica à sua validade é a Contaminação de Dados de Benchmark (BDC), onde corpora de treinamento de escala web pública absorvem esses conjuntos de teste, levando os modelos a "memorizar" respostas em vez de demonstrar capacidade genuína. Os métodos de detecção existentes, como sondagens de verossimilhança (ex: Min-K% Prob) e testes de reconstrução, oferecem apenas sinais indiretos sobre a probabilidade de exposição. Eles falham em responder diretamente se um modelo pontua mais alto em itens que poderia ter memorizado em comparação com itens equivalentes que ele comprovadamente não poderia ter visto. Além disso, esses detectores foram calibrados para o inglês e sua eficácia em benchmarks de baixos recursos e traduzidos permanece incerta.

Metodologia: Sondagem Temporal
O artigo introduz a Sondagem Temporal, um teste de validade direta que utiliza o tempo como um instrumento para distinguir entre memorização e generalização. A métrica central é o Gap de Contaminação Temporal ( $\Delta T$ ), definido como a diferença de acurácia entre itens de benchmarks legados (publicados antes do corte de treinamento de um modelo) e itens de sondagem com dificuldade correspondente (publicados após o corte).

O estudo emprega um protocolo de Construção de Sonda Temporal (TPC) para gerar os conjuntos de sondagem:

Seleção de Fonte: O conteúdo é extraído de materiais verificavelmente pós-corte (2025–2026), incluindo exames nacionais, artigos de notícias licenciados e itens novos criados por falantes nativos.
Extração de Itens: As fontes são convertidas para o formato do benchmark legado (ex: passagem + pergunta sim/não para o estilo BoolQ).
Correspondência de Dificuldade: Cada item legado é pareado com um item de sonda correspondente em tipo de item, tópico/domínio, faixa de contagem de tokens e um proxy de dificuldade automatizado (pontuação de legibilidade + concordância zero-shot de modelos de referência).
Congelamento de Integridade: O conjunto de sondagem é mantido offline até a publicação para evitar contaminação.

O estudo avalia sete modelos de pesos abertos (variando de 1,5B a 9B de parâmetros) no benchmark BoolQ-bn usando 84 pares correspondentes. A análise estatística inclui intervalos de confiança de bootstrap pareados, testes exatos de McNemar em pares discordantes e correção de Holm para multiplicidade.

Principais Contribuições

Protocolo de Construção de Sonda Temporal (TPC): Um procedimento de custo zero e reprodutível para construir itens de avaliação pós-corte e com dificuldade correspondente em línguas de baixos recursos, completo com regras explícitas de fonte e licenciamento.
O Gap de Contaminação Temporal ( $\Delta T$ ): Uma métrica pareada e com controle de dificuldade projetada para auditorias de baixo orçamento, utilizando intervalos de confiança de bootstrap e testes estatísticos por item.
Auditoria Empírica: Um estudo de sete modelos de pesos abertos no BoolQ-bn, fornecendo vereditos de validade por modelo baseados puramente em evidências temporais.
Conjunto de Sonda Offline: Um conjunto de sondas de pós-corte mantido para o bengali, mantido offline para garantir que o instrumento permaneça livre de contaminação.

Resultos
O estudo não encontrou evidências de inflação significativa impulsionada por contaminação em todos os modelos testados:

Descobertas Gerais: Nenhum modelo exibiu um $\Delta T$ positivo estatisticamente significativo após a correção de Holm. O maior gap positivo observado foi no Gemma-2-2B (+8,3 pp), que foi estatisticamente indistinguível de zero ( $p=0,36$ ).
Análise de Anomalia: O modelo Qwen2.5-7B mostrou um gap negativo significativo ( $\Delta T = -17,9$ pp), o que significa que ele performou melhor em sondas pós-corte não vistas do que nos itens legados. O autor atribui isso a um desajuste residual de dificuldade (provas factuais de estilo jornalístico sendo mais fáceis para modelos fortes do que as perguntas de inferência pesada do BoolQ) em vez de contaminação. Esse gap atenuou de um estudo piloto e perdeu significância após a correção de multiplicidade.
Conclusão sobre o BoolQ-bn: As pontuações desses sete modelos de pesos abertos não mostram inflação detectável. O benchmark permanece provisoriamente válido para esta classe de modelos, com qualquer efeito não detectado limitado próximo a $\pm 14$ pontos percentuais.

Significância e Alegações
O artigo afirma que a sondagem temporal fornece à comunidade de NLP de bengali um instrumento prático e de baixo custo para determinar quando um benchmark ainda pode ser confiável.

Validação da Tradução: Os resultados apoiam tentativamente a hipótese de que traduzir benchmarks para uma língua de baixos recursos pode atenuar a transferência de memorização dos dados de treinamento em inglês.
Limitações de Detectores: O estudo sugere que detectores baseados em verossimilhança podem sinalizar excessivamente itens traduzidos que, na verdade, se comportam como dados novos.
Utilidade Prática: O autor argumenta que sinalizações de validade temporal por modelo, computáveis em uma tarde usando seu pipeline, devem se tornar prática padrão para leaderboards de bengali, especialmente conforme surgem modelos com cortes de treinamento mais recentes (2025+).

O artigo declara explicitamente que suas descobertas são específicas para os modelos de pesos abertos de 1–9B testados no BoolQ-bn e que os resultados podem não se transferir para modelos fechados de fronteira ou outras famílias de benchmarks sem extensões adicionais. O conjunto de sondas, o código e os manifestos estão programados para serem liberados após a publicação.

Mais como este