💻 computer science

How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models

Este artigo introduz e valida uma estrutura sistemática para auditar a confiabilidade de benchmarks de LLM em bengali através da detecção de contaminação de dados translinguais e da medição da robustez contra perturbações, revelando que os resultados piloto iniciais mostram um desempenho pouco acima dos níveis de acaso.

Autores originais: Md Fahim Faisal Tanha

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md Fahim Faisal Tanha

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando julgar o quão bom um novo aluno é na resolução de problemas matemáticos. Você aplica um teste, ele obtém uma pontuação alta e você o declara um gênio. Mas e se, antes do teste, ele tivesse secretamente memorizado o gabarito? Ou se ele tivesse visto os mesmos problemas em uma língua diferente e apenas adivinhado as respostas com base nisso? Este é o mundo complicado dos testes de Inteligência Artificial (IA). Cientistas constroem "Modelos de Linguagem de Grande Escala" (LLMs) — programas de computador superinteligentes que podem ler, escrever e conversar em muitas línguas. Para ver se esses programas são realmente inteligentes ou apenas bons em memorizar, pesquisadores os submetem a testes padronizados chamados "benchmarks".

No entanto, existe um problema sorrateiro chamado "contaminação". É como se um professor acidentalmente deixasse o gabarito sobre a mesa do professor e o aluno o encontrasse antes do exame. O aluno obtém uma pontuação perfeita, mas não aprendeu o material; ele apenas memorizou as respostas. Isso é um grande problema porque, se os testes estiverem "contaminados", não podemos confiar nas pontuações. Podemos pensar que uma IA é ótima em um idioma como o bengali (falado por centenas de milhões de pessoas) quando, na verdade, ela apenas viu a versão em inglês do teste antes.

Agora, vamos olhar para um novo estudo que atua como um detetive, investigando se esses testes de IA para a língua bengali são justos ou se estão cheios de vazamentos ocultos.

O Trabalho de Detetive: Auditando Testes de IA em Bengali

Os pesquisadores neste artigo estão fazendo uma pergunta muito importante: As pontuações que vemos para modelos de IA em testes de bengali são reais, ou estão infladas porque os modelos tiveram exposição prévia?

Eles focaram no bengali porque é uma língua massiva que só recentemente começou a ter seus próprios testes de IA. Muitos desses testes são apenas traduções diretas de famosos testes em inglês. A equipe temia que, se um modelo de IA tivesse visto a versão em inglês de uma pergunta durante seu treinamento, ele poderia ser capaz de adivinhar a resposta em bengali corretamente sem entender de fato o bengali. Isso é chamado de "contaminação cross-lingual" (entre línguas).

Para resolver este mistério, os pesquisadores construíram um "framework de auditoria" especial — um conjunto de ferramentas para verificar a exposição prévia. Eles usaram três métodos principais:

A Verificação de "Verossimilhança": Eles observaram o quão surpresa a IA ficava com as perguntas do teste. Se a IA já tivesse visto a pergunta antes, ela não ficaria surpresa; seria muito confiante. Se estivesse vendo a pergunta pela primeira vez, seria mais hesitante.
O Teste de "Preenchimento de Lacunas": Eles tentaram enganar a IA escondendo uma das respostas erradas em uma questão de múltipla escolha e pedindo para ela adivinhar qual era a opção que faltava. Se a IA conseguisse adivinhar a palavra exata que faltava, é provável que ela tivesse o teste inteiro memorizado.
A Busca pela "Verdade Fundamental" (Ground Truth): Para alguns modelos que são completamente abertos (onde podemos ver exatamente em quais dados eles foram treinados), eles literalmente pesquisaram nos dados de treinamento para ver se as perguntas do teste estavam lá.

Eles também testaram a robustez. Isso é como mudar levemente a redação de uma pergunta — trocando um número ou adicionando uma frase irrelevante e boba — para ver se a IA ainda acerta. Se a pontuação da IA despencar quando você altera ligeiramente a pergunta, isso sugere que a IA não estava realmente "pensando"; ela estava apenas memorizando o padrão exato.

O Que Eles Descobriram (Até Agora)

Os pesquisadores não apenas falaram sobre a teoria; eles realmente realizaram um pequeno teste "piloto" para ver se suas ferramentas de detetive funcionavam. Eles usaram um modelo de IA menor (chamado Qwen2.5-1.5B) e o testaram em 500 questões de um teste de compreensão de leitura em bengali chamado BoolQ-bn.

Aqui está o que o piloto revelou:

A Pontuação Foi Pouco Melhor que um Lançamento de Moeda: O modelo obteve uma precisão de 0,568. Como este é um teste de perguntas de sim/não, um palpite aleatório obteria 0,50. O modelo fez cerca de 7 pontos a mais do que a pura sorte. Isso sugere que, neste tamanho, o modelo ainda não possui uma compreensão forte de compreensão de leitura em bengali.
O Teste de "Exposição Prévia" Foi Inconclusivo: Eles tentaram ver se o modelo havia memorizado as respostas usando suas ferramentas de verossimilhança, mas precisavam de um conjunto de perguntas "controle" (perguntas que o modelo definitivamente não tinha visto) para comparar. Essa parte ainda está sendo finalizada.
O Teste de "Distração": Eles adicionaram uma frase de distração às perguntas para ver se o modelo ficaria confuso. A pontuação do modelo caiu ligeiramente para 0,558, mas a diferença não foi estatisticamente significativa (a matemática diz que poderia ser apenas ruído aleatório). Isso significa que o piloto foi pequeno demais para dizer com certeza se o modelo era frágil ou não.

O Panorama Geral

A principal conclusão deste artigo não é um veredito final sobre se a IA em bengali está exibindo exposição prévia ou não. Em vez disso, o artigo é um projeto (blueprint) de como descobrir.

Os pesquisadores construíram um kit de ferramentas completo e de código aberto que qualquer pessoa pode usar para auditar esses testes. Eles listaram todos os benchmarks de bengali disponíveis, criaram um protocolo para verificar a contaminação e mostraram que é possível realizar esses testes caros usando recursos de computação gratuitos (como o Google Colab).

Eles estão executando a auditoria completa em muitos mais modelos e benchmarks. O piloto provou que o sistema funciona, mas os resultados totais ainda estão sendo calculados. O artigo argumenta que, até que realizemos essas auditorias, não podemos ter certeza se as altas pontuações que vemos para a IA em bengali são inteligência real ou apenas o resultado de os modelos terem visto as respostas em inglês antes.

Em suma, este artigo é um chamado à ação: "Vamos parar de supor se a IA é inteligente em bengali e começar a usar estas ferramentas de detetive para provar". Eles estão garantindo que, quando dissermos que uma IA é boa em um idioma, seja porque ela realmente entende o idioma, e não porque memorizou o teste.

Resumo Técnico: Confiabilidade de Benchmarks de LLM para Bengali

1. Definição do Problema

O bengali, falado por aproximadamente 250 milhões de pessoas, tem visto recentemente uma proliferação de benchmarks de avaliação de Grandes Modelos de Linguagem (LLMs). No entanto, a confiabilidade desses benchmarks é comprometida por duas ameaças primárias:

Contaminação de Dados de Benchmark (BDC): Itens de avaliação frequentemente vazam para os corpora de treinamento de modelos. Crucialmente, essa contam eminação é translinguística; modelos treinados em textos de origem em inglês podem alcançar pontuações infladas em suas traduções para o bengali sem nunca terem visto o texto traduzido. Como a maioria dos benchmarks de bengali são traduções diretas de conjuntos de teste em inglês, eles são estruturalmente vulneráveis a esse risco.
Falta de Robustez: O desempenho em benchmarks de línguas de baixos recursos pode refletir memorização superficial em vez de capacidade genuína. Evidências recentes sugerem que as pontuações podem colapsar sob perturbações semanticamente equivalentes, mas essa fragilidade não foi sistematicamente auditada para o bengali.

Apesar da rápida adoção desses benchmarks para decisões de implementação em educação e serviços públicos, nenhum estudo prévio auditou os benchmarks de bengali quanto à contaminação ou robustez. Isso deixa em questão a validade das pontuações de desempenho relatadas.

2. Metodologia

O autor apresenta um framework de auditoria sistemática projetado para avaliar a confiabilidade dos benchmarks de LLM para o bengali. O framework é aplicado a modelos de pesos abertos (1B–9B parâmetros) para aproveitar o acesso às probabilidades ao nível de token e, em alguns casos, ao corpus completo de pré-treinamento.

2.1 Componentes do Framework de Auditoria

O framework utiliza uma triangulação de três famílias de detecção:

Sinais Baseados em Verossimilhança (Min-K% Prob): Mede a probabilidade logarítmica média dos $k\%$ tokens menos prováveis para itens de benchmark. Itens presentes nos dados de treinamento tipicamente exibem pontuações mais altas. Isso é comparado contra um conjunto de sondagem privado, nunca publicado, e um controle temporal (modelos Pythia treinados antes da existência dos benchmarks).
Testes Baseados em Geração (TS-Guessing): Para questões de múltipla escolha, o modelo é instigado a reconstruir uma opção incorreta mascarada. Uma precisão significativamente acima de uma linha de base de chance indica memorização do arquivo de teste em vez de compreensão da tarefa.
Busca de Corpus de Verdade Fundamental (Ground-Truth): Para modelos com corpora de pré-treinamento totalmente públicos (Tier B: OLMo, Pythia, BLOOM), o framework realiza buscas de sobreposição exata de 13-gramas contra os dados de treinamento (Dolma, The Pile, ROOTS) tanto em formas de bengali quanto de inglês.

2.2 Análise Translinguística e de Robustez

Contaminação Translinguística (RQ2): Utilizando o design paralelo bengali-inglês do BEnQA, o estudo compara sinais de memorização e precisão entre itens de origem em inglês e seus equivalentes em bengali. Testa se uma memorização mais forte na origem em inglês prevê respostas corretas na tradução para o bengali.
Auditoria de Robustez (RQ3): O framework aplica perturbações de preservação de significado aos itens de benchmark, incluindo:
- Reordenação de opções (para MCQs).
- Inserção de sentenças distratoras.
- Substituição numérica (para problemas matemáticos).
- Parafraseamento por tradução automática de ida e volta (round-trip).
- O estudo mede o delta na precisão e a estabilidade do ranking dos modelos sob essas perturbações.

2.3 Configuração Experimental

Modelos: Os modelos auditados incluem Llama-3.2, Qwen2.5, Gemma-2, Mistral, TituLLM, TigerLLM, OLMo, Pythia e BLOOM.
Benchmarks: Um inventário curado de 8 benchmarks públicos de bengali (ex: BEnQA, Bangla MMLU, BanglaMATH, BoolQ-bn), distinguindo entre fontes nativas (autoria em bengali) e traduzidas (derivadas do inglês).
Computação: Todos os experimentos foram conduzidos em computação de GPU de nível gratuito (Kaggle/Google Colab) usando quantização de 4 bits para modelos maiores.
Piloto: Um piloto concluído avaliou o Qwen2.5-1.5B-Instruct em uma subamostra de 500 itens do BoolQ-bn.

3. Principais Contribuições

Inventário Curado: Uma versão documentada e detalhada de um inventário de benchmarks públicos de LLM para bengali, detalhando procedência, tamanho, licenciamento e métodos de construção.
Protocolo de Auditoria de Contaminação: O primeiro protocolo especificamente para benchmarks de bengali, combinando métodos de verossimilhança, geração e busca de corpus.
Teste Translinguístico: Um design experimental novel utilizando dados paralelos (BEnQA) para isolar e medir a contaminação translinguística.
Instrumento de Robustez: Uma suíte de perturbação para medir a estabilidade de pontuação e mudanças de ranking, vinculando a fragilidade à potencial contaminação.
Lançamento Público: Todo o código, manifestos de dados e outputs de auditoria por item são liberados publicamente para permitir a re-auditoria pela comunidade.

4. Resultados do Piloto

O estudo piloto no Qwen2.5-1.5B-Instruct (500 itens do BoolQ-bn) rendeu o seguinte:

Precisão: 0.568 (95% CI [0.524, 0.610]), que está apenas acima do nível de chance de 0.50 para uma tarefa binária. O modelo superou a linha de base da classe majoritária em apenas 3.4 pontos percentuais.
Robustez: Uma perturbação de distrator alterou a precisão em -1.0 ponto percentual (0.568 para 0.558). O teste de McNemar nos itens discordantes não foi estatisticamente significativo ( $p=0.302$ ), embora o autor note que o tamanho da amostra do piloto estava subdimensionado para detectar deltas pequenos.
Sinais de Contaminação: A média do Min-K% Prob foi -3.767. Pontuações de AUROC completas para detecção de contaminação estão pendentes da comparação com o conjunto de sondagem privado.
Viabilidade: O piloto confirmou que uma célula de auditoria completa de modelo $\times$ benchmark (precisão + Min-K% + perturbação) pode ser executada em aproximadamente 0.56 horas de GPU em uma única GPU T4.

5. Significância e Alegações

O artigo posiciona-se como a primeira auditoria sistemática de benchmarks de LLM para bengali. Sua significância reside em:

Questão Fundamental: Desafia a interpretação de pontuações altas em benchmarks de bengali, perguntando se elas refletem capacidade genuína ou memorização de dados vazados.
Rigor Metodológico: Ao combinar três famílias distintas de detecção e usar um controle temporal (Pythia), o estudo visa fornecer evidências mais fortes do que abordagens de método único.
Escalabilidade: O framework é projetado para ser agnóstico a idiomas e computacionalmente barato o suficiente (compatível com nível gratuito) para ser aplicado a outros idiomas de tamanho médio dependentes de tradução.
Utilidade para a Comunidade: O lançamento do protocolo e do inventário permite que a comunidade monitore continuamente a confiabilidade dos benchmarks de bengali conforme novos modelos e conjuntos de dados emergem.

O autor afirma explicitamente que a grade de auditoria completa (cobrindo todos os modelos e benchmarks) está atualmente em progresso, e este manuscrito relata o framework, o inventário, o protocolo e o piloto concluído. Eles mantêm uma postura modesta, observando que detectores baseados em verossimilhança fornecem evidências em vez de prova definitiva para modelos de pesos abertos e que a ausência de um sinal não garante que um benchmark esteja limpo.