Resumo Técnico: A Verdade Não Conhece Idioma: Avaliando a Veracidade Além do Inglês

Declaração do Problema

A avaliação da veracidade em Grandes Modelos de Linguagem (LLMs) tem sido predominantemente confinada ao inglês, utilizando principalmente o benchmark TruthfulQA. Embora o TruthfulQA seja o padrão para avaliar como os LLMs mimetizam falsidades humanas, sua disponibilidade exclusiva em inglês limita a compreensão de se os LLMs mantêm a veracidade em diferentes idiomas, particularmente em línguas de baixos recursos. Tentativas existentes de traduzir o conjunto de dados têm sido informais (tradução automática) em vez de profissionais, carecendo de uma avaliação rigorosa da utilidade do dataset para línguas não inglesas. Além disso, há a necessidade de determinar se o contexto cultural e temporal inerente às perguntas originais em inglês afeta as avaliações de veracidade quando traduzidas, e se as métricas de avaliação automática atuais (como múltipla escolha) são suficientes para a avaliação de veracidade translinguística.

Metodologia

Este estudo introduz uma extensão traduzida profissionalmente do benchmark TruthfulQA para quatro idiomas: basco, catalão, galego e espanhol. O processo de tradução envolveu falantes nativos profissionais e aderiu a diretrizes específicas para manter o paralelismo enquanto lidava com nuances culturais (ex: tradução literal de provérbios, empréstimo de acrônimos e generalização de termos específicos de cultura).

Configuração Experimental

Os autores avaliaram 12 LLMs de última geração (state-of-the-art) das famílias Llama 3/3.1 e Gemma 2, variando de 7B a 70B de parâmetros. Tanto as variantes base quanto as ajustadas por instrução (instruction-tuned) foram testadas.

Três métodos de avaliação foram empregados:

1. Avaliação Humana: Uma avaliação manual de 400 respostas (100 perguntas × 4 modelos) para veracidade e informatividade usando rótulos binários.
2. Múltipla Escolha (MC2): A métrica automática padrão usada em leaderboards, calculando a probabilidade de respostas corretas contra incorretas.
3. LLM-como-Juiz (LLM-as-a-Judge): Uma avaliação de geração automática onde um modelo juiz ajustado (especificamente o Gemma 2 9B Instruct, treinado em dados traduzidos automaticamente) avalia a veracidade das respostas geradas. Este método foi selecionado com base em sua alta correlação com julgamentos humanos.

Adicionalmente, o estudo comparou o dataset traduzido profissionalmente contra uma versão gerada via Tradução Automática (MT) usando Claude 3.5 Sonnet para avaliar a viabilidade da MT para escalar benchmarks de veracidade. O dataset também foi analisado dividindo as perguntas em categorias universais (independentes de tempo/contexto) e dependentes de contexto/tempo.

Principais Contribuições

1. Dataset Multilíngue TruthfulQA: A primeira versão traduzida profissionalmente do TruthfulQA cobrindo basco, catalão, galego e espanhol, abordando a lacuna na avaliação de línguas de baixos recursos.
2. Estrutura de Avaliação: Uma comparação abrangente de métodos de avaliação, demonstrando que o LLM-como-Juiz correlaciona-se significativamente melhor com julgamentos humanos do que métricas de múltipla escolha (MC2) em todos os idiomas.
3. Análise de Informatividade: A identificação de que modelos base frequentemente produzem respostas não informativas (ex: "Não tenho comentários"), o que infla artificialmente as pontuações de veracidade em métricas padrão. O estudo destaca a necessidade de avaliar a informatividade separadamente, particularmente para modelos base.
4. Viabilidade de Tradução: Evidência sugerindo que a tradução automática de alta qualidade é uma alternativa viável e escalável à tradução profissional para estender benchmarks de veracidade a idiomas adicionais, desde que o motor de tradução seja de última geração.

Resultados

• Disparidades Linguísticas: Os LLMs geralmente performam melhor em inglês e pior em basco (a língua com menos recursos). No entanto, a discrepância geral nos escores de veracidade entre os idiomas é menor do que o antecipado.
• Desempenho dos Modelos:
  • Modelos ajustados por instrução superam consistentemente os modelos base em veracidade.
  • Modelos maiores (ex: 70B) tendem a superar seus equivalentes menores dentro da mesma família, contrastando com alguns achados anteriores onde o tamanho do modelo não correlacionava com a veracidade.
  • Modelos Gemma 2 demonstraram veracidade superior aos modelos Llama 3 entre os idiomas.
• Métricas de Avaliação: O método LLM-como-Juiz mostrou maior concordância com avaliadores humanos (Kappa de Cohen) do que o MC2. Notavelmente, um juiz treinado em dados de inglês performou melhor que o MC2 mesmo ao avaliar línguas não inglesas, embora um juiz treinado em dados multilíngues tenha performado melhor.
• Perguntas Universais vs. Contextuais: Os modelos performam significativamente melhor em perguntas de conhecimento universal (aproximando-se de 90% de precisão) em comparação com perguntas dependentes de tempo e contexto. Isso sugere que benchmarks estáticos que carecem de variedade contextual podem levar à saturação de desempenho e falhar em refletir os desafios de desinformação do mundo real.
• Tradução Automática: Testes estatísticos confirmaram que não houve diferença significativa nos escores de veracidade entre os datasets traduzidos profissionalmente e os traduzidos automaticamente, apoiando o uso de MT para expansão de datasets.

Significância e Alegações

O artigo alega que, embora o inglês continue sendo a língua onde os LLMs exibem a maior veracidade e coerência, a lacuna entre o inglês e outros idiomas não é tão vasta quanto se temia anteriormente. O estudo desafia a suposição de que métricas de múltipla escolha são suficientes para a avaliação de veracidade, defendendo abordagens de LLM-como-Juiz que capturam melhor as nuances do texto gerado.

Os autores enfatizam que a informatividade é um fator crítico e frequentemente negligenciado; sem ela, as métricas de veracidade para modelos base podem ser enganosamente altas devido a respostas não compromissoras. Além disso, os resultados indicam que perguntas universais são cada vez mais fáceis de serem respondidas corretamente pelos LLMs modernos, sugerindo que futuros benchmarks de veracidade devem incorporar variabilidade cultural e temporal para permanecerem rigorosos e relevantes.

Finalmente, o artigo postula que a tradução automática oferece um caminho escalável e de baixo custo para estender os benchmarks de veracidade a uma gama mais ampla de idiomas, potencialmente democratizando a avaliação de segurança e confiabilidade de LLMs além do mundo anglófono. No entanto, os autores notam modestamente as limitações relativas ao escopo específico das línguas ibéricas e à natureza estática do dataset, que pode não capturar totalmente a desinformação dinâmica do mundo real.