Resumo Técnico: Nepotismo Linguístico em RAG Multilíngue

Declaração do Problema

Sistemas de Geração Aumentada por Recuperação Multilíngue (mRAG) são projetados para responder a consultas de alto teor de conhecimento com respostas apoiadas por citações em diversas línguas. No entanto, uma questão aberta crítica permanece: será que a mistura de idiomas de documentos no contexto de recuperação enviesa inadvertidamente o comportamento de geração e citação do modelo?

Métodos existentes para medir a preferência de idioma sofrem de duas limitações primárias:

1. Falta de Controle de Correção: Estudos de mRAG de curto formato estimam a preferência via sobreposição de informação ou similaridade de embedding, o que não verifica diretamente se a fonte citada realmente apoia a afirmação gerada.
2. Fatores de Confundimento: Estudos de mRAG de longo formato que medem a frequência de citação contra a distribuição de documentos são confundidos pela variável de relevância e informatividade das fontes. Além disso, citações em linha estão sujeitas a alucinações, tornando difícil distinguir entre atribuição verdadeira e citações espúrias.

Consequentemente, permanece incerto se os modelos citam idiomas específicos devido à informatividade genuína ou a um viés sistemático que pode levar ao "nepotismo linguístico" — trocando a relevância do documento pela preferência de idioma.

Metodologia

Para isolar a preferência de idioma de outras variáveis, os autores propõem uma metodologia controlada usando os internos do modelo, ilustrada na Figura 1 do artigo. A abordagem envolve quatro etapas:

1. Geração de Dados Sintéticos (Etapas 1–2):

   • Tradução: Partindo de consultas em inglês e seus documentos de evidência relevantes ($D_{en}$), os autores utilizam Tradução Automática (API do Google Translate) para criar conjuntos de documentos paralelos em oito idiomas alvo ($D_{fr}, D_{ar}, D_{ko}, \dots$).
   • Geração de Referência: Um LLM forte (OpenAI o3) gera um relatório de referência com suporte de citações para cada consulta usando os documentos em inglês. Este relatório é segmentado em declarações ao nível de sentença, cada uma pareada com um ID de citação específico.

2. Filtragem de Verificação (Etapa 3):

   • Para garantir a correção da avaliação, os autores aplicam um filtro de dois estágios aos pares declaração-citação:
     • LLM-as-Judge: Múltiplos modelos juízes (OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro) classificam a relevância dos documentos para cada declaração. Apenas as declarações onde a maioria dos juízes concorda sobre o documento citado são retidas.
     • NLI Entailment: Um classificador de Inferência de Linguagem Natural verifica se o documento citado implica logicamente a declaração.
   • Este processo resulta em um pool verificado de 792 declarações onde a correção da citação é garantida.

3. Medição via Predição do Próximo Token (Etapa 4):

   • A métrica central é a precisão de prever o token de ID de citação correto como o próximo token.
   • Contextos Contrastivos: Para cada declaração verificada, o modelo é estimulado com a declaração e um contexto onde apenas o documento específico a ser citado ($d_{ci}$) é apresentado em um idioma alvo $\ell$, enquanto todos os outros documentos de evidência permanecem em inglês.
   • Métrica: A precisão da citação ($Acc(\ell)$) é calculada como a frequência com que o modelo prevê corretamente o ID de citação quando a fonte está no idioma $\ell$.
   • Gap de Preferência: A preferência de idioma é quantificada como $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$. Um valor negativo indica uma preferência pelo inglês sobre o idioma alvo.

Configuração Experimental

• Datasets: O dataset principal é o ELI5 (Explain Like I'm Five) de QA de longo formato (270 consultas do conjunto de teste WebGPT). Para experimentos de relevância vs. idioma, o dataset MIRACL é usado para introduzir distratores irrelevantes.
• Idiomas: Oito idiomas alvo representando diversos níveis de recursos: Árabe, Bengali, Francês, Coreano, Russo, Espanhol, Suaíli e Chinês.
• Modelos: Seis LLMs de pesos abertos de variados tamanhos e arquiteturas: LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B e AYA23 8B.

Principais Resultados

1. Forte Preferência pelo Inglês

Em todos os seis modelos e oito idiomas, os modelos exibem uma tendência pronunciada de citar documentos em inglês quando a consulta é em inglês.

• Magnitude: A precisão da citação cai significamente quando o documento citado está em um idioma não inglês comparado ao inglês.
• Correlação de Recursos: O viés é amplificado para idiomas de baixos recursos. Por exemplo, Suaíli e Bengali mostram as maiores quedas de precisão (até -37,6% no AYA23 8B), enquanto idiomas de altos recursos como Francês e Espanhol mostram reduções menores.
• Viés de Posição: O fenômeno "lost in the middle" exacerba este viés. A precisão da citação é mais baixa quando o documento aparece no meio do contexto, e o gap entre a precisão do inglês e do idioma alvo é mais amplo nesta posição.

2. Preferência pelo Idioma da Consulta

Quando a própria consulta é traduzida para um idioma alvo, os modelos deslocam sua preferência para citar documentos no idioma da consulta, mesmo que esse idioma não seja o inglês.

• Os modelos performam melhor quando o documento citado corresponde ao idioma da consulta, mesmo que outros documentos do contexto estejam em inglês.
• Isso sugere uma "preferência pelo idioma da consulta", onde o modelo favorece o alinhamento linguístico entre a consulta e a evidência, espelhando a "preferência pelo próprio idioma" humana em citações científicas.

3. O Idioma Sobrepõe a Relevância

Em experimentos introduzindo distratores irrelevantes, os autores descobrem que os modelos frequentemente trocam a relevância do documento pela preferência de idioma.

• Inglês Irrelevante vs. Não-Inglês Relevante: Quando um documento relevante está em um idioma alvo e um documento irrelevante está em inglês, a precisão da citação cai significamente abaixo da linha de base. O modelo é induzido ao erro pela fonte irrelevante em inglês.
• Inglês Relevante vs. Não-Inglês Irrelevante: Inversamente, quando o documento relevante está em inglês e o distrator está em um idioma alvo, a precisão sobe acima da linha de base. O modelo descarta mais facilmente distratores irrelevantes em idiomas não ingleses.
• Isso indica que, em mRAG de longo formato, a preferência de idioma pode ser um motor de comportamento de citação mais forte do que a relevância factual.

4. Análise dos Internos do Modelo

Usando visualização de Logit Lens no LLAMA-3.1 8B, os autores observam que:

• Os modelos não favorecem inicialmente o inglês para depois se corrigirem posteriormente.
• Em vez disso, existe uma região de transição específica (camadas 18–22) onde as previsões de citação se cristalizam. Uma vez que o modelo se compromete com uma citação (correta ou incorreta), ele preserva essa escolha nas camadas subsequentes.
• O gap entre previsões corretas e incorretas diminui para idiomas de baixos recursos, confirmando um forte viés para o inglês nesses casos.

Significância e Alegações

O artigo alega fornecer a primeira medição controlada de preferência de idioma em mRAG de longo formato usando os internos do modelo para manter a relevância constante. A significância destas descobertas reside em:

1. Revelação de Viés Sistemático: O estudo demonstra que as escolhas de citação não são impulsionadas apenas pela informatividade. Os modelos exibem "nepotismo linguístico", favorecendo sistematicamente o inglês (ou o idioma da consulta) mesmo ao custo da relevância.
2. Impacto na Confiança e Equidade: Estes vieses correm o risco de marginalizar fontes não inglesas, reforçando as hierarquias linguísticas existentes e reduzindo a confiança em ferramentas assistidas por IA para usuários multilíngues, particularmente em domínios de alto risco como saúde e jornalismo.
3. Contribuição Metodológica: O framework proposto oferece uma forma robusta de avaliar o comportamento de citação ao isolar efeitos de idioma da relevância do conteúdo, abordando as limitações de trabalhos anteriores que dependiam de contagens de frequência grosseiras ou métricas de sobreposição não verificadas.

Os autores concluem que construir sistemas de mRAG mais robustos e inclusivos requer reconhecer que o idioma em si exerce uma influência mais forte do que a relevância do documento nos modelos atuais, necessitando de práticas de avaliação que sejam transparentes e conscientes do idioma.