Towards Reliable Multilingual LLMs-as-a-Judge: An Empirical Study

Enunciação do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) sejam cada vez mais utilizados como avaliadores automáticos ("LLMs como Juízes") para texto gerado, a maioria das pesquisas e benchmarks existentes centra-se no inglês. Estender essas capacidades de avaliação para cenários multilíngues, particularmente para idiomas de recursos limitados, permanece um desafio significativo. As lacunas atuais incluem a falta de conjuntos de dados de avaliação multilíngues robustos, incerteza quanto às estratégias de treinamento ótimas (por exemplo, supervisão monolíngue versus multilíngue, tradução de instruções) e compreensão limitada de como a escala do modelo e a disponibilidade de dados (dentro do domínio versus fora do domínio) influenciam a confiabilidade da avaliação em idiomas com níveis variados de recursos e estruturas tipológicas.

Metodologia
Os autores realizam um estudo empírico focado em três idiomas que representam diferentes níveis de recursos e famílias tipológicas: inglês (alto recurso, germânico), espanhol (recurso médio, românico) e basco (baixo recurso, isolado linguístico com morfologia aglutinante).

• Criação de Conjuntos de Dados: Como não existiam conjuntos de dados de julgamento públicos para basco ou espanhol, os autores adaptaram conjuntos de dados existentes em inglês. Eles traduziram a FeedBack Collection (100 mil pares instrução-resposta) para criar dados de treinamento. Para avaliação, traduziram dois benchmarks: RECON (tratado como dentro do domínio, seguindo o mesmo protocolo de geração que os dados de treinamento) e FLASK (tratado como fora do domínio, baseado em pontuação humana de dimensões de alinhamento).
• Cenários Experimentais: O estudo investiga duas condições primárias:
  1. Disponibilidade Dentro do Domínio: Ajuste fino de juízes em dados específicos da tarefa.
  2. Indisponibilidade Fora do Domínio: Avaliação em zero-shot ou ajuste fino em dados relacionados, mas fora do domínio.
• Configurações de Treinamento: Os autores compararam:
  • Alinhamento de Idioma: Tradução completa de todos os componentes (instruções, critérios, saídas) versus tradução parcial (mantendo critérios de avaliação e prompts de sistema em inglês enquanto traduzem apenas instruções e saídas).
  • Tipo de Supervisão: Treinamento monolíngue (idioma único) versus treinamento multilíngue (dados paralelos combinados).
  • Seleção de Modelo: Os experimentos utilizaram modelos da família LLaMA (variantes de 8B e 70B), incluindo modelos ajustados para instruções, modelos com raciocínio destilado e modelos já proficientes no idioma alvo (Latxa para basco).
  • Análise de Escala: Comparação de modelos de 8B contra modelos de 70B e alternativas proprietárias (GPT-5.2, Command-A).

Contribuições Principais

1. Expansão de Recursos: O trabalho estende dois conjuntos de dados de meta-avaliação existentes (RECON e FLASK) para espanhol e basco, fornecendo um ambiente de teste controlado para pesquisa de avaliação multilíngue.
2. Insights Estratégicos para Cenários Dentro do Domínio:
   • Tradução de Instruções: Manter critérios de avaliação e instruções em inglês durante o treinamento e teste (tradução parcial) produz julgamentos mais consistentes e maior correlação com rótulos de referência do que a tradução completa, mesmo para modelos treinados monolinguisticamente.
   • Multilíngue versus Monolíngue: O treinamento multilíngue melhora o desempenho para espanhol e basco em comparação com o treinamento estritamente monolíngue, demonstrando transferência cruzada de idiomas eficaz.
   • Proficiência do Modelo: Adaptar um modelo já proficientes no idioma alvo (por exemplo, Latxa para basco) usando instruções em inglês é mais eficaz do que treinar um modelo de propósito geral em dados traduzidos do idioma alvo.
   • Escala do Modelo: Quando dados dentro do domínio estão disponíveis, modelos menores de 8B ajustados finamente em dados específicos da tarefa podem alcançar desempenho comparável a modelos muito maiores de 70B e sistemas proprietários.
3. Insights Estratégicos para Cenários Fora do Domínio:
   • Riscos de Ajuste Fino: Em cenários fora do domínio, o ajuste fino em dados relacionados pode degradar o desempenho, particularmente para modelos maiores (70B), que podem exibir excesso de confiança e polarização de pontuação.
   • Superioridade em Zero-Shot: Para avaliação fora do domínio, a inferência em zero-shot com modelos maiores frequentemente prova ser mais robusta e confiável do que o ajuste fino em dados limitados ou relacionados.

Resultados

• Desempenho Dentro do Domínio: Modelos treinados com critérios de avaliação em inglês (tradução parcial) alcançaram uma correlação de Pearson de 0,73 com rótulos de referência, superando significativamente configurações totalmente traduzidas (0,56). O treinamento multilíngue melhorou as pontuações de Pearson em 4,2 pontos para basco e 1,4 ponto para espanhol em comparação com baselines monolíngues.
• Efeitos de Escala: Embora o desempenho em zero-shot geralmente tenha melhorado com o tamanho do modelo, o ajuste fino reduziu os ganhos marginais da escalabilidade. Modelos de 8B ajustados finamente frequentemente igualaram ou superaram modelos de 70B e alternativas proprietárias em tarefas dentro do domínio.
• Desempenho Fora do Domínio: O ajuste fino de modelos de 70B em dados fora do domínio levou a uma degradação na generalização, caracterizada por uma tendência a atribuir pontuações extremas (polarização) e uma queda em métricas relacionadas à factualidade e metacognição. Por outro lado, modelos de 8B beneficiaram-se do ajuste fino, mas ainda tiveram desempenho inferior em comparação com modelos grandes em zero-shot.
• Qualidade da Tradução: A análise estatística indicou que benchmarks traduzidos por máquina foram suficientes para identificar estratégias de treinamento eficazes, pois os modelos não diferiram sistematicamente na sensibilidade à qualidade da tradução em comparação com subconjuntos verificados por humanos.

Significado
O artigo fornece orientações práticas para a construção de pipelines de avaliação multilíngue eficientes e confiáveis. Desafia a suposição de que modelos maiores são sempre superiores, demonstrando que o ajuste fino direcionado de modelos menores e de pesos abertos pode ser altamente eficaz quando dados dentro do domínio estão disponíveis. Por outro lado, alerta contra o ajuste fino indiscriminado em cenários com escassez de dados ou fora do domínio, onde a avaliação em zero-shot de modelos maiores pode ser mais robusta. As descobertas sugerem que a tradução completa de prompts de avaliação é frequentemente desnecessária, e o aproveitamento de critérios em inglês pode melhorar a consistência cruzada de idiomas. Esses insights visam apoiar o desenvolvimento de sistemas de avaliação mais transparentes, linguisticamente inclusivos e eficientes em recursos para diversas comunidades linguísticas.