Lost in Translation: Do LVLM Judges Generalize Across Languages?

1. O Problema

Os avaliadores automáticos, como modelos de recompensa (reward models) e o paradigma de "LVLM como juiz" (Large Vision-Language Models acting as judges), são centrais para o alinhamento e a avaliação de modelos de visão-linguagem. No entanto, a avaliação desses juízes é quase exclusivamente focada em benchmarks monolíngues em inglês.

Isso cria uma lacuna crítica: não se sabe quão bem esses avaliadores generalizam para outras línguas e modalidades visuais. Benchmarks existentes como VL-RewardBench são apenas em inglês, enquanto extensões multilíngues como M-RewardBench são limitadas a entradas de texto puro. Não existe, até o momento, um benchmark unificado para avaliar modelos de recompensa multimodais em diversos idiomas, o que é exatamente o cenário onde esses avaliadores serão cada vez mais aplicados.

2. Metodologia

Os autores introduzem o MM-JudgeBench, o primeiro benchmark em larga escala para avaliação de modelos juízes multimodais e multilíngues. A metodologia envolve três etapas principais:

• Construção do Dataset (MM-JudgeBench):

  • O benchmark integra dois subconjuntos complementares:
    1. M-VL-RewardBench: Uma extensão multilíngue do VL-RewardBench original, focada em preferências visão-linguagem.
    2. M-OpenCQA: Um subconjunto centrado em gráficos (charts) derivado do OpenCQA, focado em raciocínio visual-textual estruturado.
  • Escala e Diversidade: O conjunto abrange 25 línguas tipologicamente diversas (incluindo línguas de baixo recurso como Bengali e Cazaque) e mais de 60.000 instâncias de preferência pareada.
  • Processo de Tradução: Todas as instâncias foram traduzidas do inglês para as outras 24 línguas usando o Gemini-3-Pro, selecionado após validação empírica por sua alta qualidade (medida por métricas LaBSE e CometKiwi).
  • Filtragem de Qualidade: Amostras com pontuações de tradução abaixo de um limiar (0.75) foram inspecionadas manualmente e retraduzidas ou descartadas para garantir a integridade dos dados.
  • Conjunto de Treinamento: Os autores também liberaram um conjunto de treinamento multilíngue derivado do MM-RewardBench (100k instâncias) para suportar fine-tuning adaptativo.

• Avaliação:

  • Foram avaliados 22 LVLMs (15 de código aberto e 7 proprietários), variando de 1B a 32B de parâmetros.
  • Os modelos atuaram como juízes, recebendo uma imagem, uma pergunta e duas respostas candidatas (A e B), devendo selecionar a melhor e fornecer um raciocínio.
  • Métricas incluíram: precisão pareada (pairwise accuracy), viés de posição (position bias), viés de comprimento (length bias) e consistência entre idiomas.

3. Principais Contribuições

1. MM-JudgeBench: O primeiro benchmark unificado para avaliação de juízes LVLM em cenários multimodais e multilíngues, cobrindo tarefas de preferência geral e raciocínio em gráficos.
2. Avaliação Empírica em Larga Escala: Uma análise abrangente de 22 modelos de ponta, revelando variações de desempenho cruzado-linguístico que permanecem invisíveis em avaliações apenas em inglês.
3. Recursos Abertos: Liberação do benchmark, código de avaliação e um conjunto de treinamento multilíngue para facilitar a adaptação de domínio e o desenvolvimento de juízes mais robustos.

4. Resultados Chave

• Variação Cross-Linguística Significativa: Modelos que apresentam alta precisão média em inglês sofrem quedas drásticas em certos idiomas. Por exemplo, variantes otimizadas para eficiência (como Gemini-2.5-Flash-Lite) colapsam em desempenho em línguas de baixo recurso, enquanto mantêm bom desempenho em inglês.
• Desempenho dos Modelos Abertos vs. Fechados:
  • Modelos fechados (ex: GPT-5) dominam em precisão geral e estabilidade.
  • Entre os modelos abertos, a família Qwen3-VL demonstrou o comportamento multilíngue mais consistente e escalável, superando modelos abertos maiores e até alguns modelos fechados otimizados (como Claude-4.5-Haiku).
  • O modelo especializado em recompensa LLaVA-Critic-7B teve desempenho abaixo de 50%, indicando generalização pobre.
• Línguas de Baixo Recurso: O idioma Cazaque (kk) consistentemente apresentou o pior desempenho para a maioria dos modelos, sugerindo que as estratégias de treinamento atuais não capturam adequadamente a diversidade linguística necessária.
• Viés e Robustez:
  • A precisão sozinha é insuficiente; muitos modelos exibem viés de posição (preferência por respostas na primeira ou segunda posição) e viés de comprimento.
  • O Qwen3-VL-32B mostrou o menor viés e variância entre idiomas.
• Impacto do Raciocínio: A geração de raciocínio (explicação) junto com a decisão do juiz melhorou significativamente a precisão. Modelos que não geravam raciocínio tiveram queda de desempenho.
• Aprendizado por Adaptação de Domínio: O fine-tuning supervisionado no conjunto de treinamento multilíngue liberado resultou em um ganho de +14% na precisão em M-VL-RewardBench para o modelo Qwen3-VL-8B, demonstrando a eficácia dos dados de treinamento fornecidos.

5. Significado e Conclusão

O estudo expõe limitações fundamentais na modelagem de recompensa atual. A descoberta de que o tamanho do modelo e a arquitetura são pobres preditores de robustez multilíngue é crucial. Mesmo os juízes LVLM mais avançados exibem comportamentos inconsistentes entre idiomas.

O trabalho conclui que:

1. A avaliação apenas em inglês mascara falhas críticas de generalização.
2. É imperativo desenvolver benchmarks multilíngues e multimodais para criar avaliadores automatizados confiáveis.
3. A adaptação de domínio via fine-tuning em dados multilíngues é uma estratégia viável e eficaz para melhorar modelos de código aberto.

Em suma, o MM-JudgeBench serve como um alerta e uma ferramenta essencial para a comunidade de IA, destacando que a confiabilidade dos avaliadores de modelos multimodais não é garantida sem validação rigorosa em diversas línguas.