JAMMEval: A Refined Collection of Japanese Benchmarks for Reliable VLM Evaluation

1. O Problema

O desenvolvimento de Modelos de Linguagem e Visão (VLMs) depende criticamente de avaliações confiáveis. No entanto, os benchmarks de Perguntas e Respostas Visuais (VQA) em japonês sofreram muito menos refinamento iterativo em comparação com seus equivalentes em inglês. A análise manual dos autores revelou que muitos conjuntos de dados existentes contêm problemas fundamentais que comprometem a fiabilidade da avaliação, incluindo:

• Questões Ambíguas: Perguntas abertas ou subjetivas que não possuem uma única resposta correta, tornando a correção dependente da interpretação do avaliador.
• Falta de Ancoragem Visual (Image Grounding): Questões que podem ser respondidas com alta confiança apenas com o texto, sem necessidade de analisar a imagem, o que não testa a compreensão visual do modelo.
• Respostas de Referência Incorretas: Anotações de "ground truth" erradas, que penalizam modelos que fornecem a resposta correta.
• Alta Variabilidade: Resultados inconsistentes entre execuções (run-to-run variance) e dificuldade em distinguir entre modelos de diferentes capacidades.

2. Metodologia

Os autores introduzem o JAMMEval, uma coleção refinada de benchmarks construída através de um processo rigoroso de revisão humana em duas etapas sobre sete conjuntos de dados seminais existentes.

• Seleção de Dados (Seed Datasets): Foram selecionados 7 benchmarks japoneses cobrindo domínios diversos: OCR (CC-OCR-JA), conhecimento cultural japonês (JA-VLM-Bench, Heron-Bench, CVQA-JA), imagens múltiplas (JA-Multi-Image-VQA), documentos (JDocQA) e gráficos/tabelas (JGraphQA). O total inicial era de 1.925 instâncias.
• Processo de Refinamento (Duas Rodadas de Anotação):
  1. Análise de Problemas: Identificação de ambiguidades, erros de anotação e falta de dependência visual.
  2. Revisão e Re-anotação: Diferente de abordagens anteriores que apenas filtravam (removiam) dados ruins, o JAMMEval priorizou a revisão para preservar o tamanho do conjunto de dados (crucial para benchmarks pequenos). As ações incluíram:
     • Disambiguação: Reformulação de perguntas para serem objetivas.
     • Correção de Respostas: Ajuste de ground truths errados.
     • Substituição: Criação de novos pares Pergunta-Resposta para imagens onde a original era inviável.
     • Remoção: Apenas para casos onde a imagem não continha informações visuais suficientes.
  3. Padronização: Unificação do formato de resposta (principalmente para respostas curtas, exceto no CVQA-JA que manteve múltipla escolha).
• Avaliação: O conjunto refinado (1.592 instâncias) foi usado para testar modelos de peso aberto (Qwen3-VL, InternVL3.5, Sarashina2.2) e proprietários (GPT-4o, GPT-5.1, Gemini 3 Pro). A métrica principal foi a precisão, utilizando um modelo LLM (GPT-5.1) como "juiz" para correspondência flexível em respostas curtas.

3. Principais Contribuições

• JAMMEval: A primeira coleção de benchmarks japoneses de VQA sistematicamente refinada para garantir alta qualidade, ausência de ambiguidade e dependência visual estrita.
• Metodologia de Refinamento Ativo: Demonstração de que a re-anotação e correção de dados são mais eficazes do que a simples filtragem para benchmarks de tamanho limitado, preservando o volume de dados enquanto se aumenta a qualidade.
• Análise de Impacto na Qualidade de Avaliação: Evidência empírica de que benchmarks "sujos" distorcem os resultados, subestimando capacidades reais e introduzindo ruído estatístico.
• Lançamento de Recursos: Disponibilização pública do conjunto de dados e do código para fomentar pesquisas futuras em avaliação confiável de VLMs.

4. Resultados

A avaliação no JAMMEval revelou insights importantes sobre o estado atual dos VLMs em japonês e a eficácia do refinamento:

• Desempenho dos Modelos:
  • O Gemini 3 Pro liderou globalmente, alcançando >90% de precisão em todas as tarefas (avaliado com raciocínio ativado).
  • Entre os modelos de peso aberto, o Qwen3-VL-8B teve o melhor desempenho geral, superando até o GPT-5.1 em tarefas de leitura de texto (OCR e Documentos).
  • O modelo especializado Sarashina2.2-Vision-3B destacou-se em tarefas de conhecimento cultural japonês, sugerindo a eficácia do pré-treinamento específico.
• Impacto do Refinamento na Qualidade do Benchmark:
  • Aumento da Precisão: A precisão média aumentou significativamente após o refinamento (ex: +43.4 pontos no CC-OCR-JA, +26.3 no JDocQA), indicando que os benchmarks originais subestimavam sistematicamente os modelos devido a erros de anotação.
  • Redução de Variância: A variância entre execuções (run-to-run std) diminuiu, tornando os resultados mais estáveis e reproduzíveis.
  • Melhor Distinção de Modelos: A diferença de desempenho entre o melhor e o pior modelo aumentou, permitindo uma discriminação mais fina entre capacidades de modelos (útil para estudos de ablação).
  • Preservação de Ranking: A ordem relativa dos modelos manteve-se consistente (correlação de Spearman próxima a 1), confirmando que o refinamento não alterou a hierarquia de capacidades, apenas a medição precisa delas.
• Análise de Erros: O refinamento reduziu drasticamente os "erros do juiz" (quando o avaliador penaliza uma resposta correta devido à ambiguidade da pergunta original). No Heron-Bench original, 30,1% dos erros do Gemini 3 Pro eram atribuídos a problemas de avaliação (juiz/ambiguidade), caindo para 9,1% na versão refinada.

5. Significado

O trabalho destaca que a qualidade do benchmark é tão crucial quanto a arquitetura do modelo para o avanço da IA. O JAMMEval corrige uma lacuna crítica na pesquisa de VLMs em japonês, fornecendo uma ferramenta de avaliação que:

1. Elimina ruídos que levam a conclusões enganosas.
2. Permite comparações justas e estáveis entre modelos.
3. Fornece um padrão de ouro para o desenvolvimento futuro de modelos multimodais focados no idioma japonês, incentivando a comunidade a adotar práticas de refinamento iterativo semelhantes às utilizadas em benchmarks de inglês.