Resumo Técnico: VMMU – Um Benchmark de Compreensão e Raciocínio Multimodal Multitarefa em Vietnamita

Declaração do Problema

Embora os Modelos de Linguagem de Visão (VLMs) tenham demonstrado progresso significativo em benchmarks multimodais centrados no inglês, suas capacidades em línguas de baixos recursos permanecem subexploradas, particularmente quando as tarefas exigem a integração conjunta de compreensão de linguagem, fundamentação visual (grounding) e raciocínio. Os benchmarks existentes em vietnamita ou carecem totalmente de questões multimodais ou dependem de formatos de "multimodalidade fraca" (ex: capturas de tela apenas de texto), onde a imagem serve meramente como um contêiner para o texto. Consequentemente, há uma lacuna crítica na avaliação de como os VLMs lidam com questões multimodais genuínas em vietnamita, onde evidências visuais não textuais (diagramas, gráficos, mapas, cenas de trânsito) são essenciais para resolver o problema e devem ser integradas ao texto renderizado em vietnamita.

Metodologia

Construção do Benchmark (VMMU)

Os autores introduzem o VMMU, um benchmark composto por 2.548 questões de múltipla escolha cuidadosamente selecionadas abrangendo 7 domínios: Matemática, Física, Química, Biologia, Geografia, Teste de Direção e Teste de QI.

• Fontes de Dados: As questões são extraídas de documentos oficiais do governo (Ministério da Educação e dos Transportes), exames acadêmicos nacionais (Exame de Graduação do Ensino Médio) e repositórios públicos selecionados. Todo o uso está em conformidade com o Artigo 25 da Lei de Propriedade Intelectual do Vietname para pesquisa não comercial.
• Pipeline de Curadoria: Um pipeline semiautomático renderiza PDFs em imagens, utiliza Tesseract OCR e análise de contorno para detectar limites de questões e elementos visuais, e filtra itens apenas de texto. O conjunto de dados final passa por uma tripla verificação manual por falantes nativos de vietnamita para garantir os rótulos de modalidade, a precisão do corte (crop) e a correção das respostas.
• Representações de Questões: O VMMU distingue quatro tipos de entrada, mas avalia principalmente o (D) Integrated-MM, onde questões, opções e evidências visuais estão intercaladas em uma única imagem. Também fornece variantes (C) Split-MM (texto separado da evidência visual) para diagnosticar modos de falha.

Protocolo de Avaliação

O estudo avalia 5 VLMs proprietários de última geração (SOTA): Gemini-2.5-Flash, Sonnet-4.0, GPT-4.1, o3 e Gemini-3.0-Pro. A avaliação é estruturada em vários estudos de ablação:

1. Confiabilidade do OCR: Avaliando a precisão da transcrição do texto incorporado usando a verdade fundamental (ground truth) verificada por humanos e IA.
2. Desempenho Integrado: Medindo a precisão de ponta a ponta nas imagens originais Integrated-MM.
3. Análise Split-MM: Reavaliando os modelos com o texto fornecido como entrada de texto puro e a evidência visual como um corte separado para isolar o grounding/raciocínio de distrações de OCR/layout.
4. Análise de Tradução: Traduzindo o texto Split-MM para o inglês para testar se as barreiras linguísticas são o principal gargalo.
5. Remoção de Evidência Visual: Removendo os cortes visuais inteiramente para medir a dependência de priors de texto e heurísticas.

Principais Resultados

1. O OCR não é o Gargalo

Ao contrário das suposições de que o desempenho em línguas de baixos recursos é limitado pelo reconhecimento de texto, os modelos avaliados demonstraram fortes capacidades de OCR em vietnamita.

• Métricas: BLEU médio de 89,01%, F1 de 94,30% e baixas Taxas de Erro de Caractere (CER: 6,59%).
• Implicação: Os erros em tarefas subsequentes são impulsionados principalmente pela fundamentação multimodal (localizar a evidência visual relevante) e pelo raciocínio, não pela incapacidade de ler o texto em vietnamita.

2. Capacidades de Raciocínio Impulsionam o Desempenho

Existe uma lacuna significativa de desempenho entre modelos "sem pensamento" (inferência padrão) e modelos "com pensamento" (modelos com cadeias de raciocínio explícitas).

• Precisão Geral: A precisão média de todos os modelos no cenário Integrated-MM é de 66,76%.
• Comparação de Modelos: Modelos sem pensamento alcançaram 50,58%–71,34% de precisão, enquanto modelos com pensamento (o3, Gemini-3.0-Pro) alcançaram 73,98%–86,33%.
• Dificuldade de Domínio: Testes de QI (raciocínio visual abstrato) e Situações de Trânsito foram os domínios mais desafiadores, enquanto Tabelas e Sinais de Trânsito foram comparativamente mais fáceis.

3. O Formato de Entrada Impacta Significativamente a Precisão

• Melhoria Split-MM: Separar o texto da evidência visual (Split-MM) melhorou a precisão para todos os modelos em uma média de +5,98%. O ganho foi mais pronunciado para modelos sem pensamento (+8,56%), sugerindo que layouts densos em imagens Integrated-MM introduzem distrações que prejudicam o grounding.
• Prejuízo da Tradução: Traduzir o texto em vietnamita para o inglês reduziu a precisão em uma média de 2,30%. Isso indica que a tradução para o inglês não serve como um atalho e pode introduzir um problema de "grounding de linguagem mista", onde as instruções em inglês falham em se alinhar com os rótulos visuais em vietnamita.

4. Dependência de Priors

Quando a evidência visual foi removida inteiramente, a precisão dos modelos caiu significativamente (média de -21,27%), mas permaneceu bem acima do acaso (51,47% vs. 25,92% de baseline). Isso sugere que os modelos frequentemente dependem de priors de apenas texto, heurísticas de exames ou padrões memorizados para adivinhar as respostas quando o grounding visual está ausente.

Significância e Contribuições

O artigo afirma que o VMMU aborda uma lacuna crítica na avaliação multimodal ao fornecer um benchmark especificamente projetado para o raciocínio multimodal genuíno em vietnamita. Suas principais contribuições são:

1. Insight Diagnóstico: Demonstra que, para os VLMs em vietnamita, o principal modo de falha não é o OCR, mas a integração de texto e evidência visual e os subsequentes passos de raciocínio.
2. Clareza Metodológica: Ao distinguir entre entradas Integradas e Split, os autores mostram que os modelos atuais lutam com a complexidade de layouts densos e intercalados, e que mecanismos de "pensamento" mitigam significativamente isso.
3. Especificidade de Linguagem: Os resultados refutam a hipótese de que traduzir para o inglês melhora o desempenho, destacando a necessidade de avaliação em língua nativa para tarefas envolvendo convenções visuais específicas da língua (ex: sinais de trânsito, formulários administrativos).
4. Recurso para a Comunidade: O VMMU serve como base para pesquisas futuras no ajuste fino de instruções centradas no vietnamita e no desenvolvimento de conjuntos de dados que visem habilidades de grounding e raciocínio além dos recursos centrados no inglês.

Os autores concluem que, embora os modelos proprietários mostrem promessa, o raciocínio multimodal confiável em vietnamita requer superar desafios no raciocínio conjunto de texto-visão sob layouts densos e melhorar o grounding multimodal, em vez de simplesmente melhorar as capacidades de OCR ou de tradução de linguagem.