KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

O artigo apresenta o KMMMU, um benchmark nativo em coreano que avalia a compreensão multimodal em contextos culturais e institucionais locais, revelando que os modelos atuais enfrentam dificuldades significativas ao lidar com convenções específicas, conhecimento localizado e formatos visuais especializados, superando as limitações de benchmarks centrados no inglês.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a entender o mundo. Até agora, a maioria dos testes para esses robôs foi feita em inglês e focada em situações americanas ou europeias. É como se estivéssemos testando um motorista apenas em estradas de Nova York, e depois esperássemos que ele dirigisse perfeitamente no trânsito caótico e cheio de regras específicas de Seul, na Coreia do Sul.

O artigo que você enviou apresenta o KMMMU, que é basicamente um "exame de habilitação" novo e muito difícil, feito especificamente para testar a inteligência artificial no contexto coreano.

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: O "Tradutor" não é suficiente

Até hoje, os pesquisadores pegavam exames coreanos, traduziam para inglês e usavam para testar a IA. O problema é que isso é como tentar entender a cultura brasileira apenas lendo uma tradução de um livro de culinária. Você perde os detalhes sutis: as gírias, as leis locais, os costumes e como as coisas são realmente organizadas.

Os modelos de IA atuais são ótimos em coisas gerais (como saber que "água molha"), mas falham miseravelmente quando precisam entender regras específicas da Coreia (como saber exatamente qual é o tamanho de um "pequeno veículo" segundo a lei coreana de trânsito, que é diferente da definição americana).

2. A Solução: O KMMMU (O "Exame da Realidade")

Os autores criaram o KMMMU, um banco de dados com mais de 3.400 perguntas reais, tiradas de exames oficiais coreanos (como concursos públicos, certificações técnicas e olimpíadas).

• A Metáfora: Imagine que os testes antigos eram como um jogo de "Perguntas e Respostas" genérico. O KMMMU é como colocar o robô dentro de um escritório de advocacia, de uma fábrica de engenharia e de uma escola de arte na Coreia, e pedir para ele resolver problemas reais que um humano especialista resolveria.
• O Conteúdo: As perguntas vêm com imagens complexas: circuitos elétricos, mapas, documentos legais cheios de texto, diagramas de arquitetura e fotos. Não é só "o que é isso?", é "como isso funciona segundo a regra X?".

3. O Resultado: Os Robôs Estão "Cantando Falso"

Quando eles testaram os modelos de IA mais famosos (como o GPT-5, Gemini e outros) nesse novo exame, a notícia não foi boa:

• O "Melhor" Modelo: Mesmo o modelo mais inteligente conseguiu acertar apenas cerca de 52% das perguntas mais difíceis. Isso é como um aluno que mal passou na prova, mesmo sendo considerado o "genial" da turma.
• Onde eles falham:
  • Não é falta de raciocínio: O robô consegue pensar passo a passo. O problema é que ele não sabe a regra do jogo.
  • Exemplo: Se a pergunta pede para identificar um tipo específico de planta arquitetônica coreana, o robô pode ver o desenho, entender que é uma casa, mas errar o nome técnico exato porque não "leu" o manual de arquitetura local.
  • O "Efeito Tradução": Quando a pergunta depende de conhecimento local (como leis coreanas), os modelos multilíngues (que falam várias línguas) vão muito mal. Eles tentam traduzir o conceito para o inglês e perdem o sentido original.

4. A Análise dos Erros: Por que eles erram?

Os autores olharam de perto onde os robôs erraram e descobriram três "vilões":

1. O "Tradutor de Costumes": A IA tenta aplicar regras globais a situações locais. É como tentar estacionar um carro usando as regras de trânsito da Alemanha em uma rua estreita do Rio de Janeiro.
2. A "Memória de Pássaro": Em algumas perguntas, a IA precisa lembrar de um símbolo ou regra muito específica que só aparece em contextos coreanos. Ela não tem essa "memória de pássaro" (conhecimento local).
3. O "Detalhe que Foge": Em perguntas de arte e design, a IA vê o desenho geral, mas erra o nome técnico exato. É como ver um quadro e dizer "é uma pintura", mas errar quando perguntam se é "pintura a óleo" ou "aguarela".

5. A Conclusão: O Que Isso Significa para o Futuro?

O KMMMU nos ensina uma lição importante: Inteligência Artificial não é apenas sobre ser "esperto" em geral; é sobre ser "esperto" no lugar certo.

Para que a IA seja realmente útil no mundo real (em hospitais, escritórios de advocacia, escolas), ela precisa ser treinada e testada com a cultura e as regras locais, não apenas com dados traduzidos do inglês.

Resumo em uma frase:
O KMMMU é um "teste de realidade" que mostrou que, embora nossos robôs sejam brilhantes, eles ainda são como turistas que sabem falar um pouco de inglês, mas não conseguem navegar sozinhos pelas regras complexas e específicas da Coreia do Sul.

Resumo técnico

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) atuais demonstraram desempenho robusto em tarefas de visão-linguagem, mas os benchmarks existentes (como MMMU) são predominantemente centrados em inglês ou derivados de traduções. Isso cria uma lacuna significativa na avaliação de modelos em contextos não anglófonos, especialmente onde as tarefas são moldadas por:

• Convenções institucionais locais: Normas administrativas e legais específicas de cada país.
• Formatos visuais disciplinares: Diagramas técnicos, tabelas e símbolos que seguem padrões regionais.
• Conhecimento denso e localizado: Questões que exigem conhecimento profundo sobre leis, regulamentos e cultura local, que não podem ser inferidos apenas por conhecimento de mundo geral.

A falta de um benchmark nativo em coreano para avaliação de nível especialista impede a medição precisa das capacidades reais dos modelos em cenários do mundo real na Coreia do Sul.

2. Metodologia

Os autores desenvolveram o KMMMU, um benchmark nativo coreano construído através de um pipeline rigoroso de coleta e filtragem:

• Coleta de Dados: O dataset foi extraído de exames oficiais e competições coreanas de alto nível, incluindo:
  • Recrutamento de serviço civil (PSAT).
  • Qualificações Técnicas Nacionais (NTQ).
  • Padrões de Competência Nacional (NCS).
  • Olimpíadas Acadêmicas.
  • Total inicial: ~68.000 instâncias brutas.
• Processamento e Verificação:
  • Uso de OCR automatizado (MinerU-2.5) seguido de verificação manual por cinco anotadores nativos coreanos para corrigir artefatos, fórmulas LaTeX e cortes de imagem.
  • Filtragem adversarial em múltiplos estágios: As questões foram testadas em zero-shot contra quatro modelos base (Phi-3.5-Vision, InternVL-3.5, Gemini-2.5-Flash-Lite e Gemini-2.5-Flash). Questões resolvidas corretamente por qualquer um desses modelos foram removidas para garantir que o benchmark permaneça desafiador.
• Estrutura do Dataset Final:
  • 3.466 questões verificadas.
  • 9 Disciplinas: Engenharia, Ciências Naturais, CS & TI, Negócios & Público, Ciências Sociais, Matemática & Estatística, Geral, Direito & Ética, Artes & Design.
  • 9 Categorias de Modalidade Visual: Diagramas, Tabelas, Textos/Códigos, Fotos, Mapas, etc.
  • Subconjuntos Especiais:
    • Hard Subset: 627 questões (18% do total) que foram erradas por três modelos de ponta (Gemma-3, Qwen3-VL-Thinking, GPT-5-nano).
    • Korean-Specific Subset: 300 questões que exigem conhecimento institucional ou cultural estritamente coreano (ex: leis de trânsito, terminologia administrativa).
• Avaliação:
  • Testes em zero-shot sem otimização de parâmetros.
  • Uso de um LLM-Judge para avaliar respostas de múltipla escolha e texto livre, com validação humana para garantir confiabilidade.

3. Principais Contribuições

• Primeiro Benchmark Nativo Coreano de Nível Especialista: Preenche a lacuna de avaliação multimodal em contextos culturais e institucionais coreanos, indo além de simples traduções.
• Análise de Viés e Limitações Locais: Demonstra que a especialização em língua coreana (modelos treinados apenas em coreano) não é suficiente para superar a falta de conhecimento de domínio e convenções locais.
• Taxonomia Detalhada: Introduz uma classificação granular que cruza disciplinas, modalidades visuais e a necessidade de conhecimento específico ("Korean-specific"), permitindo diagnósticos precisos de falhas.
• Insights sobre Raciocínio vs. Conhecimento: O benchmark ajuda a distinguir se as falhas dos modelos são devido à falta de capacidade de raciocínio passo a passo ou à falta de recuperação de conhecimento específico e mapeamento de convenções.

4. Resultados Chave

Os experimentos com diversos modelos (Open-source e Proprietários) revelaram:

• Desempenho Geral Baixo: Mesmo os modelos mais fortes estão longe de dominar a tarefa.
  • O melhor modelo open-source (Qwen3-VL-235B-A22B-Thinking) atingiu apenas 42,05% de precisão no conjunto total.
  • O melhor modelo proprietário (Gemini-3-Pro) atingiu 52,42% no Hard Subset.
• Variação Disciplinares: O desempenho varia drasticamente entre disciplinas. "Geral" e "Artes & Design" são gargalos persistentes, mesmo para modelos maiores.
• O "Gap" Coreano-Specífico:
  • Modelos multilíngues fortes performam significativamente pior em questões Korean-specific (até 13,43% de diferença de precisão em comparação com questões não específicas).
  • Modelos nativos coreanos (como VARCO-VISION) não superaram os modelos multilíngues globais, sugerindo que o problema não é apenas linguístico, mas de conhecimento institucional.
• Análise de Erros:
  • Raciocínio vs. Conhecimento: O aumento da profundidade de raciocínio (modelos "Thinking") trouxe ganhos inconsistentes. Muitas falhas ocorreram não por falta de raciocínio, mas por mapeamento incorreto de convenções para rótulos (ex: confundir tipos de veículos na legislação) e indução simbólica fraca (inferir regras a partir de poucos exemplos).
  • Falhas de Recuperação: Erros frequentes na recuperação de conhecimento localizado (leis, normas técnicas) e terminologia especializada.
• Validade Multimodal: Um estudo de ablação mostrou que remover as imagens reduz drasticamente a precisão (ex: queda de ~25 pontos percentuais no Gemini-3-Flash), confirmando que o benchmark exige verdadeira compreensão visual e não apenas processamento de texto.

5. Significância

O KMMMU é um marco importante para o desenvolvimento de IA multimodal por várias razões:

• Desafio Realista: Move a avaliação de "reconhecimento de padrões gerais" para "compreensão de contextos institucionais complexos", simulando tarefas reais de especialistas.
• Direcionamento de Pesquisa: Identifica que os próximos avanços em MLLMs não dependerão apenas de mais dados ou escalas maiores, mas de melhorias na recuperação de conhecimento localizado, aderência a normas específicas e raciocínio sobre convenções culturais.
• Testbed para Sistemas Confiáveis: Serve como um ambiente de teste crucial para desenvolver sistemas de IA que possam operar com segurança e precisão em ambientes regulados e culturalmente específicos, como o setor público e jurídico coreano.
• Paradigma para Outras Línguas: Estabelece um modelo para a criação de benchmarks nativos em outras línguas e culturas, evitando a dependência de traduções que perdem nuances críticas.

Em resumo, o KMMMU demonstra que, embora os modelos multimodais estejam evoluindo rapidamente, eles ainda possuem limitações severas ao lidar com a complexidade de normas, culturas e formatos visuais específicos de países não anglófonos.