Resumo Técnico: MERA Multi – Um Framework de Avaliação Multimodal para Arquiteturas de Língua Russa

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estão avançando rapidamente, mas suas capacidades, limitações e riscos permanecem insuficientemente compreendidos, particularmente no contexto da língua russa. Os benchmarks existentes focam predominantemente no inglês e em domínios gerais (ex: MultiBench, MMBench), negligenciando as nuances linguísticas e culturais das línguas eslavas. O russo apresenta desafios específicos devido ao seu alfabeto cirílico, contexto cultural rico (ex: folclore, mídia soviética) e complexidade morfológica, o que torna a tradução direta de benchmarks centrados no inglês inadequada. Além disso, embora existam benchmarks de texto em russo (ex: Russian SuperGLUE, MERA), há uma lacuna crítica em frameworks de avaliação multimodal que cubram as modalidades de imagem, áudio e vídeo.

Metodologia

Os autores introduzem o MERA Multi, o primeiro framework de avaliação multimodal aberto projetado especificamente para arquiteturas de fala russa. O framework é baseado em instruções e abrange quatro modalidades: texto padrão, imagem, áudio e vídeo.

1. Estrutura do Benchmark e Dados

• Escopo: O benchmark compreende 18 tarefas de avaliação distribuídas em 11 conjuntos de dados de imagem, 4 conjuntos de dados de áudio e 3 conjuntos de dados de vídeo.
• Composição dos Dados: Para equilibrar reprodutibilidade e novidade, o benchmark integra 7 tarefas de conjuntos de dados de código aberto publicamente disponíveis e 11 tarefas construídas do zero. Os conjuntos de dados privados são projetados para incorporar especificidades culturais russas, visar categorias de habilidades subexploradas e mitigar a contaminação de dados.
• Formatos de Tarefa: As tarefas são formuladas como questões de múltipla escolha (MC) ou questões de resposta aberta que exigem respostas curtas de formato livre.
• Taxonomia: A avaliação é fundamentada em uma taxonomia unificada de habilidades multimodais, categorizada em três grandes grupos cognitivos: Conhecimento (comum, de domínio, especialista), Percepção (fina, de instância única/cruzada, alinhamento cross-modal) e Raciocínio (indutivo, dedutivo, abdutivo, quantitativo).

2. Pipeline de Avaliação

• Estratégia de Prompting: O framework utiliza um esquema de block-prompting para construir prompts universais. Em vez de codificar prompts específicos para cada tarefa, ele utiliza um conjunto de 10 blocos de prompt predefinidos (ex: ganchos de atenção, solicitações de raciocínio, formatos de resposta) para garantir consistência enquanto permite variação controlada para evitar a saturação do benchmark. A análise estatística confirma que a formulação do prompt impacta significativamente as pontuações dos modelos, justificando o uso de múltiplas variantes de prompt.
• Métricas de Pontuação:
  • Exact Match (EM): Um análogo generativo de acurácia usando comparação de strings normalizada.
  • Judge Score (JS): Uma métrica de similaridade semântica calculada usando um modelo dedicado de LLM-como-juiz (baseado em RuModernBERT). Este modelo é treinado em dados anotados por humanos para avaliar a equivalência semântica, alcançando um F1 de 0,96 e 99,6% de concordância com o EM em respostas idênticas.
  • Pontuação Final: A pontuação da tarefa é a média do EM e do JS.
• Agregação: A Pontuação Total combina a Pontuação de Tentativa (qualidade nas tarefas que o modelo tentou) e a Cobertura (amplitude do benchmark tentado). Esta abordagem permite um ranking justo sem imputar zeros arbitrários para modalidades ausentes.
• Proteção de Dados: Para evitar vazamento de benchmark, os autores utilizam marca d'água de dados (usando AudioSeal para áudio e sobreposições visuais para imagens/vídeo) e um detector de Ataque de Inferência de Membros Semânticos Multimodais (MSMIA) para identificar se os modelos foram treinados nos dados do benchmark.

Principais Contribuições

1. Taxonomia Unificada: Uma taxonomia proposta e metodologia de avaliação especificamente projetada para a avaliação de MLLM, cobrindo conhecimento, percepção e raciocínio através de modalidades.
2. Novos Conjuntos de Dados: A criação de 18 conjuntos de dados, muitos construídos do zero, incorporando especificidades linguísticas e culturais russas, prompts unificados e métricas.
3. Resultados de Baseline: Resultados abrangentes de desempenho de baseline para mais de 50 modelos publicamente disponíveis (variando de 1B a 110B de parâmetros) e modelos proprietários (GPT-4.1), cobrindo arquiteturas tanto de código aberto quanto fechado.
4. Proteção contra Vazamento: Uma metodologia robusta de análise de vazamento de dados e marca d'água para proteger os conjuntos de dados de avaliação privados, garantindo a validade de avaliações futuras.
5. Infraestrutura: Um codebase padronizado para reprodutibilidade e uma plataforma de submissão com pontuação automatizada e um leaderboard público.

Resultados

A avaliação de mais de 50 modelos revela várias tendências:

• Lacunas de Modalidade: Permanece uma lacuna significativa entre as modalidades. Enquanto a compreensão de imagem é relativamente madura, a compreensão de áudio e vídeo está subrepresentada tanto em termos de capacidades dos modelos quanto de cobertura de datasets, refletido em pontuações mais baixas.
• Omni-Modelos vs. Especialistas: Omni-modelos (ex: Qwen3-Omni-30B, Qwen2.5-Omni-7B) geralmente alcançam Pontuações Totais mais altas devido à cobertura mais ampla, mesmo que suas pontuações por modalidade não sejam as absolutamente mais altas. Modelos especialistas (ex: Ultravox para áudio, LLaVA-NeXT-Video para vídeo) frequentemente mostram um forte desempenho em seu domínio específico, mas sofrem com baixas pontuações de cobertura.
• Principais Desempenhos: O principal performer, Qwen3-Omni-30B-A3B-Instruct, alcançou uma Pontuação Total de 0,5, impulsionada por uma alta Pontuação de Tentativa (0,563) e Cobertura (0,889). O GPT-4.1 liderou na modalidade de imagem, mas teve uma Pontuação Total menor (0,159) devido à baixa cobertura (0,333).
• Discrepância de Métrica: Na maioria dos modelos, o Judge Score (JS) é superior ao Exact Match (EM), indicando que os modelos frequentemente produzem respostas semanticamente corretas que violam instruções estritas de formatação de saída.

Significância

O artigo posiciona o MERA Multi como o primeiro framework abrangente para avaliação multimodal transparente e culturalmente fundamentada em russo. Sua significância reside em:

• Preencher uma Lacuna Crítica: Abordar a ausência de benchmarks multimodais para o russo, uma importante língua eslava.
• Blueprint Metodológico: Fornecer uma metodologia replicável para a construção de benchmarks multimodais em línguas tipologicamente diversas, particularmente dentro da família eslava, onde a tradução direta de benchmarks em inglês é insuficiente.
• Fundação para a Comunidade: Estabelecer uma base para práticas de avaliação transparentes, incentivando contribuições da comunidade e promovendo o desenvolvimento de modelos multimodais culturalmente conscientes para línguas não inglesas.

Os autores reconhecem limitações, observando que as 18 tarefas podem não cobrir todas as habilidades dos modelos ou domínios especializados, e que os resultados de inferência podem variar dependos da stack de hardware-software. Eles também observam que o trabalho atual foca em habilidades semânticas e não avalia explicitamente os vieses dos modelos em relação a minorias sub-representadas, identificando isso como uma direção para trabalhos futuros.