Multilingual Vision-Language Models, A Survey

Resumo Técnico: Modelos Visão-Linguagem Multilíngues, Uma Pesquisa

Declaração do Problema
Os modelos visão-linguagem (VLMs) alcançaram progresso sem precedentes no processamento conjunto de linguagem natural e dados visuais. No entanto, o campo está fortemente enviesado para o inglês, com desempenho significativamente inferior para outras línguas, particularmente aquelas com poucos recursos. Existe uma tensão crítica, frequentemente não abordada, no desenvolvimento de VLMs multilíngues: o conflito entre neutralidade linguística (garantir representações cruzadas-linguísticas consistentes de conceitos objetivos) e consciência cultural (adaptar as saídas para refletir nuances linguísticas, culturais e contextuais). Os métodos de treinamento atuais podem impor a neutralidade linguística em grau mensurável, mas a consciência cultural depende de dados diversos e é difícil de avaliar. Além disso, há uma discrepância entre objetivos de treinamento e metas de avaliação, pois dois terços dos benchmarks existentes priorizam a consistência semântica por meio de abordagens baseadas em tradução, frequentemente falhando em capturar conteúdo fundamentado culturalmente.

Metodologia
Esta pesquisa fornece uma análise abrangente do estado da arte em VLMs multilíngues e seus benchmarks de avaliação. A metodologia envolve:

1. Revisão de Modelos: Um exame sistemático de 33 modelos visão-linguagem multilíngues lançados entre 2020 e 2025. Os autores categorizam esses modelos por arquitetura (apenas codificador, codificador-decodificador, apenas decodificador e mistura de especialistas), estratégias de dados de treinamento (suporte multilíngue implícito vs. explícito) e escalas de parâmetros.
2. Análise de Benchmarks: Uma revisão de 23 benchmarks multilíngues. Os autores analisam esses conjuntos de dados com base na cobertura linguística, diversidade tipológica (usando métricas como Distância Sintática Média Pares a Pares e Inclusão de Valor de Recurso do GramBank) e paradigmas de avaliação (baseados em tradução vs. conscientes de cultura).
3. Avaliação Comparativa: O artigo contrasta a evolução arquitetônica de modelos baseados em codificador iniciais para arquiteturas generativas modernas apenas de decodificador e avalia a extensão na qual os modelos e benchmarks atuais abordam a tensão entre neutralidade linguística e consciência cultural.

Principais Contribuições

• Taxonomia de Modelos e Benchmarks: O artigo estabelece uma taxonomia detalhada de 33 VLMs multilíngues de pesos abertos e 23 benchmarks, fornecendo estatísticas sobre suporte linguístico, contagens de parâmetros e métricas de download/citação.
• Identificação da Tensão Central: Os autores definem e analisam explicitamente o compromisso fundamental entre neutralidade linguística (facilitando a transferência cruzada-linguística por meio de representações consistentes) e consciência cultural (requerendo adaptação específica ao contexto). Eles observam que, enquanto a neutralidade é matematicamente otimizável via aprendizado contrastivo em dados paralelos, a consciência cultural carece de objetivos de treinamento explícitos e depende fortemente da composição dos dados.
• Análise da Lacuna de Avaliação: A pesquisa destaca uma lacuna significativa entre o número de línguas que os modelos afirmam suportar (frequentemente 100+) e o número realmente avaliado em benchmarks (tipicamente 4–30). Critica ainda a dominância de benchmarks baseados em tradução (por exemplo, XVNLI, xGQA), que priorizam a equivalência semântica sobre a diversidade cultural.
• Tendências Arquiteturais: O artigo documenta a mudança do campo de modelos apenas de codificador (otimizados para classificação) para arquiteturas apenas de decodificador e codificador-decodificador capazes de tarefas generativas, notando um aumento dramático nas contagens de parâmetros, de centenas de milhões para mais de 2 trilhões.

Resultados e Observações

• Evolução Arquitetônica: O campo avançou de 16 modelos apenas de codificador para 14 modelos apenas de decodificador e 3 modelos codificador-decodificador. Modelos recentes apenas de decodificador (por exemplo, LLaMA 4, Qwen 3-VL) utilizam arquiteturas de mistura de especialistas (MoE) e escalonam para trilhões de parâmetros.
• Disparidades na Cobertura Linguística: Embora os codificadores de linguagem subjacentes (como XLM-RoBERTa) suportem implicitamente 100+ línguas, os dados de treinamento multimodais explícitos frequentemente cobrem muito menos línguas. Muitos modelos dependem de transferência cruzada-linguística ou alternância de código sintética, em vez de pré-treinamento multilíngue ponta a ponta.
• Limitações dos Benchmarks: Aproximadamente dois terços dos benchmarks utilizam metodologias baseadas em tradução com imagens idênticas e texto traduzido, priorizando a neutralidade linguística. Apenas uma minoria (por exemplo, MARVL, ArtElingo-28, CVQA) incorpora imagens específicas de regiões e conteúdo fundamentado culturalmente.
• Questões de Transparência: Modelos comerciais de pesos abertos frequentemente carecem de transparência quanto à composição dos dados de treinamento e distribuição linguística, dificultando a avaliação de suas verdadeiras capacidades multilíngues e culturais.
• Desempenho: Embora os modelos mostrem capacidades de transferência cruzada-linguística, o desempenho em tarefas conscientes de cultura permanece desafiador. As métricas de avaliação para tarefas generativas (por exemplo, BLEU, chrF) variam entre línguas e falham em capturar a adequação cultural.

Significado
O artigo argumenta que o campo deve ir além da suposição de que a neutralidade linguística é suficiente para acessibilidade global. Postula que a tensão entre neutralidade e consciência cultural é um desafio ético e técnico fundamental. O significado desta pesquisa reside na sua identificação do atual desalinhamento entre objetivos de treinamento (que favorecem a neutralidade) e a necessidade de sistemas conscientes de cultura. Ele apela para:

• Desenvolvimento de objetivos de treinamento explícitos para consciência cultural.
• Criação de frameworks de avaliação abrangentes que incluam protocolos de avaliação humana para adequação cultural e cubram uma gama mais ampla de línguas e níveis de recursos.
• Melhoria dos padrões de transparência e documentação de dados, particularmente para modelos comerciais, para permitir análise sistemática da cobertura de dados e viés.

Os autores concluem que, embora tenha havido progresso na escalabilidade de modelos e expansão da cobertura linguística, a tensão não resolvida entre neutralidade e consciência cultural, combinada com limitações de avaliação, impede a implantação de sistemas visão-linguagem verdadeiramente inclusivos e globalmente acessíveis.