Resumo Técnico: "Înțelegi românește? Uma Receita para Modelos de Visão-Linguagem Romanos"

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) alcançaram um sucesso significativo em benchmarks de inglês, mas sofrem uma degradação acentuada de desempenho em línguas de baixos recursos. Essa lacuna decorre da falta de corpora de imagem-texto em larga escala e culturalmente fundamentados, além de frameworks de avaliação para línguas como o romeno. Os VLMs multilíngues existentes frequentemente dependem de tradução automática pós-hoc de conjuntos de dados centrados no inglês, o que falha em capturar a semântica visual localizada, o contexto cultural e as nuances do texto dentro da imagem (OCR). Consequentemente, permanece incerto o quão efetivamente as capacidades multilíngues se transferem para a compreensão multimodal fundamentada nesses cenários, particularmente para tarefas envolvendo análise de documentos, raciocínio cultural e reconhecimento de texto dentro de imagens.

Metodologia

Os autores apresentam um estudo sistemático da construção de um VLM específico para a língua romena, cobrindo todo o pipeline, desde a construção de dados até a ablação arquitetural.

1. Construção e Adaptação de Dados

Os autores construíram um corpus de treinamento de aproximadamente 3,17 milhões de amostras, adaptando 11 conjuntos de dados estabelecidos em inglês (ex: LAION, LLaVA-Mix, PixMo, CoSyn, FinePDFs).

• Estratégia de Tradução: Diferente de trabalhos anteriores que apenas traduziam anotações textuais, esta abordagem envolve "traduzir" o conteúdo visual. Isso inclui extrair o texto das imagens, traduzi-lo e regenerar a imagem com o texto traduzido, preservando o layout, a fonte e o tamanho.
• Dados Nativos: O pipeline incorpora dados nativos romenos, especificamente o conjunto de dados FinePDFs para OCR e gráficos regenerados sinteticamente a partir do CoSyn onde o código-fonte estava disponível.
• Modelos de Tradução: Um estudo comparativo selecionou o GPT-4.1-mini para tradução de benchmark e o Seed-X-PPO para tradução de dados de treinamento com base no desempenho no dataset MMMU.
• Controle de Qualidade: Anotadores humanos validaram as traduções usando filtros de diferença de comprimento (sinalizando traduções >1,5x o comprimento original) e amostragem aleatória.

2. Benchmark de Avaliação Nativo: HoraVQA

Para abordar a falta de avaliação culturalmente fundamentada, os autores introduziram o HoraVQA, um benchmark contendo 580 pares de pergunta-resposta em 232 imagens únicas.

• Conteúdo: As imagens retratam conceitos culturais romenos (marcos, culinária, costumes, história) extraídos do Wikimedia Commons.
• Anotação: As perguntas foram elaboradas nativamente em romeno por sete voluntários, categorizadas em formatos de múltipla escolha e questões abertas.
• Fundamentação Cultural: Cada pergunta é marcada com uma flag is_cultural para distinguir entre percepção visual genérica e conhecimento que requer contexto cultural, histórico ou linguístico romeno.

3. Treinamento do Modelo e Arquitetura

O estudo utiliza uma arquitetura de VLM modular (codificador de visão + backbone de linguagem + adaptador de projeção), baseada principalmente no LLaVA-NeXT, mas também testando Qwen2-VL, Qwen2.5-VL, Qwen3-VL e Gemma3.

• Protocolo de Treinamento: Os modelos passam por ajuste fino supervisionado (SFT) nos dados multimodais centrados no romeno. O backbone de visão é mantido congelado, enquanto o adaptador e o backbone de linguagem são treináveis.
• Hiperparâmetros: O treinamento utiliza um único epoch, otimizador AdamW, scheduler de taxa de aprendizado de cosseno (pico de $1.0 \times 10^{-5}$) e um tamanho de lote (batch size) de 64.

4. Estudos de Ablação

Os autores isolaram sistematicamente as contribuições de:

• Backbones de Linguagem: Comparando LLMs multilíngues contra LLMs adaptados ao romeno (ex: RoLlama3).
• Backbones de Visão: Avaliando codificadores CLIP, SigLIP e SigLIP2.
• Composição de Dados: Analisando o impacto de dados ricos em OCR e texto traduzido dentro da imagem.

Principais Contribuições

1. Modelos RoVLM: Uma suíte de VLMs adaptados ao romeno, lançada com um pipeline de treinamento e avaliação totalmente aberto e reprodutível.
2. Suíte de Avaliação Abrangente: Um conjunto de benchmarks de 19 tarefas abrangendo OCR, visual question answering (VQA), legendagem e raciocínio, incluindo o novo benchmark cultural HoraVQA.
3. Análise Sistemática de Adaptação: Uma investigação detalhada sobre como a composição de dados (especificamente OCR e texto traduzido na imagem) e escolhas arquiteturais afetam o desempenho multimodal em baixos recursos.
4. Tradução de Conteúdo Visual: Um pipeline inovador para traduzir e regenerar o texto dentro da imagem para preservar a fundamentação visual enquanto adapta o conteúdo linguístico.

Resultados

• Ganhos de Desempenho: Os VLMs adaptados ao romeno (RoVLMs) superam consistentemente seus equivalentes focados apenas em inglês em todos os 19 benchmarks. Notavelmente, os RoVLMs frequentemente superam modelos da próxima categoria de tamanho (ex: um modelo de 3B adaptado ao romeno superando um modelo de 7B focado em inglês).
• Generalização de Arquitetura: As melhorias de desempenho generalizam-se através de diferentes codificadores de visão e backbones de linguagem (Qwen, Gemma, Llama).
• Descobertas do Backbone de Visão: Contrariando as tendências em pré-treinamento multilíngue onde o SigLIP2 se destaca, o CLIP superou o SigLIP e o SigLIP2 em tarefas de OCR e documentos. Os autores atribuem isso ao fato de o CLIP preservar estruturas visuais de alta frequência necessárias para a transcrição de caracteres, enquanto as variantes SigLIP otimizam para abstração semântica, o que pode suprimir detalhes finos.
• Descobertas do Backbone de Linguagem: A mudança para um backbone de linguagem adaptado ao romeno (RoLlama3) rendeu melhorias negligenciáveis em relação ao Llama3 multilíngue padrão, sugerindo que a mistura de 3,1M de amostras de treinamento forneceu capacidade suficiente para a adaptação, e que a limitação não era o modelo de linguagem pré-treinado, mas a composição dos dados.
• Composição de Dados: A remoção dos dados de OCR levou a quedas de desempenho em todas as categorias, não apenas nas específicas de OCR, indicando que as capacidades de reconhecimento de texto são fundamentais para a compreensão multimodal geral.
• Imagens Traduzidas: O treinamento com imagens contendo texto traduzido (língua alvo) gerou um aumento pequeno, mas consistente, de desempenho (média de aprox. 1,76 pontos) sobre o uso de imagens nativas em inglês, com os maiores ganhos observados em tarefas de fundamentação (grounding).

Significância e Alegações

O artigo argumenta que a trajetória dominante de escalar um único VLM generalista para todas as línguas é insuficiente para línguas de baixos recursos. Em vez disso, a adaptação especializada e direcionada à língua é necessária e eficaz.

Os autores afirmam que:

• A Composição de Dados é Crítica: O principal motor do desempenho não é o próprio backbone de linguagem, mas a composição dos dados de treinamento — especificamente a inclusão de supervisão pesada em OCR e texto traduzido na imagem.
• Representação vs. Fundamentação: A "multilinguidade" de representação no nível de pré-treinamento não garante automaticamente um comportamento fundamentado, fiel ao OCR ou culturalmente consciente.
• Benchmarks Culturais são Essenciais: Benchmarks traduzidos padrão são insuficientes; são necessários benchmarks culturais nativos como o HoraVQA para avaliar e melhorar a compreensão de um modelo sobre a cultura visual local.
• Eficiência: Um modelo menor e especializado, treinado em dados curados de baixos recursos, pode superar modelos maiores e generalistas, oferecendo um caminho mais eficiente para a IA multimodal em contextos não ingleses.

O trabalho conclui que, embora a adaptação baseada em tradução seja uma estratégia viável, ela deve ser combinada com dados nativos, tradução visual rigorosa e avaliação culturalmente específica para alcançar uma compreensão multimodal robusta em línguas de baixos recursos.