Annotation-Efficient Vision-Language Model Adaptation to the Polish Language Using the LLaVA Framework

1. Problema

Os Modelos Visão-Linguagem (VLMs) atuais são predominantemente treinados em dados centrados no inglês, o que limita severamente seu desempenho em outros idiomas e contextos culturais. Isso restringe a usabilidade para falantes de línguas não inglesas e impede o desenvolvimento de sistemas multimodais que reflitam realidades linguísticas e culturais diversas. O polonês, especificamente, apresenta desafios únicos devido à sua complexidade morfológica rica (casos gramaticais, concordância complexa, ordem de palavras flexível), o que dificulta tanto a geração quanto a compreensão de texto e multimídia. Além disso, há uma escassez de conjuntos de dados instrucionais multimodais de alta qualidade específicos para o polonês.

2. Metodologia

Os autores propõem uma abordagem escalável e eficiente em termos de anotação para adaptar o framework LLaVA-NeXT ao idioma polonês, utilizando quase exclusivamente tradução automatizada em larga escala e intervenção manual mínima.

• Arquitetura do Modelo:

  • Backbone de Linguagem: Utilização de modelos nativos poloneses instruídos (LLMs) de 11B a 12B parâmetros: PLLuM-12B e BIELIK-11B.
  • Torre de Visão: Substituição do codificador CLIP padrão por SigLIP2 (SO400M/14), escolhido por seu forte alinhamento imagem-texto multilíngue e sinal robusto de localização de texto.
  • Projetor: Um MLP de duas camadas leve para alinhar as características visuais com o espaço de embeddings do LLM.
  • Estratégia de Treinamento: Dois estágios. No primeiro, apenas o projetor é atualizado (alinhamento de características). No segundo, o projetor e o codificador de visão são ajustados conjuntamente, enquanto o LLM é adaptado via LoRA (Low-Rank Adaptation) para preservar as competências linguísticas pré-treinadas.

• Pipeline de Dados (Construção do Conjunto de Treinamento):

  • Tradução Automatizada: Uso do modelo multilíngue Tower+ 72B para traduzir conjuntos de dados multimodais populares (como LLaVA-Instruct, Allava, WIT, TallyQA) do inglês para o polonês.
  • Filtragem e Qualidade: Aplicação de métricas COMET (sem referência) para estimar a qualidade da tradução. Pares de perguntas e respostas com pontuação abaixo de um limiar (0.4 a 0.8) são removidos.
  • Dados Sintéticos para OCR: Para tarefas difíceis de traduzir (como OCR), geraram dados sintéticos (SynthDoG-PL) combinando trechos de texto do Wikipedia polonês com imagens de fundo naturais, simulando recibos, placas e documentos.
  • Mistura de Dados: O conjunto final de instrução mantém um equilíbrio de 85% (adaptado para polonês) e 15% (original em inglês) para preservar capacidades bilíngues. O total de dados de instrução é de aproximadamente 2,0 milhões de amostras.

• Adaptação do Benchmark (MMBench):

  • O conjunto de dados de avaliação MMBench-dev foi traduzido e submetido a uma revisão rigorosa por linguistas profissionais nativos poloneses.
  • Identificaram-se e corrigiram-se erros em cerca de 3,56% das amostras (inacurácias linguísticas ou de conteúdo) e removeram-se/adaptaram-se questões que exigiam conhecimento cultural estritamente estrangeiro (outros 3,02%).

3. Principais Contribuições

1. Pipeline Automatizado: Apresentação de um fluxo de trabalho totalmente automatizado para preparação de dados multimodais para línguas de recursos limitados, combinando tradução em larga escala, filtragem baseada em métricas e geração de dados sintéticos.
2. Família de Modelos Poloneses: Lançamento de modelos VLMs poloneses (LLaVA-PLLuM e LLaVA-Bielik) baseados em arquiteturas LLaVA-Next e backbones nativos poloneses.
3. Benchmark Adaptado: Uma adaptação completa do MMBench para o polonês, incluindo reanotação linguística e identificação de problemas nos dados originais, disponibilizado publicamente.
4. Avaliação Abrangente: Uma avaliação detalhada que combina métricas automáticas (LLM-as-a-judge, VLM-as-a-judge) e avaliação manual por humanos, focando tanto na correção linguística quanto na qualidade da descrição do conteúdo.

4. Resultados

• Desempenho no MMBench: Os modelos propostos superaram significativamente as linhas de base da família LLaVA (LLaVA-1.6-Vicuna-13B e Mistral-7B). O modelo LLaVA-PLLuM-12B-NC alcançou uma melhoria de +9,55 pontos percentuais na versão polonesa do MMBench em comparação com a linha de base, mantendo desempenho competitivo na versão em inglês.
• Comparação com SOTA: Os modelos poloneses superaram concorrentes de código aberto de ponta como Qwen2.5-VL-7B e PaliGemma2-10B no benchmark polonês. Embora o Pixtral-12B tenha obtido a pontuação mais alta absoluta, o modelo dos autores oferece uma alternativa transparente e eficiente em parâmetros (via LoRA).
• Qualidade de Legendas (XM3600):
  • Correção Linguística: Na avaliação humana, os modelos propostos demonstraram uma vantagem significativa sobre as linhas de base, com taxas de vitória de até 84% contra o Pixtral-12B em termos de fluência e gramática polonesa.
  • Qualidade do Conteúdo: Os modelos alcançaram desempenho comparável aos modelos mais fortes (Pixtral e Qwen) na descrição fiel do conteúdo da imagem, embora ainda haja espaço de melhoria em cenários culturalmente específicos.
• Discrepância de Avaliação: O estudo destacou uma divergência entre avaliações automáticas (feitas por Claude Sonnet ou outros LLMs) e avaliação humana. Os avaliadores automáticos tendiam a subestimar a superioridade linguística dos modelos poloneses em comparação com a avaliação humana, sugerindo que fenômenos linguísticos finos são difíceis de julgar automaticamente.

5. Significado e Conclusão

O trabalho demonstra que a tradução automatizada em larga escala, quando combinada com filtragem leve e backbones de linguagem nativos, é uma estratégia viável e eficaz para "bootstrapping" (inicialização) de modelos multimodais de alta qualidade para línguas de recursos limitados, sem a necessidade de anotação manual massiva.

Os resultados sugerem que é possível criar modelos competitivos para idiomas morfologicamente complexos como o polonês, superando modelos generalistas que não foram especificamente adaptados. O artigo também destaca a importância de adaptar benchmarks de avaliação para contextos culturais locais e a necessidade de avaliações humanas para validar a qualidade linguística real, já que os avaliadores automáticos podem não capturar nuances gramaticais e estilísticas específicas.

Limitações mencionadas: A dependência de tradução automática pode introduzir "traduções literais" (translationese) e desvios semânticos sutis. Além disso, a cobertura cultural ainda é limitada, pois a maioria dos dados visuais originais provém de contextos anglo-saxões.