Multimodal Large Language Models for Low-Resource Languages: A Case Study for Basque

Este artigo apresenta o desenvolvimento de um Modelo de Linguagem Multimodal (MLLM) robusto para a língua basca, demonstrando que uma pequena proporção de dados multimodais em basco (cerca de 20%) é suficiente para obter bons resultados e que não é necessário utilizar um modelo de linguagem base pré-adaptado ao basco para alcançar esse desempenho.

O essencial

Imagine que você tem um super-robô muito inteligente, capaz de ver fotos e responder perguntas sobre elas. Esse é o conceito dos Modelos de Linguagem Multimodais Grandes (MLLMs). Hoje, os robôs mais famosos são como "turistas bilíngues": eles falam inglês perfeitamente e entendem o mundo, mas quando tentam falar com alguém que usa uma língua menos comum (como o Basco, falado no norte da Espanha e sul da França), eles tropeçam nas palavras e perdem a inteligência.

Este artigo é como um manual de "Faça Você Mesmo" para ensinar esse super-robô a falar Basco, sem precisar de milhões de dólares ou segredos industriais. Os autores, pesquisadores da Universidade do País Basco, fizeram três descobertas incríveis que mudam a forma como vemos a inteligência artificial para línguas pequenas.

Aqui está a explicação, usando analogias do dia a dia:

1. O Problema: O Robô que só fala Inglês

A maioria desses robôs foi treinada com livros, fotos e conversas em inglês. É como tentar ensinar um aluno a dirigir usando apenas um manual em inglês, mas o teste de direção é em Basco. O robô entende a imagem, mas não sabe o que dizer em Basco, ou diz coisas sem sentido.

2. A Solução: Criando o "Dicionário" e os "Exercícios"

Como não existiam fotos com legendas em Basco, os pesquisadores tiveram que criar tudo do zero.

• A Analogia: Imagine que você quer ensinar alguém a cozinhar um prato típico, mas não tem receitas escritas. Você pega receitas famosas em inglês, traduz cada passo para Basco e cria um novo livro de receitas.
• O que eles fizeram: Eles pegaram milhões de imagens com legendas em inglês, traduziram para Basco e criaram um banco de dados gigante. Também criaram testes (como um "prova de vestibular") para ver se o robô realmente aprendeu.

3. As 3 Grandes Descobertas (O Segredo do Sucesso)

Descoberta 1: Você não precisa de tudo em Basco

Muitos pensavam que precisavam de 100% dos dados em Basco para o robô aprender bem.

• A Analogia: É como aprender a tocar um instrumento. Você não precisa ouvir apenas música clássica basca para tocar bem. Se você ouvir 80% de música em inglês e apenas 20% de música em Basco, seu cérebro ainda consegue aprender a tocar a música basca perfeitamente.
• O Resultado: Eles descobriram que misturar apenas 20% de dados em Basco com 80% em inglês foi suficiente para o robô ficar excelente em Basco. Isso é ótimo porque encontrar dados em Basco é difícil e caro; encontrar em inglês é fácil.

Descoberta 2: O "Cérebro" não precisa nascer falando Basco

Havia uma dúvida: será que precisamos começar com um robô que já nasceu falando Basco (um modelo de linguagem treinado especificamente para Basco) para ele aprender a ver e falar?

• A Analogia: Imagine dois alunos. Um é um gênio que já fala Basco fluentemente (o modelo Latxa). O outro é um gênio que só fala inglês (o modelo Llama). A pergunta era: "Quem vai aprender a desenhar e descrever fotos em Basco mais rápido?"
• O Resultado: Surpreendentemente, ambos aprenderam na mesma velocidade e com a mesma qualidade. O aluno que só falava inglês, quando treinado com as imagens e instruções certas, conseguiu falar Basco tão bem quanto o nativo. Isso significa que não precisamos criar um "cérebro nativo" do zero para cada língua pequena; podemos adaptar os gigantes que já existem.

Descoberta 3: Texto ajuda a ver

Eles descobriram que, mesmo sem ter muitas fotos em Basco, usar apenas textos em Basco (sem imagens) ajudou o robô a entender melhor as imagens.

• A Analogia: É como se você lesse um livro de história em Basco sobre a culinária local. Mesmo sem ver as fotos dos pratos, ao ler as descrições, você começa a "imaginar" e entender melhor quando alguém te mostra uma foto de um prato basco depois. O texto "ponte" ajuda a transferir o conhecimento.

Por que isso é importante para o mundo?

Até agora, a Inteligência Artificial era como um clube exclusivo: só as línguas ricas (com muitos dados) entravam. Se você falava uma língua com poucos recursos, o robô te ignorava.

Este trabalho é como abrir as portas desse clube. Ele mostra que, com um pouco de criatividade e usando os dados que já temos (em inglês), podemos ensinar robôs a falar qualquer língua, mesmo as mais raras. Eles liberaram todos os seus dados e códigos de graça, para que qualquer pessoa possa criar robôs para sua própria língua.

Resumo em uma frase:
Você não precisa de um oceano de dados na sua língua para ensinar um robô a falar com você; um copo de água (20% dos dados) misturado com o conhecimento global já é suficiente para fazer a mágica acontecer.

Resumo técnico

1. Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) atuais demonstram desempenho excepcional em tarefas complexas, mas a maioria é treinada predominantemente com recursos em inglês. Isso resulta em uma degradação significativa de desempenho em línguas de baixo recurso (como o Basco). Embora existam esforços na comunidade de código aberto para melhorar capacidades multilíngues, ainda há uma lacuna de desempenho considerável entre os sistemas proprietários e os de pesos abertos, especialmente para línguas com poucos dados disponíveis. O Basco é um caso extremo: possui poucos dados textuais (cerca de 1.000 vezes menos que o inglês no Common Crawl) e carece completamente de conjuntos de dados multimodais (imagem-texto) para treinamento e avaliação.

2. Metodologia

Os autores propõem o desenvolvimento do primeiro MLLM aberto para a língua Basca, utilizando uma arquitetura de fusão tardia (late-fusion).

• Arquitetura: O modelo utiliza um codificador visual pré-treinado (CLIP ViT-Large), um conector linear simples (camada totalmente conectada) para projetar as representações visuais no espaço de embeddings do LLM, e um LLM instruído como base.
• Backbones Testados: Foram comparados dois modelos base:
  1. Llama-3.1-8B-Instruct: Um modelo nativamente focado em inglês.
  2. Latxa-Llama-3.1-8B-Instruct: Uma variante do Llama-3.1 adaptada e instruída especificamente para o Basco.
• Criação de Dados: Devido à escassez de recursos, os autores criaram novos conjuntos de dados traduzindo recursos em inglês:
  • Treinamento:
    • Fase 1 (Alinhamento Visão-Linguagem): Tradução do dataset CC3M (3,3M pares) para o Basco, resultando no CC3MEus (2,8M pares).
    • Fase 2 (Ajuste Fino de Instrução Multimodal): Tradução do dataset Pixmo-AMA (instruções multimodais) para o Basco, resultando no Pixmo-AMAEus (146k pares). Para manter a coerência de respostas longas, utilizou-se o modelo Latxa-70B para tradução, em vez de tradutores neurais por frase.
  • Avaliação: Criação de benchmarks fechados (VQAv2Eus, A-OKVQAEus, Pixmo-CapQAEus) e um benchmark aberto (WildVisionEus), todos traduzidos e validados por falantes nativos.
• Estratégia de Treinamento: Seguiu-se um procedimento de duas etapas (Alinhamento e Ajuste Fino). O foco principal foi explorar diferentes misturas de dados (proporções de Basco vs. Inglês) e o impacto da inclusão de dados de texto puro (sem imagens) no treinamento.

3. Contribuições Principais

1. Recursos Abertos: Criação e liberação pública dos primeiros conjuntos de dados multimodais de treinamento e avaliação para a língua Basca (mais de 3 milhões de instâncias de treinamento e 8 mil de avaliação).
2. Análise de Mistura de Dados: Investigação sistemática sobre a proporção necessária de dados multimodais na língua alvo para obter desempenho sólido.
3. Análise de Backbones: Estudo comparativo para determinar se é necessário um backbone LLM já instruído na língua alvo (Latxa) ou se um modelo em inglês (Llama) é suficiente.
4. Descoberta sobre Transferência de Modalidade: Demonstração de que dados de texto puro na língua alvo podem compensar a falta de dados multimodais, permitindo a transferência de capacidades multimodais aprendidas em inglês.

4. Resultados Chave

Os experimentos levaram a seis descobertas fundamentais:

• Baixa Proporção de Dados Multimodais é Suficiente: Uma mistura com apenas 20% de dados multimodais em Basco (e 80% em inglês) já é suficiente para obter resultados sólidos nos benchmarks em Basco. Aumentar a proporção de dados em Basco além de 20% trouxe ganhos marginais.
• Necessidade de Dados em Inglês: O uso exclusivo de dados multimodais em Basco (100%) causou um esquecimento catastrófico (catastrophic forgetting) das capacidades em inglês do modelo. Uma pequena proporção de dados em inglês é crucial para manter o desempenho multilíngue.
• Backbone em Inglês é Suficiente: Contrariando a expectativa, o modelo Llama-3.1 (focado em inglês) alcançou desempenho comparável ao modelo Latxa (adaptado para Basco) em tarefas multimodais, tanto em benchmarks fechados quanto em geração de texto aberto. Um backbone instruído especificamente na língua alvo não é estritamente necessário para construir um MLLM forte.
• Dados de Texto Puro Melhoram o Desempenho Multimodal: A inclusão de instruções de texto puro em Basco durante o treinamento melhorou significativamente o desempenho multimodal do modelo baseado em Llama (inglês) em tarefas em Basco. Isso sugere uma capacidade de transferência cruzada de modalidade: o texto puro atua como uma ponte para transferir capacidades visuais aprendidas em inglês para o Basco.
• Avaliação Humana vs. Automática: Embora modelos de julgamento (como GPT-5) ofereçam uma boa aproximação para avaliar gerações abertas em Basco, eles tendem a subestimar empates e não substituem totalmente a avaliação humana, especialmente para nuances linguísticas.

5. Significado e Impacto

Este trabalho estabelece um caminho viável e economicamente eficiente para o desenvolvimento de MLLMs para outras línguas de baixo recurso. As descobertas sugerem que não é necessário:

1. Coletar massivamente dados multimodais nativos (que são caros e difíceis de obter).
2. Treinar um LLM base específico para a língua alvo antes de criar o MLLM.

A estratégia recomendada é treinar um MLLM baseado em um LLM inglês forte, utilizando uma pequena mistura de dados multimodais traduzidos na língua alvo (cerca de 20%) combinada com uma grande quantidade de dados de texto puro na língua alvo. Isso democratiza o acesso a tecnologias multimodais avançadas para comunidades linguísticas que anteriormente eram negligenciadas pela IA generativa.