Multimodal LLMs Do Not Compose Skills Optimally Across Modalities

O artigo demonstra que os Modelos de Linguagem Grandes Multimodais (MLLMs) atuais apresentam uma lacuna significativa na composição de habilidades entre modalidades, a qual permanece substancial mesmo após a aplicação de técnicas de prompting e ajuste fino.

O essencial

Imagine que você tem um assistente superinteligente, um "robô" que consegue ler textos e ver imagens ao mesmo tempo. Esse é o que chamamos de Modelo de Linguagem Multimodal (MLLM). A promessa desses robôs é que eles podem fazer tudo: ler um texto, entender uma foto e, em seguida, combinar essas duas habilidades para resolver problemas complexos.

Mas, segundo este novo estudo, há um pequeno "bug" na programação deles. Eles são ótimos em fazer as coisas separadamente, mas falham miseravelmente quando tentam juntar as peças.

Aqui está a explicação do que os pesquisadores descobriram, usando analogias do dia a dia:

1. O Problema: O "Chef" que não sabe cozinhar

Pense nesses modelos como um Chef de Cozinha muito talentoso.

• Habilidade Visual: Ele sabe identificar perfeitamente os ingredientes na geladeira (ver uma foto de uma maçã e saber que é uma maçã).
• Habilidade Textual: Ele sabe fazer cálculos matemáticos e seguir receitas escritas (saber que 2 maçãs + 3 maçãs = 5 maçãs).

O que os pesquisadores testaram foi: "Chef, veja esta foto de 3 maçãs vermelhas e 2 verdes. Some apenas as vermelhas."

Esperava-se que o Chef olhasse a foto, contasse as vermelhas e fizesse a conta. Mas o que aconteceu? O Chef ficou confuso. Ele ouvia a pergunta, olhava a foto, mas perdia o fio da meada na hora de conectar o que viu com o que precisa calcular.

2. A Experiência: O "Jogo de Cartas" e o "Texto na Parede"

Para provar isso, os pesquisadores criaram três testes simples que qualquer humano resolveria em segundos:

• Teste 1 (O Texto na Parede): Eles escreveram uma pergunta de matemática em um papel, tiraram uma foto e mostraram para o robô.

  • O que o robô precisava fazer: Ler o texto da foto (OCR) e depois resolver a conta.
  • O resultado: O robô muitas vezes "alucinou" o texto ou errou a conta, mesmo sendo capaz de fazer as duas coisas separadamente.

• Teste 2 (Contar Laranjas): Uma foto com várias laranjas.

  • O que o robô precisava fazer: Encontrar as laranjas na imagem e depois contar quantas eram.
  • O resultado: Ele via as laranjas, mas quando tentava contar, o número saía errado.

• Teste 3 (O Jogo de Cartas): Uma foto de 4 cartas de baralho.

  • O que o robô precisava fazer: Identificar o naipe e o número de cada carta e somar os pontos de acordo com regras complexas.
  • O resultado: O robô confundia as cores e os números, falhando na soma final.

3. A Descoberta: O "Salto" de Habilidade

Os pesquisadores descobriram algo curioso. Eles fizeram um truque: em vez de pedir para o robô fazer tudo de uma vez, eles o forçaram a fazer em duas etapas separadas (como se fosse um humano escrevendo em um papel):

1. "Olhe a foto e me diga o que você vê."
2. "Agora, usando o que você me disse, faça a conta."

Resultado: Quando forçados a fazer em etapas, o robô acertava muito mais!
Isso prova que o robô tem as habilidades, mas não sabe como combiná-las de forma natural. É como se ele tivesse duas ferramentas na mão (um martelo e uma chave de fenda), mas quando você pede para "parafusar a tampa", ele tenta usar o martelo porque não consegue alternar entre as ferramentas no mesmo momento.

4. As Tentativas de Conserto (e por que falharam)

Os pesquisadores tentaram dois jeitos de consertar isso:

• O "Guia de Instruções" (Prompting): Eles deram um roteiro detalhado para o robô: "Primeiro, olhe a imagem. Depois, leia o texto. Por fim, some."

  • Resultado: Funcionou um pouco melhor, mas ainda não foi perfeito. É como dar um mapa para alguém que nunca viajou; ele melhora, mas ainda se perde.

• O "Treinamento Extra" (Fine-tuning): Eles ensinaram o robô especificamente a fazer essas combinações.

  • Resultado: O robô ficou melhor, mas ainda cometeu erros. A "máquina" não aprendeu a regra geral de como misturar visão e texto; ela apenas memorizou aquele exercício específico.

Conclusão: O que isso significa para nós?

A mensagem principal do estudo é: Nossos robôs inteligentes ainda não são tão inteligentes quanto parecem.

Eles são como estudantes que tiram nota 10 em Matemática e nota 10 em História, mas quando o professor pede um trabalho que misture os dois assuntos, eles travam. Eles não conseguem "compor" as habilidades de forma fluida.

Isso significa que, embora esses modelos sejam impressionantes, ainda precisamos pesquisar muito para que eles aprendam a pensar de verdade, unindo o que veem e o que leem, em vez de apenas processar cada coisa isoladamente. Até lá, eles ainda precisam de um "ajudante humano" para conectar os pontos.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Multimodal LLMs Do Not Compose Skills Optimally Across Modalities", apresentado em português:

1. Problema Investigado

O artigo aborda uma lacuna fundamental na capacidade dos Modelos de Linguagem Multimodais Grandes (MLLMs): a habilidade de compor habilidades (skill composition) de forma otimizada entre diferentes modalidades (visual e textual).

Embora os MLLMs sejam treinados para adquirir habilidades específicas (como OCR, detecção de objetos ou raciocínio matemático), não está claro se eles conseguem combinar essas habilidades aprendidas de forma coerente para resolver novas tarefas que exigem a integração sequencial de uma habilidade visual e uma textual. Os autores questionam se os modelos conseguem realizar essa composição de forma nativa ou se dependem de intervenções externas para fazê-lo corretamente.

2. Metodologia

Para investigar essa questão, os autores propuseram uma metodologia de avaliação rigorosa baseada em três tarefas específicas, projetadas para serem resolvidas através da composição trivial de duas habilidades:

1. Raciocínio sobre texto renderizado (Task 1): O modelo recebe uma imagem contendo um problema matemático ou de lógica (texto renderizado) e deve resolvê-lo.
   • Habilidades: OCR (Visual) + Raciocínio Linguístico (Textual).
2. Contagem de Objetos (Task 2): O modelo recebe uma imagem e deve contar a ocorrência de um objeto específico.
   • Habilidades: Detecção de Objetos (Visual) + Contagem de Strings (Textual).
3. Jogo de Cartas (Task 3): O modelo recebe uma imagem com quatro cartas de poker e deve ordená-las ou calcular uma soma baseada em regras complexas (cor, naipe, valor).
   • Habilidades: Reconhecimento de Imagem (Visual) + Raciocínio Numérico (Textual).

Configurações de Inferência

Os autores compararam o desempenho dos modelos sob duas configurações principais para medir o "Gap de Composição de Habilidades Cross-Modal":

• Inferência Direta: O modelo recebe a imagem e a pergunta diretamente, tentando resolver a tarefa em um único passo (comportamento natural).
• Inferência em Cascata (Cascaded Inference): Uma abordagem de dois passos onde o modelo é forçado manualmente a executar as habilidades separadamente. Primeiro, extrai a informação visual (ex: OCR ou detecção de objetos); em seguida, usa essa saída como entrada para a segunda etapa de raciocínio textual.

O Gap é definido como a diferença de desempenho entre a inferência em cascata (que garante a execução correta das habilidades individuais) e a inferência direta. Se a inferência direta for significativamente pior, isso indica que o modelo não consegue compor as habilidades internamente.

Modelos e Mitigações

O estudo avaliou vários MLLMs de código aberto (LLaVA, Llama 3.2, Molmo, Qwen2.5-VL). Além da avaliação, exploraram duas estratégias de mitigação:

1. Prompting Chain-of-Thought (CoT) Específico: Instruir explicitamente o modelo a seguir os passos de composição no prompt.
2. Ajuste Fino (Fine-tuning): Treinar o modelo em tarefas que exigem composição cross-modal para ver se isso reduz o gap.

3. Principais Contribuições

• Definição e Medição do Gap: Estabelecem uma métrica clara para quantificar a incapacidade dos MLLMs de compor habilidades visuais e textuais, mesmo em cenários simples.
• Avaliação Abrangente: Testaram uma ampla gama de modelos open-source, demonstrando que o problema é generalizado e não limitado a arquiteturas específicas.
• Análise de Mitigação: Investigaram se técnicas de prompting (CoT) e treinamento (Fine-tuning) podem resolver o problema, fornecendo dados empíricos sobre a eficácia e as limitações dessas abordagens.
• Distinção entre Capacidade e Composição: Mostraram que um modelo pode ter alta competência em habilidades individuais (como OCR ou contagem) mas falhar miseravelmente ao tentar combiná-las em uma única inferência.

4. Resultados Chave

• Existência do Gap: Quase todos os modelos avaliados exibiram um gap significativo de composição de habilidades. A inferência em cascata superou consistentemente a inferência direta em todas as tarefas.
  • Exemplo: No LLaVA 1.6-Vicuna-13B, o gap foi de até 22 pontos percentuais na tarefa de raciocínio sobre texto renderizado.
• Desempenho Variável: Modelos mais recentes e grandes (como Qwen2.5-VL-72B e Molmo-72B) apresentaram gaps menores, sugerindo que o treinamento em dados específicos (como recibos ou problemas matemáticos em imagens) ajuda, mas não elimina o problema.
• Falha na Composição Nativa: Mesmo quando as habilidades individuais são fortes (ex: Qwen2.5-VL tem OCR quase perfeito), a combinação direta falha, indicando que o modelo não está "encadeando" o raciocínio corretamente sem ajuda externa.
• Limitações das Mitigações:
  • CoT: Melhorou o desempenho em relação à inferência direta, mas não alcançou o nível da inferência em cascata. Além disso, exige prompts específicos para cada tarefa, o que limita a escalabilidade.
  • Fine-tuning: Melhorou o desempenho e generalizou para algumas tarefas, mas só fechou completamente o gap quando o modelo foi testado no mesmo conjunto de dados onde foi ajustado. Não resolveu o problema de forma robusta em tarefas fora da distribuição de treinamento.

5. Significância e Conclusão

O trabalho conclui que os MLLMs atuais não combinam suas habilidades visuais e textuais de forma ótima, mesmo em cenários onde a composição seria trivial para um humano. Isso sugere que o mecanismo interno de "fusão" ou "raciocínio" desses modelos ainda não aprendeu a orquestrar habilidades modais distintas de forma autônoma.

Implicações:

• A simples adição de um encoder visual a um LLM não garante a capacidade de raciocínio multimodal integrado.
• Estratégias atuais de prompting e ajuste fino são paliativos, não soluções definitivas.
• Há uma necessidade urgente de novas pesquisas sobre a arquitetura de treinamento e a natureza da representação interna para permitir uma composição de habilidades mais robusta e generalizável em modelos multimodais.

Este estudo serve como um alerta para a comunidade de IA de que a capacidade de resolver tarefas complexas não é apenas a soma das habilidades individuais, mas depende criticamente de como essas habilidades são integradas e compostas durante a inferência.