LaMI: Augmenting Large Language Models via Late Multi-Image Fusion

O artigo apresenta o LaMI, um método de fusão tardia de múltiplas imagens que aprimora o raciocínio visual de Grandes Modelos de Linguagem (LLMs) sem prejudicar seu desempenho textual, superando limitações de modelos anteriores ao gerar e integrar várias representações visuais apenas no momento da inferência.

O essencial

Imagine que você tem um amigo muito inteligente, um "gênio das palavras" (chamado de LLM ou Modelo de Linguagem Grande), que leu quase todos os livros do mundo. Ele sabe tudo sobre gramática, história e lógica. Mas, se você perguntar: "De que cor é a barriga de um pinguim-imperador?", ele pode errar. Por quê? Porque ele só "leu" sobre pinguins, nunca viu um. Ele sabe que pinguins são pretos e brancos, mas não tem a "memória visual" de qual parte é qual.

Por outro lado, existem modelos que são treinados para ver e ler ao mesmo tempo (os VLMs). Eles são ótimos em responder sobre imagens, mas, para aprender a ver, eles tiveram que "reaprender" a ler, muitas vezes esquecendo um pouco de tudo o que sabiam antes. Além disso, treinar esses modelos é caríssimo e demorado.

Aqui entra o LaMI (o método proposto neste artigo). Pense nele como um assistente de imaginação que você contrata apenas na hora de fazer uma pergunta difícil.

A Ideia Principal: "Não confie em apenas uma imagem"

A maioria dos métodos anteriores tentava dar uma única imagem ao modelo de texto para ajudá-lo. É como pedir para alguém adivinhar o sabor de um bolo olhando apenas uma foto borrada. Se a foto estiver errada, a resposta também será.

O LaMI faz algo diferente e mais inteligente:

1. A "Sessão de Brainstorming" Visual:
   Quando você faz uma pergunta, o LaMI não pede apenas uma imagem. Ele usa um gerador de imagens (como o DALL-E ou Midjourney, mas mais leve) para criar várias imagens diferentes baseadas na sua pergunta.

   • Analogia: Imagine que você precisa saber a cor da barriga do pinguim. Em vez de olhar para uma foto, o LaMI pede para 6 artistas diferentes pintarem um pinguim baseado na sua descrição. Alguns podem pintar errado, mas a maioria acertará.

2. O "Juiz" Inteligente (Fusão Tardia):
   Aqui está a mágica. O modelo de texto original (o "gênio das palavras") olha para todas essas imagens geradas. Mas ele não deixa as imagens "entrarem" na sua cabeça e bagunçarem o raciocínio dele o tempo todo.

   • Fusão Tardia: Imagine que o gênio das palavras está escrevendo uma resposta. Ele pensa sozinho até o último segundo. Só no momento final, antes de assinar o nome, ele olha rapidamente para as 6 imagens que os artistas pintaram.
   • Ele compara: "Minha resposta baseada apenas no texto diz 'Amarelo'. Mas 5 das 6 imagens mostram 'Branco'. A imagem que diz 'Amarelo' parece estranha (baixa confiança). Vou mudar minha resposta para 'Branco'."

3. O Plano B:
   Se as imagens geradas forem ruins ou confusas (por exemplo, se a pergunta for sobre algo abstrato que a IA de imagens não entende bem), o sistema percebe que as imagens não ajudam e ignora elas, confiando apenas no texto original. É como ter um guarda-chuva: você só o abre se estiver chovendo; se estiver sol, você continua andando sem ele.

Por que isso é genial?

• Não estraga o cérebro: Como as imagens só são usadas no final, o modelo de texto não precisa ser reeducado do zero. Ele mantém toda a sua inteligência original.
• É barato e rápido: Em vez de treinar um novo modelo gigante por meses, o LaMI apenas gera algumas imagens rápidas quando você faz uma pergunta.
• Funciona em qualquer modelo: Você pode pegar um modelo pequeno (como o GPT-2) ou um gigante (como o Llama 3) e dar a ele "olhos" sem precisar gastar milhões de dólares.

Resumo da Ópera

O LaMI é como dar óculos de realidade aumentada para um gênio das palavras. Ele não precisa nascer vendo; ele apenas "imagina" várias cenas visuais no momento da pergunta, consulta essas imagens para corrigir seus erros de senso comum e entrega a resposta certa, tudo isso sem esquecer de como falar bem.

É uma forma inteligente de combinar o melhor dos dois mundos: a lógica do texto e a intuição da visão, sem o custo de construir um novo cérebro do zero.

Resumo técnico

Resumo Técnico: LaMI (Late Multi-Image Fusion)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) treinados exclusivamente em texto demonstram raciocínio excepcional em tarefas linguísticas, mas carecem de "fundamentação visual" (visual grounding). Eles falham em perguntas de senso comum que exigem conhecimento visual (ex: "Qual a cor da barriga de um pinguim-imperador?").

As abordagens existentes apresentam limitações:

• Modelos de Linguagem Visual (VLMs): Embora performem bem em tarefas visuais, frequentemente sofrem degradação no raciocínio puramente textual e exigem treinamento multimodal caro e complexo para se adaptar a novos LLMs.
• LLMs Aumentados Visualmente (VaLMs) anteriores: Muitas técnicas injetam sinais visuais cedo no processo (fusão precoce) ou dependem de uma única imagem. Isso pode introduzir ruído, viés e perturbar o comportamento linguístico do modelo, além de não explorar a diversidade de evidências visuais.

2. Metodologia (LaMI)

O LaMI propõe uma abordagem de fusão tardia de múltiplas imagens (Late Multi-Image Fusion) que aumenta LLMs com sinais visuais no momento da inferência, sem re-treinamento multimodal completo.

A arquitetura e o fluxo de trabalho consistem em dois componentes principais:

A. Arquitetura de Fusão Tardia (Late Fusion)
O modelo utiliza quatro componentes:

1. LLM Pré-treinado Congelado: Processa o texto de entrada.
2. Codificador de Visão Congelado: Extrai características de imagens (ex: CLIP).
3. Projetor de Tokens Visuais (VTP): Mapeia as características da imagem para embeddings de "pseudo-texto" ($z^v$).
4. Camada de Atenção de Fusão Tardia (LFAL): Esta é a inovação chave. Em vez de injetar tokens visuais nas camadas intermediárias do LLM, a fusão ocorre apenas imediatamente antes da camada de previsão final.
   • O mecanismo permite que as representações textuais finais do LLM ($z^x$) atendam uma única vez aos tokens visuais projetados ($z^v$).
   • Isso mantém o foco do LLM na linguagem, permitindo acesso à informação visual apenas quando necessário para a decisão final.

B. Inferência Guiada por Múltiplas Imagens
Como imagens pareadas não estão disponíveis no momento da inferência (test-time), o LaMI gera evidências visuais dinamicamente:

1. Geração de Imagens: Para um prompt de texto, o sistema gera $k$ imagens distintas usando um gerador de texto-para-imagem leve (distilado) com amostragem paralela.
2. Processamento: Cada imagem gerada é processada através do módulo de fusão tardia para produzir uma distribuição de probabilidade.
3. Aggregação Ponderada: O sistema combina as distribuições das $k$ imagens com a distribuição do modelo puramente textual ($p_0$).
   • Utiliza uma ponderação baseada em alinhamento CLIP: Imagens com alto alinhamento semântico com o texto recebem maior peso. Imagens com baixo alinhamento (ruído) permitem que o modelo caia de volta para a previsão puramente textual.
   • Fórmula simplificada: $p_{final} = \sum f(\text{alinhamento}) \cdot p_{imagem} + (1 - f) \cdot p_{texto}$.

3. Principais Contribuições

• Fusão Tardia: Demonstra que integrar características visuais apenas no final do processo de decisão preserva a capacidade de raciocínio textual do LLM, evitando a degradação comum em VLMs.
• Evidência Visual Diversificada: A geração de múltiplas imagens ($k > 1$) captura diferentes interpretações visuais do prompt, tornando o sistema mais robusto do que métodos que dependem de uma única imagem ou recuperação estática.
• Adaptação Eficiente: Permite adicionar conhecimento visual robusto a LLMs de última geração (como LLaMA 3) sem o custo de treinamento multimodal massivo.
• Mecanismo de "Fallback" Inteligente: O uso de pontuação CLIP para ponderar as imagens garante que, se a geração visual for imprecisa ou enganosa, o modelo priorize o conhecimento textual.

4. Resultados Experimentais

O LaMI foi avaliado em benchmarks de senso comum de objetos, raciocínio visual e tarefas de NLP padrão.

• Desempenho em Senso Comum Visual: O LaMI superou significativamente LLMs base e VaLMs anteriores (como VaLM, Z-LaVI, LiVE) em tarefas de cor, forma e tamanho de objetos.
  • Exemplo: No modelo GPT-2, o LaMI alcançou 72.5% de acurácia em "Cor de Memória" (vs. 54.0% do VaLM anterior).
• Comparação com VLMs: Em modelos maiores (Gemma-2B, Llama-3-8B), o LaMI igualou ou superou VLMs treinados (como InstructBLIP e LLaVA-Next) em tarefas visuais, sem sacrificar o desempenho em tarefas puramente textuais (razão comum, compreensão de leitura).
• Análise de Custo: Embora a geração de imagens adicione latência, o ganho de desempenho não pode ser replicado apenas aumentando o custo computacional de texto (via estratégia Best-of-N), confirmando que a melhoria vem da evidência visual fundamentada.
• Ablação: A combinação de "Fusão Tardia" + "Geração de Múltiplas Imagens" foi a configuração que obteve os melhores resultados. A fusão tardia superou a fusão precoce e intermediária, especialmente em tarefas de forma.

5. Significado e Conclusão

O LaMI representa um avanço na integração de modalidades, propondo que a fusão tardia e a geração de evidências múltiplas são estratégias superiores para aumentar LLMs com visão.

• Impacto Prático: Oferece um caminho viável para dotar modelos de linguagem poderosos de "olhos" sem a necessidade de retreinamento completo, permitindo que eles respondam a perguntas como "Qual a cor da barriga de um pinguim?" com precisão.
• Escalabilidade: O método alinha-se com a tendência de "escalonamento no tempo de inferência" (test-time compute), onde gastar mais recursos computacionais na geração de dados auxiliares (imagens) resulta em saídas de maior qualidade.
• Limitações: O custo computacional da geração de imagens é maior que a decodificação de texto, e o método ainda depende da qualidade do gerador de imagens (podendo falhar em conceitos abstratos ou lendários onde a geração visual é imprecisa).

Em suma, o LaMI demonstra que é possível criar sistemas híbridos robustos que combinam o melhor do raciocínio linguístico e da fundamentação visual de forma eficiente e modular.