Back to the Barn with LLAMAs: Evolving Pretrained LLM Backbones in Finetuning Vision Language Models

Resumo Técnico: Back to the Barn with LLAMAs

1. Problema e Motivação

Os Modelos Visão-Linguagem (VLMs) evoluíram rapidamente ao utilizar Grandes Modelos de Linguagem (LLMs) pré-treinados como seus "backbones" (espinhas dorsais) de raciocínio. Com o surgimento constante de novos LLMs mais capazes (ex: evolução da série LLAMA-1 para LLAMA-2 e LLAMA-3), há uma necessidade urgente de atualizar os VLMs existentes para incorporar esses avanços.

No entanto, a literatura atual carece de uma compreensão clara sobre como a evolução dos LLMs impacta especificamente o desempenho multimodal. Estudos anteriores frequentemente comparam modelos VLMs que diferem não apenas no backbone de linguagem, mas também em codificadores visuais, dados de treinamento e hiperparâmetros, tornando impossível isolar a contribuição real do LLM. O problema central é: Melhorias sistemáticas nos LLMs resultam consistentemente em melhores VLMs em todas as tarefas, ou o impacto depende do domínio e da natureza da tarefa?

2. Metodologia Experimental

Os autores realizaram um estudo empírico controlado e sistemático para isolar o efeito da evolução do backbone de linguagem.

• Configuração Controlada:
  • Backbones Variáveis: Utilizaram três gerações consecutivas da Meta: LLAMA-1, LLAMA-2 e LLAMA-3.
  • Componentes Constantes: O codificador visual (CLIP-ViT-Large-Patch14), os dados de treinamento, o algoritmo de pós-treinamento (SFT - Supervised Fine-Tuning) e o código base (NeMo/NeVA) foram mantidos idênticos em todos os experimentos.
• Arquitetura do VLM: Segue o padrão de três componentes: Codificador Visual $\rightarrow$ Projetor (alinhamento de modalidades) $\rightarrow$ LLM (decodificador de linguagem).
• Datasets de Avaliação (3 Domínios):
  1. ScienceQA: Foca em raciocínio linguístico baseado em memorização e padrões estruturados de texto (questões de ciências).
  2. VQA-Scene: Foca em raciocínio visual fundamentado (grounded visual reasoning) em cenas do mundo real, minimizando priores linguísticos.
  3. Seismic: Foca na interpretação de imagens geológicas e previsão de coordenadas (latitude/longitude), testando tanto a descrição textual quanto a precisão numérica/espacial.
• Métricas: Precisão geral, correlação no nível de instância (quais exemplos específicos são resolvidos), calibração de confiança e análise de representações internas (vetores de contexto por camada).

3. Principais Contribuições e Resultados

O estudo revela que a premissa de que "um LLM mais novo sempre gera um VLM melhor" é falsa. O desempenho é altamente dependente da tarefa.

A. Desempenho Não Uniforme (Takeaway 1)

• VQA-Scene: A precisão aumentou de 61,8% (LLAMA-1) para 65,6% (LLAMA-3).
• ScienceQA: A precisão diminuiu de 71,8% para 68,4%.
• Seismic (Texto): O desempenho permaneceu misto e sem tendência clara.
• Conclusão: Melhorias no LLM não garantem ganhos universais; o ganho depende de como a tarefa interage com as capacidades do modelo.

B. Mudança no Comportamento de Instância (Takeaway 2 e 3)

• Em ScienceQA, a queda de desempenho sugere que modelos mais fortes podem depender excessivamente de "atalhos textuais" ou priores linguísticos, ignorando a entrada visual.
• Em VQA-Scene, o LLAMA-3 não apenas resolveu mais perguntas, mas resolveu um conjunto diferente de perguntas. A correlação no nível de instância entre LLAMA-1/2 e LLAMA-3 foi negativa ($r \approx -0.26$). Isso significa que o LLAMA-3 acerta o que os anteriores erravam e erra o que os anteriores acertavam, indicando uma mudança fundamental na forma de processar a informação visual.

C. O Gargalo da Percepção Visual (Takeaway 4)

• No dataset Seismic (descrição textual de características geológicas), onde a tarefa depende fortemente da extração de características visuais, a evolução do LLM teve impacto mínimo. Todos os backbones tiveram desempenho similar, pois o codificador visual (CLIP) era o mesmo e o gargalo estava na percepção, não no raciocínio linguístico.

D. Emergência de Novas Capacidades (Takeaway 5)

• Uma descoberta crítica ocorreu na tarefa de previsão de coordenadas (Lat/Long) no dataset Seismic.
  • LLAMA-1 e LLAMA-2: 0,0% de precisão (falharam completamente, gerando nomes de cidades em vez de coordenadas).
  • LLAMA-3: 76,5% de precisão.
• Isso demonstra que certas capacidades VLMs (como saída numérica estruturada e conhecimento de domínio específico) podem emergir apenas com backbones suficientemente avançados, em vez de melhorar gradualmente.

E. Análise Interna: Confiança e Representações (Takeaway 7 e 8)

• Calibração de Confiança: O LLAMA-3 foi o menos confiante (confiança média de 0,73) mas o mais preciso. Os modelos mais antigos (LLAMA-1/2) exibiram superconfiança (confiança de 1,0), comprometendo-se totalmente com respostas incorretas.
• Dinâmica Interna:
  • LLAMA-1/2: Apresentam grandes ativações e mudanças bruscas nas representações contextuais nas camadas profundas, o que pode levar a instabilidade.
  • LLAMA-3: Apresenta ativações menores e mais estáveis, refinando a representação da resposta incrementalmente em cada camada. Isso explica sua melhor calibração e o fato de resolver instâncias diferentes.

4. Significado e Conclusão

Este trabalho oferece uma visão crítica sobre o desenvolvimento de VLMs:

1. Não há bala de prata: Substituir o backbone de linguagem por uma versão mais recente não garante melhoria automática em todas as tarefas.
2. Mudança de Paradigma: Modelos mais novos podem não apenas "fazer melhor", mas "fazer diferente". A precisão agregada pode ocultar mudanças comportamentais significativas no nível de instância.
3. Foco no Gargalo: Se a tarefa é limitada pela percepção visual (ex: análise de imagens médicas ou geológicas complexas), melhorar o codificador visual é mais eficaz do que trocar o LLM.
4. Emergência de Habilidades: Algumas capacidades multimodais complexas (saída estruturada, raciocínio numérico) podem ser exclusivas de gerações mais recentes de LLMs.
5. Calibração: Modelos mais modernos tendem a ser menos confiantes, mas mais precisos, sugerindo uma melhor calibração interna que evita a superconfiança em respostas erradas.

Em suma, a evolução dos VLMs deve ser guiada pela análise específica da tarefa-alvo, reconhecendo que a melhoria do backbone de linguagem traz benefícios qualitativos e quantitativos distintos dependendo do domínio e da natureza do raciocínio exigido.