Vision Verification Enhanced Fusion of VLMs for Efficient Visual Reasoning

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) modernos demonstram capacidades notáveis em tarefas de raciocínio visual e resposta a perguntas visuais (VQA). No entanto, eles apresentam limitações significativas:

• Falhas Específicas: Um VLM pode extrair informações visuais corretamente, mas falhar no raciocínio lógico, ou vice-versa (ter bom raciocínio, mas falhar na detecção de objetos).
• Alucinações: Os modelos tendem a gerar respostas plausíveis mesmo quando não veem o objeto ou não conhecem a resposta (alucinação).
• Limitações do Ensemble Tradicional: Métodos existentes de ensemble (como votação majoritária) ou colaboração (debate entre agentes) focam principalmente nas saídas de linguagem, ignorando a diversidade das representações visuais (embeddings). Além disso, combinar muitos modelos aumenta exponencialmente o custo computacional e a latência.
• Incerteza: Dificuldade em detectar dinamicamente quando um modelo está incerto ou alucinando, sem depender de um LLM externo para avaliação.

O objetivo do trabalho é criar um sistema que selecione a melhor combinação de VLMs heterogêneos, fusione suas saídas de forma inteligente e verifique a confiabilidade da resposta final, utilizando tanto a modalidade visual quanto a linguística.

---

2. Metodologia: V3Fusion

Os autores propõem o V3Fusion, um framework de ensemble otimizado para diversidade visual e linguística. O processo é dividido em cinco etapas principais:

A. Análise de Diversidade Visual e Linguística

Para selecionar os melhores modelos, o sistema não olha apenas para a precisão, mas para a diversidade de erros e a diversidade de entendimento visual.

• Focal-CKA (Central Kernel Alignment): Utiliza o CKA para medir a similaridade entre os embeddings visuais dos encoders de diferentes VLMs. Como os modelos têm arquiteturas diferentes (ex: ViT com tamanhos de patch diferentes), o CKA permite comparar a estrutura interna das representações visuais.
• Focal-Diversity (Diversidade Focal): Uma métrica que quantifica a diversidade de erros. O sistema identifica episódios onde um modelo "focal" falha e calcula a correlação negativa com os outros modelos. Se os outros modelos acertam onde o focal falha, a diversidade é alta. Isso captura a complementaridade dos modelos.

B. Poda do Ensemble (Ensemble Pruning)

Dado um pool de $N$ modelos candidatos, o número de combinações possíveis é exponencial ($2^N$).

• Algoritmo Genético (GA): Para encontrar a sub-combinação ideal (o "pico" da superfície de desempenho) sem calcular todas as possibilidades, o V3Fusion utiliza um Algoritmo Genético.
• Função de Aptidão (Fitness): Combina as métricas de Focal-CKA e Focal-Diversity. O objetivo é encontrar um conjunto pequeno (2-4 modelos) que maximize a diversidade e minimize a redundância, superando o desempenho do melhor modelo individual.

C. Fusão de Saídas (Action)

O sistema utiliza estratégias diferentes dependendo do tipo de tarefa:

• Perguntas de Múltipla Escolha (MCQ): Utiliza o V3Fusion-MLP. Este é um classificador (MLP) que recebe as distribuições de probabilidade (logits) de todos os modelos candidatos para cada opção. Ele aprende a detectar padrões nos logits para escolher a resposta correta, mesmo que a maioria dos modelos esteja errada.
• Perguntas Abertas (OEQ): Utiliza o V3Fusion-LED (Longformer Encoder-Decoder). É um modelo seq2seq que toma as saídas textuais dos modelos base e a pergunta original como entrada, aprendendo a sintetizar e gerar uma resposta final coesa, explorando o conhecimento complementar de cada modelo.

D. Verificação e Retificação (Uncertainty & Rectification)

• Incerteza Epistêmica: O sistema calcula a incerteza epistêmica (incerteza do modelo) baseada na variabilidade das previsões do ensemble.
• Limiar Adaptativo: Um algoritmo (Algoritmo 1) ajusta dinamicamente o limiar de rejeição de incerteza, utilizando testes de razão de verossimilhança para distinguir entre distribuições de amostras certas e erradas (ajustando entre uma Gaussiana simples ou uma Mista de Gaussianas).
• Retificação: Se a incerteza for alta (acima do limiar), a amostra é rejeitada e a resposta é gerada novamente (ou corrigida) usando uma média ponderada dos logits, evitando a alucinação.

---

3. Principais Contribuições

1. Métricas de Diversidade Focal: Introdução do Focal-CKA e Focal-Diversity para medir a discordância visual e de erros entre VLMs heterogêneos, permitindo a seleção de ensembles que capturam "sabedoria complementar".
2. Poda Otimizada por GA: Um método eficiente para reduzir o espaço de busca de combinações de modelos, encontrando sub-ensembles de alto desempenho com custo computacional reduzido (até 99% de redução de latência comparado à força bruta).
3. Arquiteturas de Fusão Especializadas: Desenvolvimento de V3Fusion-MLP para tarefas de classificação e V3Fusion-LED para geração de texto, capazes de superar o consenso majoritário.
4. Sistema de Verificação Autônomo: Um mecanismo de rejeição e retificação baseado em incerteza epistêmica dinâmica, eliminando a necessidade de um LLM externo para validar respostas.

---

4. Resultados Experimentais

O V3Fusion foi avaliado em quatro benchmarks populares: A-OKVQA, MMMU, MMMU-Pro e OCR-VQA.

• Desempenho em Raciocínio (MMMU/MMMU-Pro):
  • No MMMU, o V3Fusion superou o melhor VLM individual (Qwen2.5-VL-7b) em 8,09% de acurácia.
  • No MMMU-Pro, houve um ganho de 4,87% em relação ao melhor modelo individual.
  • O sistema consegue acertar mesmo quando a maioria dos modelos candidatos está errada ou não há consenso.
• Desempenho em Geração (A-OKVQA e OCR-VQA):
  • Superou os modelos de ponta Intern-VL2-8b e Qwen2.5-VL-7b em ambas as tarefas.
  • No OCR-VQA, obteve ganhos significativos no F1-score (ex: +2,2% sobre o melhor modelo base).
• Eficiência:
  • O tempo de inferência é competitivo (3,28s no total), sendo muito mais rápido que métodos de debate multi-agente (que levam ~20-27s) e comparável a rotas de modelos únicos.
  • O treinamento do V3Fusion é mais rápido (35 min) e requer menos dados que o fine-tuning de modelos base completos (que levam ~1,5h).

---

5. Significado e Impacto

O trabalho demonstra que a diversidade visual é tão crucial quanto a diversidade linguística para a construção de sistemas de IA robustos. Ao integrar a verificação visual diretamente no processo de fusão, o V3Fusion:

• Mitiga efetivamente as alucinações dos VLMs.
• Oferece uma solução escalável para combinar modelos heterogêneos sem o custo proibitivo de processar todos os modelos em todas as etapas.
• Estabelece um novo paradigma onde a incerteza do sistema é gerenciada internamente, permitindo que o modelo "reconheça quando não sabe" e corrija sua própria saída, aproximando-se de um sistema de raciocínio visual mais confiável e autônomo.

O código e os dados estão disponíveis publicamente, facilitando a reprodutibilidade e o avanço futuro na área de ensembles multimodais.