Visual Funnel: Resolving Contextual Blindness in Multimodal Large Language Models

1. Definição do Problema: Cegueira Contextual

O artigo identifica um modo de falha crítico em Modelos de Linguagem Grandes Multimodais (MLLMs) denominado "Cegueira Contextual".

• O Fenômeno: Embora os MLLMs se destaquem no raciocínio de alto nível, frequentemente falham em perceber detalhes visuais de alta granularidade (por exemplo, texto pequeno, atributos de objetos distantes, diferenças sutis de estado).
• A Limitação das Soluções Atuais: Os métodos existentes tentam resolver isso recortando regiões salientes de uma imagem para fornecer detalhes de alta fidelidade. No entanto, essas abordagens de "recorte único" criam uma desconexão estrutural entre o detalhe isolado e o contexto global mais amplo.
• A Perspectiva Central: A falha não se deve à falta de quantidade de informação (os pixels existem na imagem original e no recorte), mas à falta de Diversidade Estrutural na entrada. O modelo não consegue fechar a lacuna entre o "detalhe focal" e a "visão global" porque carece de contexto de escala intermediária (os arredores imediatos) necessário para o raciocínio relacional.
• Consequência: Sem esse contexto intermediário, os modelos interpretam mal atributos (por exemplo, confundir uma "vaga de estacionamento" com uma "faixa" porque as marcações rodoviárias circundantes estão ausentes) ou falham em sintetizar informações entre elementos espacialmente distintos (por exemplo, ler um gráfico sem seus cabeçalhos).

2. Metodologia: Visual Funnel

Os autores propõem o Visual Funnel (VF), uma abordagem livre de treinamento, de dois passos no tempo de inferência, projetada para construir um portfólio de informações adaptativo e multiescala que preserva o contexto hierárquico.

Passo 1: Ancoragem Contextual (Localização)

Em vez de pedir ao modelo para responder à pergunta diretamente (o que pode levar a alucinações se detalhes estiverem ausentes), o VF utiliza um prompt focado em localização especializado: "Para responder a {pergunta}, onde na imagem devo olhar?"

• Mecanismo: O modelo gera um mapa de atenção espacial preciso a partir de uma única passagem direta.
• Extração: Pesos de atenção cruzada são extraídos das camadas internas do MLLM (especificamente do primeiro token de resposta para os tokens de imagem) para criar uma distribuição de probabilidade $A_{norm}$ sobre o espaço da imagem, indicando a região de interesse (ROI).

Passo 2: Geração de Portfólio Escalada por Entropia (Integração)

Esta é a inovação central. Em vez de alimentar um único recorte apertado, o VF constrói um portfólio multiescala consistindo em três recortes (mais a imagem original) que fecham a lacuna entre detalhe e contexto.

• Determinação de Escala Guiada por Entropia:
  • O método calcula a entropia de Shannon do mapa de atenção.
  • Baixa Entropia: Indica atenção localizada e confiante $\rightarrow$ Expansão mínima de contexto (por exemplo, $1,2\times$).
  • Alta Entropia: Indica atenção difusa ou ambiguidade $\rightarrow$ Expansão agressiva de contexto (por exemplo, até $2,8\times$) para capturar relações mais amplas.
• Refinamento Hierárquico do Centro:
  • Métodos multiescala padrão assumem que a atenção está centralizada. O VF aborda a atenção assimétrica (comum em documentos ou objetos de canto) refinando iterativamente o centro do recorte.
  • O centro para cada nível de escala é calculado com base na média ponderada da atenção dentro da região do recorte pai, garantindo que o recorte esteja posicionado de forma otimizada para capturar o contexto relevante.
• O Portfólio: A entrada final para o MLLM consiste em:
  1. Imagem Original: Contexto global.
  2. Recorte Focal: Detalhe de alta resolução ($S \times S$).
  3. Recorte $\alpha_1$: Contexto imediato ($\alpha_1 \cdot S$).
  4. Recorte $\alpha_2$: Contexto mais amplo ($\alpha_2 \cdot S$).
     Todos os recortes são redimensionados para a resolução de entrada do modelo e concatenados com os tokens da imagem original.

3. Principais Contribuições

1. Identificação da "Cegueira Contextual": O artigo define formalmente um novo modo de falha onde os MLLMs falham devido a desconexões estruturais e não à escassez de informações, argumentando que Diversidade Estrutural > Quantidade de Informação.
2. Framework Visual Funnel: Uma metodologia inovadora e livre de treinamento que ajusta dinamicamente tamanhos e posições de recortes com base na entropia de atenção e refinamento hierárquico.
3. Descoberta da "Penalidade de Redundância": Através de experimentos, os autores demonstram que simplesmente adicionar mais recortes não estruturados (aumentando a quantidade) pode na verdade degradar o desempenho em comparação com métodos de recorte único. Isso prova que a estrutura hierárquica da entrada é o fator crítico para o sucesso.
4. Ablação Abrangente: O estudo isola as contribuições da localização (Passo 1) versus a geração de portfólio (Passo 2), mostrando que, embora uma melhor localização ajude, a estrutura hierárquica do portfólio é o fator decisivo na resolução de tarefas de raciocínio complexo.

4. Resultados Experimentais

O método foi avaliado em sete benchmarks através de três MLLMs (LLaVA-1.5-7B, InstructBLIP-7B, Qwen2.5-VL-3B).

• Visual QA Fundamentada (Alta Sensibilidade à Cegueira Contextual):
  • TextVQA, DocVQA, InfoVQA: O Visual Funnel alcançou ganhos significativos sobre as linhas de base.
    • Exemplo: No DocVQA com InstructBLIP-7B, o VF melhorou a precisão de 9,2% (Base) para 18,5% (+9,3 pontos), superando amplamente a linha de base de recorte único (ViCrop) em 9,9%.
    • Exemplo: No InfoVQA com LLaVA-1.5, o VF melhorou de 12,0% para 15,1% (+3,1 pontos).
  • Comparação com Linhas de Base de "Quantidade": A linha de base "w/ViCrop (Top-3)" (que adiciona 3 recortes não estruturados) frequentemente performou pior ou igual à linha de base de recorte único, confirmando a "Penalidade de Redundância". O VF consistentemente superou isso, validando a importância da estrutura.
• Visual QA de Reconhecimento (Baixa Sensibilidade à Cegueira Contextual):
  • Em benchmarks como POPE, AOKVQA e VQAv2, onde o contexto relacional de alta granularidade é menos crítico, o VF mostrou melhorias modestas (aproximadamente +0,5 a +1,0 pontos), confirmando que o método é especificamente direcionado a resolver o problema do "pequeno detalhe" sem prejudicar o desempenho geral.

5. Significado

• Mudança de Paradigma: O artigo desafia a suposição predominante de que "mais tokens/recortes visuais" equivale a melhor desempenho. Estabelece que como a informação visual é estruturada (hierárquica, multiescala) é mais importante do que o volume puro de dados.
• Eficiência: Como um método livre de treinamento, o Visual Funnel pode ser aplicado a MLLMs existentes sem retreinamento, tornando-o imediatamente implantável para tarefas de alta precisão como análise de documentos, leitura de gráficos e inspeção visual de alta granularidade.
• Robustez: Ao fechar explicitamente a lacuna entre detalhes locais e contexto global, o Visual Funnel permite que os MLLs realizem raciocínio composicional que era anteriormente impossível, expandindo significativamente sua aplicabilidade em cenários do mundo real que demandam precisão.