Constructive Distortion: Improving MLLMs with Attention-Guided Image Warping

Título: Distorção Construtiva: Melhorando MLLMs com Deformação de Imagem Guiada por Atenção (AttWarp)

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) modernos, embora avançados, frequentemente falham em tarefas que exigem ancoragem perceptiva de alta granularidade (fine-grained perceptual grounding). Especificamente, eles tendem a:

• Perder detalhes pequenos em cenas complexas e desordenadas.
• Dificultar a distinção entre objetos similares.
• Falhar na compreensão de relações espaciais complexas.
• Sofrer de alucinações (inventar detalhes não presentes na imagem).

Essas limitações ocorrem porque os MLLMs processam a imagem inteira com uma resolução uniforme, o que dilui a informação crítica sobre objetos pequenos ou detalhes sutis, enquanto gasta recursos computacionais em áreas menos relevantes para a consulta (query).

2. Metodologia: AttWarp

Os autores propõem o AttWarp, um método leve e "plug-and-play" que opera no momento de teste (test-time) sem exigir o ajuste fino (fine-tuning) dos pesos do modelo ou alterações na arquitetura. A ideia central é inspirada na visão humana, que alocam alta resolução (visão foveal) para áreas de interesse e baixa resolução (visão periférica) para o restante.

O processo funciona em três etapas principais:

1. Extração de Atenção Cruzada:

   • Dada uma imagem e uma consulta (texto), o MLLM processa a entrada original.
   • O método extrai os mapas de atenção cruzada (cross-attention) das camadas mais profundas do decodificador de linguagem do MLLM.
   • Esses mapas são agregados para formar uma Matriz de Pontuação de Atenção, que é condensada em perfis marginais 1D (horizontal e vertical), quantificando a importância de cada linha e coluna da imagem.

2. Deformação Retilínea (Rectilinear Warping):

   • Utilizando os perfis marginais, o método aplica uma transformação não uniforme na imagem.
   • Regiões com alta pontuação de atenção são expandidas (aumentando sua resolução espacial), enquanto áreas de baixa atenção são comprimidas.
   • Crucialmente: A deformação é retilínea (independente nos eixos X e Y). Isso preserva a estrutura de grade global e as relações espaciais relativas, garantindo que a imagem deformada permaneça compatível com os codificadores de visão padrão (como ViT) e mantenha o contexto global, diferentemente de métodos de corte (cropping) que descartam informações.
   • A transformação é baseada em Funções de Distribuição Acumulada (CDF) e suas inversas, garantindo que nenhuma informação original seja perdida, apenas redistribuída.

3. Reprocessamento:

   • A imagem deformada é reenviada para o mesmo MLLM congelado.
   • Como as regiões relevantes agora ocupam mais "espaço visual" (mais tokens), o modelo consegue "ler" os detalhes finos com muito mais precisão.

Variações Propostas:

• AttWarp-Chain: Um processo iterativo de auto-correção. O modelo gera uma nova atenção na imagem deformada, que guia uma nova deformação. O processo para quando a distribuição de atenção se estabiliza (critério de divergência KL), refinando progressivamente o foco.
• AttWarp-Distill: Uma versão otimizada para inferência rápida. Um modelo estudante (distilled) aprende a prever diretamente os perfis marginais a partir da imagem e texto, eliminando a necessidade de rodar o MLLM principal apenas para extrair a atenção antes da deformação. Isso torna o método ~3x mais rápido que abordagens concorrentes.

3. Contribuições Principais

1. Método Leve e sem Treinamento: Uma técnica de correção no momento de teste que melhora a ancoragem perceptiva sem alterar os pesos do MLLM.
2. Desempenho Consistente: Ganhos empíricos consistentes em nove benchmarks variados (incluindo TextVQA, GQA, DocVQA, POPE, MMMU) e em quatro arquiteturas diferentes de MLLMs (LLaVA, Qwen-VL, InternVL, InstructBLIP).
3. Generalização e Compatibilidade: O método funciona como uma camada de adaptação universal, compatível com diferentes backbones e fontes de atenção.
4. Preservação de Distribuição: Análise rigorosa demonstrando que a deformação retilínea preserva a distribuição de dados do conjunto de treinamento (mantendo a integridade do manifold de dados), ao contrário de deformações não retilíneas que causam drift de distribuição.

4. Resultados Experimentais

O AttWarp superou consistentemente quatro baselines competitivos que manipulam imagens no momento de teste (como FGVP, SoM, API e ViCrop).

• Melhoria de Precisão:
  • No TextVQA (com LLaVA), houve um aumento de +8.8% (de 49.3% para 58.1%).
  • No DocVQA, o ganho foi de +7.4%.
  • No GQA (raciocínio composicional), o ganho foi de +3.2%.
  • No POPE (redução de alucinação), houve uma melhoria de +2.2%.
• Eficiência Computacional:
  • O AttWarp-Distill é aproximadamente 3 vezes mais rápido e 2.8 vezes mais eficiente computacionalmente que o baseline ViCrop, exigindo apenas uma única passagem do MLLM, enquanto o ViCrop requer três.
  • O uso de VRAM é significativamente menor comparado a métodos que processam múltiplas imagens (original + recorte).
• Análise de Atenção:
  • Métricas como "Pointing Game Accuracy" e "Proportion" mostraram que o AttWarp realoca a massa de atenção para as regiões corretas, reduzindo a incerteza do modelo e melhorando a localização espacial.

5. Significado e Conclusão

Este trabalho demonstra que a intervenção no nível da entrada (input-level), através de transformações que preservam a informação mas reorganizam a resolução espacial, é uma estratégia poderosa para melhorar MLLMs.

A principal conclusão é que a mesma arquitetura de modelo pode performar muito melhor se receber entradas que priorizem a informação relevante para a tarefa, simulando a adaptação dinâmica da visão humana. O AttWarp oferece uma solução prática, eficiente e generalizável para um dos maiores gargalos atuais dos modelos multimodais: a incapacidade de focar em detalhes pequenos e relações espaciais complexas sem a necessidade de retreinar modelos massivos.

O código e as demonstrações estão disponíveis publicamente, facilitando a adoção desta técnica como uma ferramenta padrão para melhorar a precisão de MLLMs em cenários do mundo real.