ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

Resumo Técnico: ResAdapt

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) alcançam uma compreensão visual superior ao aumentar a fidelidade de entrada (resolução e contexto temporal). No entanto, isso gera um crescimento exponencial no número de tokens visuais, tornando proibitivo sustentar simultaneamente alta resolução espacial e longo contexto temporal (vídeos longos).

As estratégias de eficiência existentes apresentam limitações críticas:

• Compressão no Lado do Modelo (Model-side): Realizada após a codificação visual (ex: fusão ou poda de tokens). Isso descarta evidências granulares precocemente e pode quebrar kernels de inferência otimizados, pois altera o layout dos tokens.
• Raciocínio Agente no Lado de Saída (Output-side): Envolve iterações de busca ou zoom. Isso adiciona latência e depende de uma visão inicial grosseira que pode já ter perdido as pistas decisivas.

O artigo argumenta que o gargalo não está em como as representações são comprimidas após a codificação, mas sim no volume de pixels que o codificador recebe inicialmente.

2. Metodologia: ResAdapt

O ResAdapt é um framework de adaptação no lado da entrada (Input-side adaptation). Em vez de comprimir representações, ele aprende a alocar um "orçamento visual" (resolução) para cada quadro de vídeo antes da codificação.

Componentes Principais:

1. Allocator (Alocador): Uma rede leve que recebe características visuais grosseiras e a consulta (texto) para prever um vetor de alocação por quadro ($s_t$).
   • O alocador modela a ação como uma distribuição Beta, permitindo um espaço de ação contínuo (fator de redimensionamento).
   • O operador visual (ex: redimensionamento bilinear) aplica essa alocação, gerando quadros com resoluções variadas antes de entrarem no MLLM principal.
2. Preservação da Arquitetura: O backbone do MLLM recebe uma sequência de tokens visuais padrão, mantendo sua interface nativa e compatibilidade com kernels de inferência otimizados (como FlashAttention e vLLM).

Otimização: CAPO (Cost-Aware Policy Optimization)
O treinamento é formulado como um Bandit Contextual. O desafio é otimizar a precisão versus o custo sem colapsar a política para orçamentos mínimos uniformes.

• Sinal de Aprendizado Assimétrico: O CAPO substitui penalidades de custo planas por um sinal de aprendizado moldado.
  • Rollouts corretos e baratos recebem um bônus moderado.
  • Rollouts incorretos e caros recebem uma penalidade forte.
  • Isso estabiliza o ponto de operação intermediário, evitando que o modelo aprenda apenas a ser "barato" ou apenas "preciso".
• Regularização de Similaridade Temporal: Um termo de perda ($L_{sim}$) penaliza alocações de alto orçamento em quadros adjacentes muito similares. Isso força o modelo a diferenciar quadros e evitar redundância, concentrando recursos em mudanças de cena ou eventos informativos.

3. Contribuições Chave

1. Mudança de Paradigma: Propõe a adaptação no lado da entrada como uma via prática para raciocínio de vídeo de longo contexto, preservando a arquitetura nativa do MLLM.
2. Algoritmo CAPO: Introduz uma otimização de política consciente de custos com regularização temporal, permitindo o aprendizado de políticas de alocação esparsas e sensíveis ao conteúdo sem heurísticas manuais.
3. Eficiência e Desempenho: Demonstra que o ResAdapt atinge ou supera a fronteira de Pareto (eficiência vs. precisão), especialmente em benchmarks de raciocínio complexo e sob compressão agressiva.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de QA de vídeo, ancoragem temporal e raciocínio, utilizando backbones como Qwen2.5-VL-7B e Qwen3-VL-8B.

• Desempenho em QA de Vídeo:
  • Sob retenção visual agressiva (~10-11%), o ResAdapt supera significativamente métodos de compressão de tokens (como ToMe, VisionZip) e baselines de redimensionamento fixo.
  • No benchmark VideoMMMU (focado em raciocínio), o ResAdapt obteve ganhos de >15% em relação a métodos que descartam quadros aleatoriamente, mantendo-se competitivo em benchmarks de percepção.
• Cobertura Temporal Estendida:
  • O modelo consegue processar 16x mais quadros (ex: 128 quadros) sob o mesmo orçamento visual de um modelo padrão de 8 quadros, com ganhos de desempenho superiores a 15%.
  • Isso demonstra que a economia espacial é reinvestida eficazmente em cobertura temporal.
• Ancoragem Temporal (Temporal Grounding):
  • A alocação pré-codificação mostrou-se mais robusta à compressão do que a simples remoção de quadros (frame dropping), mantendo melhor a precisão na localização de eventos.
• Percepção Ativa Emergente:
  • O modelo aprendeu a concentrar a resolução em quadros ricos em informação (transições de cena, sobreposições de texto, movimento rápido) e comprimir quadros redundantes, sem supervisão explícita de saliência.

5. Significado e Conclusão

O ResAdapt posiciona a adaptação no lado da entrada como uma solução viável e eficaz para o dilema de longo contexto em MLLMs. Ao decidir quantos pixels codificar antes de processar, o sistema:

1. Evita a perda irreversível de evidências finas que ocorre na compressão pós-codificação.
2. Mantém a compatibilidade com infraestrutura de inferência de alto desempenho.
3. Permite que modelos de vídeo "vejam" mais tempo (mais quadros) sem aumentar o custo computacional, focando recursos onde a resposta à pergunta provavelmente reside.

O trabalho sugere que o controle de orçamento visual pré-codificação é um caminho promissor para a próxima geração de modelos de vídeo eficientes, embora ainda existam desafios na transferência para imagens estáticas e na natureza "open-loop" (sem revisão após a decisão inicial).