Resumo Técnico: ReToken

Declaração do Problema

Modelos de Linguagem-Visão (VLMs) enfrentam desafios significativos ao processar contextos visuais longos, como coleções de imagens ou vídeos de uma hora de duração. Dois problemas primários surgem:

1. Degradação de Desempenho: À medida que o número de imagens ou frames distratores aumenta, o desempenho do modelo cai porque a informação relevante fica enterrada dentro de um grande conjunto de dados irrelevantes.
2. Inviabilidade Computacional: Processar todos os tokens visuais simultaneamente frequentemente excede as restrições de memória da GPU, tornando a inferência de contexto total impossível para vídeos longos.

Soluções atuais dependem frequentemente de recuperação baseada em atenção, onde os escores de atenção internos do modelo (interações query-key) são usados para selecionar frames relevantes. No entanto, os autores identificam que, em VLMs pré-treinados, esses sinais de atenção são pouco confiáveis para recuperação visual. A correlação entre escores de atenção e relevância da query é fraca, levando a uma baixa recall (por exemplo, apenas 5,1% de Recall@1 entre as camadas no benchmark QAEgo4DTest-MC). Além disso, os mecanismos de atenção padrão são treinados para a predição do próximo token, não para selecionar entradas visuais específicas, e a média dos tokens da pergunta introduz ruído que degrada ainda mais o desempenho da recuperação.

Metodologia: ReToken

O artigo propõe o ReToken, um mecanismo de recuperação leve e treinável projetado para operar dentro do espaço de valor (value space) do transformer, em vez do convencional espaço query-key.

Insights Principidos

• Superioridade do Espaço de Valor: Os autores observam que, embora os escores query-key sejam ruidosos, as projeções de valor dos tokens carregam o conteúdo real propagado através da atenção. O agrupamento (pooling) de vetores de valor fornece um sinal mais discriminativo para a recuperação visual baseada em texto.
• Recuperação Direcionada: Em vez de tirar a média de todos os tokens da pergunta (o que introduz ruído), o ReToken utiliza um único embedding treinável anexado ao prompt da pergunta. Este token é explicitamente treinado para atuar como um alvo de recuperação.

Arquitetura e Treinamento

• Token Treinável: Um único embedding treinável ($X_r$) é anexado aos tokens da pergunta de entrada.
• Projeção: Uma matriz de projeção leve ($W_r$) mapeia a saída da última camada do ReToken para um vetor de consulta de recuperação ($Z_r$).
• Mecanismo de Pontuação: Para cada frame $f$, o modelo calcula o vetor de valor médio ($\bar{v}_f^{(N)}$) da última camada do VLM. O escore de recuperação é a similaridade de cosseno entre o ReToken projetado e o vetor de valor médio do frame.
• Função de Perda: O sistema é supervisionado usando uma perda de entropia cruzada binária balanceada por classe contra rótulos de relevância de verdade fundamental (ground-truth). A perda incentiva escores altos para frames relevantes e baixos para distratores.
• Regime de Treinamento: Por padrão, o backbone do VLM permanece congelado. Apenas o embedding do ReToken e a matriz de projeção são atualizados. Uma variante de ajuste fino parcial (ajustando as primeiras camadas) também é explorada, mas considerada menos eficaz para transferência de vídeo.

Pipeline de Inferência

O ReToken emprega um pipeline de dois passos: recuperar-e-responder (retrieve-then-answer):

1. Cache: O vídeo é codificado uma única vez, e os caches de Chave-Valor (KV) por camada são armazenados em um cache persistente.
2. Recuperação (Passo 1): Dada uma pergunta, o ReToken é anexado e o modelo executa uma passagem direta (forward pass) sobre o contexto visual em cache. A última camada calcula os escores de recuperação para selecionar os top-$K$ frames relevantes.
3. Resposta (Passo 2): Uma segunda passagem direta gera a resposta, atendendo apenas ao cache KV dos top-$K$ frames selecionados. Isso garante que o processo de geração corresponda à distribuição de treinamento (onde a recuperação foi determinada na última camada).

Principais Contribuições

1. Diagnóstico das Limitações da Atenção: O artigo demonstra que a recuperação baseada em atenção (query-key) é ineficaz em VLMs pré-treinados, enquanto o espaço de valor fornece um sinal significativamente mais forte para recuperar informações visuais.
2. Mecanismo ReToken: Introdução de um único token treinável que permite que VLMs pré-treinados identifiquem informações visuais relevantes de forma mais eficaz sem exigir o retreinamento total do modelo.
3. Transferência Zero-Shot: Demonstração de que um ReToken treinado exclusivamente em dados de QA de múltiplas imagens generaliza com sucesso para benchmarks de compreensão de vídeo longo sem treinamento adicional específico para vídeo.

Resultados Experimentais

O método foi avaliado em benchmarks de imagem e vídeo, mostrando melhorias consistentes sobre as linhas de base:

• Visual Haystacks (Recuperação de Imagem):
  • No benchmark Visual Haystacks, o ReToken melhorou o Qwen3VL-8B em 13,4 pontos e o InternVL3.5 em 12,4 pontos (um ganho relativo de mais de 20%) na presença de 50 imagens distratoras.
  • Alcançou 88,5% de Recall@1 na tarefa de 2 imagens e 64,7% na tarefa de 50 imagens, superando significativamente os recuperadores baseados em atenção (ReKV) e modelos de embedding externos (SigLIP2).
• Compreensão de Vídeo Longo:
  • QAEgo4DTest-MC: Com um orçamento de recuperação apertado ($K=1$), o ReToken obteve uma melhoria de 6,8 pontos sobre a amostragem uniforme e superou a recuperação baseada em atenção.
  • LVBench: O ReToken transferiu zero-shot para vídeos longos (comprimento médio >1 hora), gerando um ganho de 8,0 pontos na precisão para o Qwen3VL-8B.
  • Video-MME: Ganhos significativos foram observados nos splits de vídeo médio e longo, enquanto vídeos curtos (menos de 2 minutos) não mostraram ganho, pois estavam abaixo do orçamento de entrada de recuperação.
• Eficiência:
  • Tanto o treinamento quanto a inferência de vídeo longo cabem em uma única GPU H100.
  • A passagem de recuperação adiciona apenas cerca de 0,4 segundos de latência por pergunta, enquanto a codificação cara do vídeo é realizada apenas uma vez por vídeo.

Significância e Alegações

O artigo afirma que o ReToken oferece um caminho prático para o raciocínio multimodal de contexto longo escalável. Ao identificar que o espaço de valor carre um sinal de alinhamento textual mais forte do que o espaço query-key, os autores fornecem uma solução simples e leve que evita a necessidade de recuperadores externos complexos ou ajuste fino total do modelo.

O trabalho destaca que:

• A recuperação no espaço de valor é mais robusta a queries ruidosas do que no espaço query-key.
• Um único token treinável pode substituir efetivamente pipelines de recuperação complexos.
• As habilidades aprendidas em QA de múltiplas imagens de contexto curto podem ser transferidas para a compreensão de vídeo longo, sugerindo que a capacidade fundamental de alinhar texto com conteúdo visual é preservada mesmo em modelos congelados.

Os autores reconhecem limitações, observando que o ReToken atualmente tem dificuldades com perguntas que exigem evidências dispersas por todo o vídeo (ex: sumarização) e que seu desempenho em tarefas de vídeo poderia potencialmente ser melhorado ao treinar em dados de vídeo para capturar melhor as estruturas temporais. No entanto, a transferência zero-shot atual de imagens para vídeos é apresentada como um passo significativo para VLMs de contexto longo eficientes.