Persistent Object Narratives for Token-Efficient Video Language Models

Resumo Técnico: Narrativas de Objetos Persistentes para Modelos de Linguagem de Vídeo Eficientes em Tokens

Declaração do Problema

Os Modelos de Linguagem de Vídeo (Video-LLMs) avançaram na compreensão de vídeo de código aberto, mas enfrentam duas limitações primárias em suas interfaces visuais:

1. Intensidade de Tokens: Os métodos atuais de construção quadro a quadro geram tokens visuais proporcionais à resolução temporal e espacial, o que frequentemente resulta em milhares de tokens por vídeo (ex: LLaVA-OneVision, LLaVA-Video).
2. Falta de Estrutura Explícita de Objetos: As técnicas de compressão existentes (ex: memória esparsa, compressão espaço-temporal adaptativa) reduzem a contagem de tokens, mas falham em organizar explicitamente evidências de objetos recorrentes. Consequentemente, o modelo de linguagem deve inferir a correspondência e a evolução do estado dos objetos a partir de sequências comprimidas sem um vínculo explícito, levando à ambiguidade quando objetos reaparecem após oclusões ou cortes de cena.

Embora o aprendizado centrado em objetos ofereça uma base teórica para agrupar características em slots do tipo objeto, as abordagens baseadas em slots existentes tipicamente tratam os slots como locais e permutáveis, falhando em ligar observações recorrentes a instâncias de objetos persistentes ao longo do tempo. Por outro outro lado, métodos que dependem de pipelines externos de detecção e rastreamento introduzem dependência de componentes não aprendidos.

Metodologia: SlotNarrative

Os autores propõem o SlotNarrative, uma interface baseada em slots e centrada em objetos que organiza a evidência de vídeo em narrativas de objetos persistentes. O framework opera através de três módulos funcionais:

1. Representação de Vídeo Centrada em Objetos

Um codificador SigLIP congelado extrai características de patches de quadros amostrados. Um adaptador de características e um codificador de slots recorrente agrupam essas características em $K=11$ vetores de slots do tipo objeto ($S_t$) e mapas de atenção normalizados por patch ($A_t$).

• Estado Local: O sistema estima o movimento local, geometria e visibilidade usando correspondência de patches ponderada por máscara e um codificador de trajetória causal.
• Tratamento de Cenas: Em cortes de cena detectados, a inicialização do slot recorrente é resetada para evitar tratar edições como movimento extremo de objetos, mantendo, contudo, a memória de nível de clipe.

2. Memória de Objeto Persistente

Um módulo de memória sem parâmetros vincula as observações de slots locais ao quadro com entradas de objetos persistentes de nível de clipe.

• Reidentificação: Quando um slot transiciona de invisível para visível, o sistema o confronta com entradas de memória inativas usando cinco pistas complementares: similaridade de característica do slot, similaridade de aparência agrupada, similaridade de estado de trajetória, similaridade de observação recente e proximidade de posição.
• Lógica de Correspondência: Uma pontuação ponderada e sem parâmetros determina a reidentificação. Uma estratégia de correspondência um-para-um gulosa (greedy) evita reivindicações duplicadas. Se um objeto reaparece sob um índice de slot bruto diferente, a memória preserva o ID persistente, efetivamente preenchendo intervalos ausentes.
• Sem Parâmetros Treináveis: A própria memória não contém pesos aprendíveis; ela depende de pesos de pistas fixos (ex: 0,3 para características do slot, 0,2 para aparência) e limiares.

3. Tokenização de Estado de Objeto Tipada

Para interagir com um modelo de linguagem congelado, as entradas de objetos retidas são serializadas em uma sequência visual de tamanho fixo:

• Seleção de Inventário: As entradas são classificadas por duração de visibilidade, mudança de estado e "objetividade" (uma métrica que combina área do slot e entropia de atenção). As $M=16$ entradas principais são retidas.
• Decomposição de Tokens: Cada entrada retida é representada por:
  • Um Token de Identidade: Resume a aparência persistente usando características do backbone agregadas no tempo e ponderadas pela visibilidade.
  • $J=8$ Tokens de Estado: Codificam aparência de nível de segmento, geometria, visibilidade, estado de trajetória e eventos de reidentificação.
• Orçamento Fixo: Este design aloca exatamente $M(1 + J) = 144$ posições de tokens visuais por vídeo, independentemente do número de quadros amostrados. Posições não utilizadas são mascaradas.

Estratégia de Treinamento

O modelo é treinado em três estágios sequenciais:

1. Estágio 1: Aprende o agrupamento do tipo objeto e a consistência local usando reconstrução de características, SlotContrast e Aprendizado de Representação Sinérgico em clipes não rotulados.
2. Estágio 2: Treina os módulos de trajetória e presença via predição de observação futura e alvos derivados de confiança.
3. Estágio 3: Alinha a representação tipada de estado de objeto com o modelo de linguagem (Qwen2-7B-Instruct). Apenas os projetores de identidade/estado, as normalizações de camada e os embeddings tipados são treinados; o backbone visual, a memória e o modelo de linguagem permanecem congelados.

Principais Contribuições

1. Interface de Objeto Centrada em Slots: Organiza a evidência de vídeo em torno de entradas de objetos persistentes de nível de clipe em vez de quadros ou slots permutáveis por quadro, utilizando uma memória sem parâmetros para associar observações recorrentes sem depender de pipelines externos de detecção ou rastreamento.
2. Representação de Estado de Objeto Tipada: Separa a aparência persistente do objeto do seu estado variável no tempo. Esta decomposição gera uma interface compacta e estruturada de 144 tokens (1 token de identidade + 8 tokens de estado $\times$ 16 objetos) para um Video-LLM congelado.
3. Eficiência e Desempenho: Demonstra um equilíbrio favorável entre precisão e tokens visuais em múltiplos benchmarks, estabelecendo narrativas de objetos persistentes como uma interface visual estruturada.

Resultados Experimentais

Os autores avaliaram o SlotNarrative em três benchmarks de VideoQA de código aberto: MSVD-QA, MSRVTT-QA e ActivityNet-QA.

• Eficiência de Tokens: Com apenas 144 posições de tokens visuais alocadas, o SlotNarrative alcança:
  • 75,6% de precisão no MSVD-QA.
  • 69,8% de precisão no MSRVTT-QA.
  • 50,3% de precisão no ActivityNet-QA.
• Comparações:
  • Comparado à base mais próxima de objeto-centrismo, o Slot-VLM (192 tokens), o SlotNarrative utiliza 25% menos tokens enquanto melhora a precisão em 0,7, 0,2 e 2,0 pontos, respectivamente.
  • Ele supera métodos de tokens densos (ex: LLaVA-OneVision com ~6.000 tokens) em conjuntos de dados de vídeos curtos e permanece competitivo em vídeos mais longos (ActivityNet-QA), apesar da redução significativa de tokens.
• Estudos de Ablação:
  • Trajetória e Memória: Ambos os componentes melhoram significativamente o desempenho. Remover apenas a memória reduz a precisão em ~3,2 pontos no MSVD-QA; remover a trajetória reduz em ~1,8 pontos. A combinação de ambos produz os melhores resultados.
  • Tokens Tipados: Separar tokens de identidade e de estado é crucial. Usar apenas tokens de identidade (16 tokens) ou apenas tokens de estado (128 tokens) resulta em quedas significativas de precisão (44,1% e 42,4% respectivamente no ActivityNet-QA) comparado à interface completa de 144 tokens (50,3%).
  • Sensibilidade ao Orçamento: Reduzir a cobertura de objetos ($M$) é mais custoso do que reduzir a resolução temporal ($J$). Aumentar o orçamento além de 144 tokens gera retornos decrescentes.

Significância e Alegações

O artigo afirma que o SlotNarrative estabelece um novo paradigma para interfaces de Video-LLM ao priorizar narrativas de objetos persistentes sobre evidências quadro a quadro. A significância reside em:

• Compressão Estruturada: Fornece uma interface visual compacta, estruturada e temporalmente organizada que vincula explicitamente observações recorrentes, reduzindo o fardo sobre o modelo de linguagem para inferir a correspondência de objetos.
• Eficiência de Tokens: Alcança um desempenho competitivo com um orçamento fixo e baixo de tokens (144 tokens), desacoplando o comprimento da entrada da duração e resolução do vídeo.
• Associação Aprendida: Demonstra que unidades do tipo objeto podem ser descobertas e associadas através de intervalos ausentes diretamente de características visuais sem depender de modelos externos de detecção ou rastreamento.

Os autores reconhecem modestamente as limitações, observando que, embora a interface seja compacta, a ordem temporal de longo alcance e a fragmentação em cenas lotadas continuam sendo desafios. Eles sugerem que trabalhos futuros devem focar em descoberta de objetos e pistas de movimento mais ricas sem retornar a sequências longas de tokens de quadros.