EMCompress: Video-LLMs with Endomorphic Multimodal Compression

1. Declaração do Problema

Os Modelos de Linguagem Grande para Vídeo (Video-LLMs) enfrentam um gargalo fundamental no raciocínio de vídeos longos:

• A Tensão: Os modelos atuais geralmente usam amostragem de quadros estática e esparsa (amostragem uniforme) para caber vídeos longos em um orçamento limitado de tokens. Essa abordagem ou dilui evidências semânticas em segmentos irrelevantes ou perde completamente as semânticas temporais de alta granularidade.
• A Limitação das Soluções Existentes: Métodos tradicionais de "fundamentação" (grounding) tentam recuperar quadros relevantes à consulta, mas operam em um nível perceptual (correspondendo tokens visuais ao texto). Eles falham em abordar desalinhamentos semânticos em consultas complexas que envolvem dependências temporais, relacionais ou causais de múltiplos passos. Recuperar um quadro sem adaptar a consulta frequentemente deixa o modelo a jusante com um contexto incompatível.
• A Questão Central: O paradigma atual força o modelo a processar todo o fluxo de vídeo, introduzindo "ruído cognitivo" e reduzindo a densidade de evidências relevantes por token.

2. Solução Proposta: Compressão Multimodal Endomórfica (EMC)

Os autores propõem uma nova tarefa chamada Compressão Multimodal Endomórfica (EMC). Inspirada em mecanismos cognitivos humanos (filtrar-então-raciocinar), a EMC visa comprimir a entrada $(V, Q)$ em uma estatística suficiente compacta $(v, q)$, preservando a invariância da resposta.

Definições e Formulação Chave

• Transformação Endomórfica: Diferente da compressão por código latente (por exemplo, Gargalo de Informação), que mapeia entradas para um espaço latente abstrato, a EMC mapeia a entrada multimodal de volta para o mesmo espaço de tarefas.
  • Transformação: $F_{EMC}: (V, Q) \to (v, q)$
  • Onde $v$ é um sub-segmento de vídeo recortado e $q$ é uma consulta reescrita.
• Estatística Suficiente: Sob a cadeia de Markov $A \to (V, Q) \to (v, q)$, o objetivo é encontrar o par $(v, q)$ mais compacto tal que $I((v, q); A) = I((V, Q); A)$. O par comprimido deve conter todas as informações necessárias para derivar a resposta verdadeira $A$.
• Condições de Admissibilidade:
  1. Continuidade Estrutural (C1): O vídeo de saída $v$ deve ser uma concatenação de sub-segmentos contíguos não sobrepostos para preservar o movimento e a dinâmica da cena.
  2. Suficiência da Resposta (C2): Para qualquer agente VideoQA a jusante razoável $M$, $M(q, v) = M(Q, V)$. A resposta deve permanecer correta ao nível da instância.
• Objetivos de Minimalidade:
  1. Lado do Vídeo: Minimizar o tamanho (duração/contagem de quadros) de $v$.
  2. Lado da Consulta: Minimizar os passos de raciocínio necessários para derivar $A$ a partir de $(v, q)$.
  • Resolução: Os objetivos são resolvidos lexicograficamente com prioridade de vídeo; a compressão de vídeo impulsiona a transformação, e a reescrita da consulta é a consequência a jusante.

3. Metodologia: Framework ReSimplifyIt

Para realizar a EMC, os autores introduzem o ReSimplifyIt, um framework multiagente plug-and-play e agnóstico a modelos. Ele opera por meio de um loop iterativo, orientado por feedback, envolvendo três agentes principais:

1. Lançador (Sem Vídeo):

   • Gera uma instrução de recorte de alto nível (por exemplo, "mantenha o clipe após o evento X") e uma consulta reescrita baseada apenas na consulta de texto e no histórico anterior.
   • Usa Histórico de Sucesso (SH) e Histórico de Falhas (FH) para autocorreção e evitar repetir planos falhos.
   • Opera por meio de raciocínio abdutivo sobre a linguagem, sem acesso direto ao vídeo inicialmente.

2. Validador (Execução e Feedback):

   • Recebe a instrução do Lançador.
   • Determina a viabilidade interagindo com o Visualizador.
   • Se a instrução for viável, executa o recorte; se não, fornece feedback construtivo ao Lançador.
   • Incorpora uma filosofia de "competência a partir da consequência": planos são validados pela execução, não apenas por regras.

3. Visualizador (Varredura e Localização):

   • Varredura: Resume fragmentos de vídeo dado um intervalo de carimbo de tempo.
   • Localização: Recupera intervalos de carimbo de tempo dada uma descrição de texto.
   • Implementação: Usa extração de quadros-chave em duas etapas (quadros I do MPEG-4 + agrupamento dinâmico) e um LLM para legendagem. Suporta navegação bidirecional (de cima para baixo e de baixo para cima).

Fluxo de Trabalho: O processo itera. O Lançador propõe um plano $\to$ o Validador verifica a viabilidade via Visualizador $\to$ Se falhar, o feedback é registrado e o Lançador tenta novamente. Se bem-sucedido, o processo termina com o par comprimido $(v, q)$.

4. Contribuições Principais

1. Formulação da Tarefa EMC: A primeira formalização da compressão de vídeo como um problema endomórfico que remodela conjuntamente o vídeo e a consulta para preservar a invariância da resposta, distinto da fundamentação temporal simples.
2. Benchmark EMCompress: Um novo benchmark construído sobre o YouCookII contendo 238,2 horas de vídeo e 2.754 perguntas. Inclui rótulos duplos para a tarefa de compressão (recorte de vídeo + reescrita de consulta) e VideoQA padrão.
3. Framework ReSimplifyIt: Uma base robusta multiagente que supera os métodos existentes de localização temporal em 0,40 F1 no benchmark.
4. Validação Empírica: Demonstrou que a EMC melhora significativamente tanto a inferência (robustez) quanto o treinamento (alinhamento) para Video-LLMs.

5. Resultados Experimentais

Os autores avaliaram a EMC em múltiplos Video-LLMs (por exemplo, Video-ChatGPT, LLaVA-NeXT, InternVL) e benchmarks (ActivityNet-QA, MLVU, Video-MME, etc.).

• Desempenho de Inferência: Integrar a EMC como um front-end rendeu ganhos relativos de 33,7% na precisão de inferência em benchmarks. Por exemplo, no ActivityNet-QA, o Video-ChatGPT melhorou de 50,5 para 58,5.
• Desempenho de Treinamento: Treinar Video-LLMs em dados pré-processados pela EMC (usando compressão verdadeira ou prevista) resultou em ganhos relativos de 7,33% em comparação com o treinamento em dados brutos. Isso confirma que a EMC purifica o sinal de supervisão.
• Eficiência e Densidade:
  • A EMC alcança uma amplificação de densidade massiva. No conjunto de dados LVBench, amostrar 8 quadros do segmento comprimido é equivalente a amostrar 2.566 quadros do vídeo original.
  • Razão de Custo: A EMC reduz o custo efetivo de amostragem de quadros em até 100x (Razão de Custo $\approx$ 0,01) mantendo ou melhorando a precisão.
• Estudos de Ablação:
  • Remover o design modular (ReSimplifyIt-simple) reduz ligeiramente o desempenho, mas mantém alta eficiência.
  • Remover o acesso ao vídeo completamente (ReSimplifyIt-blind) causa uma queda significativa, destacando a necessidade do loop de feedback entre texto e visão.

6. Significado e Impacto

• Alinhamento Cognitivo: A EMC espelha a cognição humana filtrando redundância antes do raciocínio profundo, abordando o "ruído cognitivo supérfluo" nos Video-LLMs atuais.
• Mudança de Paradigma: Avança além de "recuperar evidências" para "reconstruir o problema". Em vez de pedir ao modelo para encontrar a resposta em um vídeo ruidoso, a EMC pede ao modelo para resolver uma versão mais limpa e semanticamente alinhada do problema.
• Escalabilidade: Como um front-end agnóstico a modelos, a EMC pode ser conectada a qualquer pipeline existente de VideoQA sem alterações arquitetônicas, oferecendo um caminho escalável para compreensão de vídeo e linguagem interpretável e eficiente.
• Direção Futura: O artigo identifica a compressão espacial e a integração ponta a ponta (onde o codificador aprende a comprimir) como as próximas fronteiras.

Em resumo, o EMCompress estabelece que a compressão de informação é um mecanismo crítico e pouco explorado para avançar os Video-LLMs, oferecendo uma maneira principista de lidar com o raciocínio de longo contexto transformando o espaço de entrada em vez de apenas expandir a capacidade do modelo.