Resumo Técnico: OTT-Vid

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala para Vídeo (Video-LLMs) escalam para lidar com vídeos mais longos e complexos, enfrentam um gargalo crítico de inferência: o acúmulo de tokens visuais ao longo dos quadros aumenta drasticamente o comprimento da sequência e o custo computacional. Embora a compressão de tokens sem treinamento ofereça uma solução prática, os métodos existentes de compressão temporal sofrem com duas limitações primárias:

1. Excesso de Dependência de Similaridade: Os métodos atuais dependem principalmente da similaridade de tokens entre quadros ou de heurísticas de segmentação. Eles falham em distinguir entre a recorrência de fundo não informativa e a persistência de conteúdo semanticamente importante (por exemplo, objetos estacionários). Consequentemente, alta similaridade frequentemente leva à compressão agressiva de evidências temporais essenciais, degradando o desempenho em tarefas que exigem duração, continuidade e detecção de limites de eventos, como o alinhamento temporal.
2. Alocação de Orçamento Estática: As abordagens existentes não tratam explicitamente a compressão como um problema de alocação. Elas aplicam limiares de compressão uniformes ou fronteiras rígidas que falham em adaptar-se à variável compressibilidade de diferentes pares de quadros. Isso resulta na sub-compressão de regiões altamente redundantes e na super-compressão de quadros contendo evidências temporais críticas.

Metodologia: OTT-Vid

Os autores propõem o OTT-Vid, um framework sem treinamento que formula a compressão temporal de tokens como um problema de Transporte Ótimo (OT) com alocação de orçamento adaptativa. O método opera em duas etapas acopladas:

1. Poda Espacial e Atribuição de Massa

Antes da compressão temporal, cada quadro sofre uma poda espacial independente para remover redundância intra-quadro.

• Seleção: Um objetivo de cobertura ponderado por saliência seleciona greedy tokens representativos. Isso equilibra a importância semântica (saliência) com a representatividade (cobertura) para evitar o colapso de tokens em clusters redundantes.
• Atribuição de Massa: Uma estratégia de "deixar um de fora" quantifica a contribuição irreplaceável de cada token retido. Se remover um token degradar significativamente a representação do quadro original, ele é considerado importante.
• Massa Inversa: Crucialmente, a massa de transporte $m_t$ é atribuída inversamente à importância do token. Tokens semanticamente críticos recebem massa menor (resistindo à compressão), enquanto tokens menos informativos recebem massa maior (facilitando a transferência). Isso codifica a prioridade de preservação diretamente nas restrições marginais do OT.

2. Transporte Ótimo para Compressão Temporal

A compressão temporal entre quadros vizinhos ($t$ e $t+1$) é resolvida como um problema de OT regularizado entropicamente.

• Função de Custo: O custo de transporte combina dissimilaridade semântica (distância cosseno) e distância espacial. Um coeficiente de mistura $\alpha_t$ adapta-se dinamicamente com base no movimento da cena: em cenas estáticas, a localidade espacial é ponderada mais alto para evitar a correspondência de objetos visualmente similares mas espacialmente distantes; em cenas dinâmicas, a dissimilaridade semântica domina para permitir correspondências através de deslocamentos maiores.
• Plano de Transporte: A resolução do problema de OT produz uma matriz de acoplamento $P_t$ que classifica as correspondências de tokens. Valores de acoplamento altos indicam candidatos para compressão (fusão ou poda).
• Dificuldade de Transporte: O custo total do plano de transporte ($W_t$) serve como uma métrica para a "compressibilidade" de um par de quadros. Um $W_t$ baixo implica alta redundância (fácil de comprimir), enquanto um $W_t$ alto implica a presença de evidência temporal única.

3. Alocação Adaptativa de Orçamento

O framework distribui o orçamento global de compressão de forma não uniforme entre todos os pares de quadros adjacentes com base em $W_t$.

• Alocação Inversa: Usando um softmax negativo, pares com menor dificuldade de transporte (alta redundância) recebem orçamentos de compressão maiores, enquanto pares com alta dificuldade (baixa redundância) recebem orçamentos menores.
• Execução: A compressão é executada em paralelo. Os tokens de origem selecionados são ou fundidos com seu destino (se o custo estiver abaixo de um limiar $\tau_c$) ou podados. Cadeias de fusões através de quadros consecutivos são resolvidas via um algoritmo union-find para garantir consistência global.

Contribuições Principais

1. Compressão Temporal Consciente de Importância: Diferentemente de métodos anteriores orientados por similaridade, o OTT-Vid integra a importância intra-quadro dos tokens no processo de compressão temporal. Ao atribuir massa inversa a tokens importantes, ele preserva evidências de duração e continuidade que métodos baseados em similaridade tipicamente descartam.
2. Alocação de Orçamento Derivada de Transporte: O artigo introduz um método principiado para estimar a compressibilidade de cada par de quadros através da dificuldade de transporte ($W_t$). Isso permite uma alocação de orçamento dinâmica e não uniforme que se adapta às características específicas de redundância do conteúdo do vídeo.
3. Framework Unificado: O OTT-Vid unifica decisões de compressão em nível de token (via o plano de transporte) e alocação de orçamento em nível de par (via dificuldade de transporte) dentro de uma única formulação de Transporte Ótimo.

Resultados Experimentais

Os autores avaliaram o OTT-Vid em seis benchmarks: quatro conjuntos de dados de Perguntas e Respostas sobre Vídeo (VQA) (MVBench, VideoMME, LongVideoBench, MLVU) e dois conjuntos de dados de Alinhamento Temporal de Vídeo (VTG) (Charades-STA, ActivityNet-Captions com anotações TimeLens).

• Retenção de Desempenho: Na base Qwen2.5-VL-7B, o OTT-Vid retém 95,8% do desempenho de VQA sem compressão e 73,9% do desempenho de VTG, mantendo apenas 10% dos tokens originais.
• Comparação: Ele supera consistentemente baselines state-of-the-art sem treinamento (HoliTom, FastVID, FlashVID, UniComp). A lacuna de desempenho é mais significativa em tarefas de VTG, onde métodos orientados por similaridade sofrem degradação severa (caindo para ~50-60% de retenção) devido à perda de evidência temporal.
• Generalização: O método demonstra robustez em diferentes bases de Video-LLM (LLaVA-OneVision, LLaVA-Video) e várias taxas de retenção de tokens.
• Eficiência: O OTT-Vid alcança um aumento de 2,0× na velocidade de Tempo até o Primeiro Token (TTFT) com uso de pico de memória comparável a outros métodos eficientes, confirmando que a sobrecarga de compressão não nega os ganhos de inferência.

Significado e Alegações

O artigo afirma que o principal significado do OTT-Vid reside em sua capacidade de desacoplar a persistência semântica da similaridade visual. Ao tratar a compressão temporal como um problema de transporte com massa consciente de importância, o método preserva com sucesso a "evidência" necessária para tarefas complexas de raciocínio temporal, algo que heurísticas anteriores baseadas em similaridade não conseguiam fazer.

Os autores enfatizam que sua abordagem é sem treinamento, garantindo compatibilidade com Video-LLMs pré-treinados existentes sem a necessidade de retreinamento. Eles notam que, embora seu método atualmente calcule planos de transporte em paralelo a partir de conjuntos inicialmente podados espacialmente (ignorando mudanças representacionais induzidas por compressões anteriores), essa escolha de design prioriza baixa sobrecarga e eficiência de passagem única. Trabalhos futuros podem explorar execução sequencial para refinar planos de transporte, embora isso aumentasse os custos computacionais.

Em resumo, o OTT-Vid aborda o gargalo crítico da inferência de vídeos longos fornecendo um mecanismo adaptativo fundamentado teoricamente que equilibra a importância dos tokens com a redundância entre quadros, superando significativamente os métodos existentes na preservação da fidelidade temporal sob compressão agressiva.