Resumo Técnico: LLaVA-OneVision-2: Rumo à Inteligência Perceptiva de Próxima Geração

1. Declaração do Problema

Os atuais Modelos de Linguagem e Visão Grandes (LVLMs) abertos operam amplamente sob um paradigma de observação centrado em quadros. Eles tipicamente empregam amostragem uniforme de quadros ou estratégias de resolução mista (quadros-chave de alta resolução esparsos + contexto de baixa resolução denso) para satisfazer orçamentos fixos de tokens. Os autores argumentam que essa abordagem reduz o vídeo a um conjunto de quadros decodificados, falhando em capturar a estrutura espacial contínua, a dinâmica de movimento e os sinais de fluxo preditivo que tornam o vídeo unicamente informativo.

Os métodos existentes frequentemente tratam o vídeo como uma sequência de imagens estáticas, negligenciando o fato de que, em fluxos de vídeo comprimidos, a maioria dos pixels mantém continuidade contextual, enquanto apenas desvios esparsos codificam estrutura discriminativa semântica, espacial e temporal. Consequentemente, os modelos atuais lutam com:

• Ancoragem Temporal: Perda de momentos críticos que ocorrem entre quadros amostrados uniformemente.
• Eficiência em Vídeos Longos: Contagens elevadas de tokens para vídeos longos sem ganho de informação proporcional.
• Movimento de Alta Granularidade: Dificuldade em localizar ações em ciclos de movimento de alta frequência e densamente repetidos (por exemplo, pular corda), onde quadros adjacentes são visualmente quase idênticos, mas os limites do ciclo são críticos.

2. Metodologia

O LLaVA-OneVision-2 (LLaVA-OV-2) introduz uma arquitetura alinhada a codecs que muda da observação de quadros decodificados para a observação de fluxos visuais preditivos.

2.1 Arquitetura Central

• Codificador OneVision Nativo: O modelo utiliza uma espinha dorsal compartilhada (OV-Encoder) que mapeia quadros amostrados, imagens estáticas e vídeos de fluxo de codec para uma interface unificada de tokens visuais. Emprega RoPE 3D (Embarcação Posicional Rotacional) para colocar todas as entradas (imagens, quadros amostrados, telas de codec) em um sistema de coordenadas espaço-temporal unificado.
• Atenção Janelada: Para manter a eficiência de resolução nativa, o modelo utiliza atenção espacial janelada para computação local, combinada com máscaras visíveis por grupo que definem a visibilidade de tokens com base no agrupamento temporal.
• Conector e Decodificador Unificados: Um MLP leve projeta tokens visuais no espaço do modelo de linguagem (Qwen3-8B). Crucialmente, o conector e o decodificador permanecem invariantes à interface; eles não requerem adaptadores específicos de codec. A diferença reside exclusivamente na seleção de evidências e na atribuição de grupos de atenção fornecidos pela entrada.

2.2 Tokenização de Fluxo de Codec

A inovação central é tratar o vídeo comprimido como um fluxo contínuo de custo de bits em vez de uma sequência de quadros.

• Agrupamento Temporal Adaptativo (GOPs): Em vez de intervalos de tempo fixos, o vídeo é particionado em grupos temporais baseados na dinâmica de custo de bits do fluxo comprimido.
  • Mecanismo: O sistema agrega tamanhos de pacotes de quadros preditos (quadros P/B) dentro de bins de tempo. Alto custo de bits (indicando movimento ou mudanças de cena) dispara grupos mais curtos, enquanto baixo custo de bits (intervalos previsíveis) permite grupos mais longos.
  • Refinamento de Limites: Uma busca local de vale refina os limites dos grupos para garantir que se alinhem com regiões de baixo custo de bits, maximizando a eficiência de compressão enquanto preserva o conteúdo portador de eventos.
• Seleção Espacial de Resíduo de Movimento: Dentro de cada grupo adaptativo, a evidência espacial é selecionada com base em vetores de movimento e resíduos de luminância.
  • Seleção em Nível de Bloco: Em vez de selecionar patches individuais, o modelo seleciona blocos de patches 2×2 com base em uma pontuação de saliência derivada da magnitude de movimento normalizada e do desvio residual.
  • Alocação Estratificada: Para evitar que um único quadro de alta resposta domine um grupo, o sistema usa uma estratégia de alocação temporal estratificada. Ele ordena blocos candidatos por quadro e atenua candidatos repetidos do mesmo quadro, garantindo que as telas P cubram o intervalo temporal do grupo de forma eficaz.
• Telas Visuais: A saída desse processo é um conjunto de telas visuais compactas (telas I e telas P) que carregam evidências de resíduo de movimento, com densidade de tokens seguindo o perfil de resíduo de custo de bits do fluxo.

2.3 Receita de Treinamento

O modelo é treinado por meio de uma receita progressiva de quatro estágios usando supervisão aberta em grande escala:

1. Estágio 1 (Bootstrap): Mistura ~85M de amostras imagem-texto com 4,2M de legendas de vídeo curto (30s). Usa amostragem padrão de quadros.
2. Estágio 2 (Ajuste de Instrução): Adiciona ~46M de amostras de instrução e estende legendas de vídeo para 30–180s. O orçamento de quadros aumenta para 90.
3. Estágio 3 (Vídeo Longo): Estende para legendas de vídeo de 10–15 minutos (350K amostras) com um orçamento de quadros de 384.
4. Estágio 4 (Codec e Espacial):
   • Integração de Codec: Re-codifica o corpus de vídeos de 10–15 minutos usando o pipeline de codec de GOP de comprimento variável em 384 e 768 quadros.
   • Supervisão Espacial: Introduz um corpus espacial de 4M de amostras (LLaVA-OneVision-2-Spatial-4M) cobrindo raciocínio espacial 2D/3D, rastreamento de pontos e expressões de referência.
   • Mistura de Dados: O treinamento intercala vídeos de fluxo de codec, vídeos amostrados uniformemente e imagens estáticas (aproximadamente 50% codec, 37,5% uniforme, 12,5% imagem).

3. Contribuições Principais

1. MLLM Alinhado a Codec: O primeiro modelo a tratar o vídeo como um fluxo contínuo de custo de bits, alinhando a alocação de tokens visuais com a dinâmica de custo de bits e evidências de resíduo de movimento. Isso permite compressão estável de tokens para vídeos longos que supera a amostragem uniforme ou Grupos de Imagens (GOP) fixos.
2. Benchmark JumpScore: Um novo benchmark de localização temporal focado em ancoragem de alta granularidade em movimento de alta frequência e densamente repetido (por exemplo, pular corda). Avalia a capacidade de localizar instâncias de ação entre ciclos visualmente semelhantes, um regime sub-representado por benchmarks existentes.
3. Dados em Grande Escala e Pilha de Treinamento: Lançamento de ~8M de amostras de vídeo re-legendadas e um corpus espacial de 4M de amostras, juntamente com uma receita de treinamento de quatro estágios que escala da ancoragem em imagens para raciocínio em vídeos longos e espacial.
4. Percepção Unificada: Demonstra uma única arquitetura capaz de desempenho unificado em compreensão de vídeo, ancoragem temporal, ancoragem espacial e raciocínio de trilha de manipulação.

4. Resultados

O LLaVA-OneVision-2-8B alcança desempenho state-of-the-art entre modelos da classe 8B em múltiplos domínios:

• Ancoragem Temporal e JumpScore:
  • No JumpScore, o LLaVA-OV-2-8B alcança 74,9 mAP, superando o Qwen3-VL-8B (30,1) em +44,8 pontos.
  • Sob orçamentos de tokens visuais correspondentes, entradas de fluxo de codec melhoram a ancoragem temporal sobre a amostragem de quadros em +9,7 pontos em média em benchmarks padrão (Charades-STA, ActivityNet, QVHighlights).
  • Especificamente no JumpScore, entradas de fluxo de codec melhoram sobre a amostragem de quadros em +17,3 pontos.
• Compreensão de Vídeo:
  • Supera o Qwen3-VL-8B em +4,3 pontos médios em 18 tarefas de vídeo (62,5 vs. 58,2).
  • Ganhos significativos em ancoragem temporal (+5,2 a +7,0 pontos) e raciocínio visual-espacial de vídeo.
• Raciocínio Espacial:
  • Supera o Qwen3-VL-8B em +5,3 pontos médios em 11 tarefas espaciais (63,5 vs. 58,2).
  • Ganhos notáveis no CrossPoint (+35,0 pontos sobre o Qwen3-VL) e TraceSpatial-3D (quase 4x a pontuação seguinte melhor da classe 8B).
• Rastreamento (Segmentação de Objetos em Vídeo de Referência):
  • Alcança +15,6 de melhoria média em J&F sobre o Qwen3-VL-8B em benchmarks de rastreamento (DAVIS, MeViSU, ReVOS).
  • Pontuação total de rastreamento de 41,0 vs. 30,8 para o Qwen3-VL-8B.
• Imagem e Documento:
  • Permanece competitivo em benchmarks de imagem e documento (por exemplo, DocVQA 95,2, V*-Bench 85,9), embora fique atrás de modelos especializados em OCR/documento em tarefas densas em texto.

5. Significado e Alegações

O artigo afirma que o LLaVA-OneVision-2 representa uma mudança da inteligência perceptiva "centrada em quadros" para "consciente de fluxo".

• Princípio de Alocação Perceptiva: Os autores argumentam que a tokenização de fluxo de codec não é meramente um mecanismo de redução de tokens, mas um princípio de alocação perceptiva. Ele expande a cobertura em nível de evento para raciocínio em vídeos longos ao concentrar tokens em intervalos de alto custo de bits e regiões de alto resíduo, preservando a amostragem de quadros como um caminho complementar para percepção sensível a detalhes.
• Compromisso entre Eficiência e Detalhe: A análise revela que entradas de fluxo de codec favorecem tarefas governadas por estrutura temporal grosseira (ordenação de eventos, ancoragem temporal), enquanto a amostragem de quadros permanece preferível para consultas sensíveis a detalhes que exigem continuidade densa de trajetória.
• Direção Futura: O trabalho se posiciona como um passo rumo a uma "Era Nativa de Codec", onde evidências visuais são continuamente atualizadas, comprimidas e recuperadas em horizontes temporais ultra-longos, superando as limitações da observação de quadros fixos.

Os autores enfatizam que sua abordagem é ortogonal a melhorias existentes em conectores ou modelos de linguagem; qualquer sistema atual poderia teoricamente adotar tokenização de fluxo de codec no lado da entrada sem alterar sua pilha a jusante.