Resumo Técnico: TORM - Modelagem Internalizada para Raciocínio Espacial-Temporal em Modelos de Linguagem-Visual de Vídeo

Declaração do Problema

Tarefas de raciocínio em vídeo exigem que os modelos rastreiem movimento, ordem temporal e estados visuais em evolução ao longo dos quadros. Embora os Modelos de Linguagem-Visual de Grande Escala (LVLMs) tenham obtido sucesso na compreensão de imagens estáticas, estender isso para vídeo permanece desafiador. As abordagens existentes frequentemente dependem de externalização do raciocínio por meio de Cadeia de Pensamento (CoT) textual, reinserção repetida de quadros, decomposição temporal ou uso de ferramentas externas.

O artigo identifica limitações críticas nessas pipelines externas:

1. Ineficiência: Elas introduzem latência substancial no tempo de inferência e complexidade de engenharia.
2. Perda de Informação: Elas forçam evidências temporais-visuais ricas e contínuas a serem serializadas em tokens de texto discretos ou recodificadas repetidamente, potencialmente perdendo informações dinâmicas de alta granularidade.
3. Compromisso: Existe uma tensão fundamental entre preservar informações visuais-temporais intermediárias ricas (benéficas para o raciocínio) e a eficiência da inferência (prejudicada pela geração ou recuperação de evidências explícitas no momento do teste).

Metodologia: TORM

Os autores propõem o TORM (Raciocínio Espacial-Temporal via Modelagem Internalizada), um framework de duas etapas projetado para ensinar LVLMs a raciocinar por meio de trajetórias latentes contínuas limitadas, em vez de CoT textual explícita ou ferramentas externas. A intuição central é que o raciocínio visual pode ocorrer implicitamente dentro dos estados ocultos antes da verbalização.

Arquitetura Central

O TORM amplia o processo padrão de geração de resposta a perguntas sobre vídeo com um curto segmento de simulação latente contendo $K$ tokens latentes (definido como $K=8$ nos experimentos).

• Inferência: Quando o modelo gera um token especial <|latent_start|>, ele entra em um "modo de simulação latente". Em vez de prever tokens de texto discretos, o decodificador gera estados ocultos contínuos (tokens latentes) que são realimentados como embeddings de entrada para etapas subsequentes. Isso continua até que <|latent_end|> seja gerado, após o que a decodificação de texto normal retoma para a resposta final. Esse processo é limitado para garantir latência fixa.
• Sem Ferramentas Externas: Diferentemente de outros métodos, o TORM não regenera vídeos, não reinsere quadros e não chama ferramentas externas durante a inferência.

Pipeline de Dados

Para treinar o modelo a internalizar o raciocínio, os autores constroem uma sequência de treinamento com três sinais alinhados para cada par de Pergunta-Resposta (QA):

1. Quadros-chave: Quadros relevantes para a pergunta extraídos do vídeo de origem.
2. Vídeo de Pensamento: Um vídeo dinâmico curto, gerado, visualizando o movimento e as mudanças de estado relevantes para a pergunta (gerado usando um plano CoT de um professor e um modelo de geração de vídeo como o Wan 2.1).
3. Resposta: A sequência de tokens de resposta alvo.

Estratégia de Treinamento em Duas Etapas

O processo de treinamento é dividido em duas etapas para primeiro fundamentar o espaço latente e depois internalizar o raciocínio:

• Etapa I: Treinamento Supervisionado Fundamentado em Latente

  • O modelo é treinado para alinhar os estados latentes previstos ($z_i$) com as características do vídeo de pensamento gerado ($g_i$).
  • O vídeo de pensamento é codificado, e suas características são agrupadas para corresponder ao número fixo de slots latentes ($K$).
  • A função de perda combina a entropia cruzada padrão de tokens de resposta ($L_{ans}$) com uma perda MSE ($L_{latent}$) para minimizar a distância entre os estados latentes e as características do vídeo de pensamento.
  • Objetivo: Fundamentar os slots latentes em evidências visuais dinâmicas sem exigir supervisão explícita de CoT textual.

• Etapa II: Consolidação Apenas de Resposta

  • A supervisão latente direta (perda MSE) é removida.
  • O modelo é treinado apenas na perda de tokens de resposta ($L_{ans}$), enquanto os slots latentes permanecem na sequência de entrada.
  • Objetivo: Incentivar o modelo a internalizar o comportamento de raciocínio aprendido na Etapa I, tornando o processo latente auto-organizado e robusto para inferência sem alvos explícitos.

Contribuições Principais

1. Framework TORM: Um framework de raciocínio em vídeo que realiza simulação dinâmica interna no espaço latente contínuo, eliminando a necessidade de CoT textual explícita ou inferência baseada em ferramentas pesadas.
2. Estratégia de Treinamento em Duas Etapas: Uma abordagem inovadora que combina alinhamento latente com supervisão de vídeo de pensamento (Etapa I) e consolidação focada em resposta (Etapa II) para internalizar o raciocínio espacial-temporal.
3. Pipeline de Supervisão de Vídeo de Pensamento: Um método escalável para alinhar traços dinâmicos gerados, quadros-chave e anotações de QA para treinar raciocínio latente em vídeo.
4. Eficiência e Desempenho: Demonstrar que o raciocínio internalizado pode alcançar alta precisão enquanto reduz significativamente a sobrecarga de inferência em comparação com pipelines baseados em ferramentas pesadas ou geração de vídeo.

Resultados Experimentais

Os autores avaliaram o TORM em seis benchmarks: VideoMME, MVBench, TempCompass, Video-Holmes, VideoEspresso e MMVU.

• Desempenho: O TORM superou consistentemente as linhas de base padrão de Ajuste Fino Supervisionado (SFT) (por exemplo, Qwen2.5-VL-7B-SFT) em todos os benchmarks. Ele também igualou ou superou modelos especializados que dependem de pipelines de computação caros no momento do teste (por exemplo, LongVT, Video-Thinker).
  • Exemplo: No VideoMME, o TORM alcançou 61,0% de precisão, superando a linha de base SFT (55,4%) e competindo com modelos proprietários como GPT-4o (71,9%) e Gemini-1.5-Pro (75,0%) enquanto usava um backbone de código aberto.
  • Exemplo: No MMVU, o TORM alcançou 65,9%, superando o Video-R1 (64,2%) e o Qwen2.5-VL-CoT (60,0%).
• Latência: O TORM demonstrou uma redução massiva na latência de inferência.
  • LongVT e Video-Thinker exigiram ~15–17 segundos por item.
  • O TORM processou itens em ~0,47 segundos por item (2,14 itens/s), um aceleramento de ~30x, evitando a recuperação repetida de quadros e chamadas de ferramentas externas.
• Estudos de Ablação:
  • Tamanho Latente: Um orçamento de 8 tokens latentes forneceu o melhor equilíbrio. Orçamentos maiores (16 ou 256) degradaram o desempenho, sugerindo que trajetórias latentes compactas são mais eficazes do que reter tokens visuais redundantes.
  • Etapas de Treinamento: Tanto a Etapa I (fundamentação) quanto a Etapa II (consolidação) foram necessárias; usar qualquer uma das etapas isoladamente resultou em desempenho inferior.
  • Análise de Recuperação: Probes mostraram que os estados latentes aprendidos retiveram informações temporais específicas do vídeo melhor do que representações textuais, alcançando 71% de Hit@1 na recuperação dentro do mesmo vídeo, comparado a 29% para texto.

Significado e Alegações

O artigo afirma que o TORM representa um passo prático em direção ao raciocínio visual nativo eficiente em modelos de linguagem-visual de vídeo. Ao transferir o ônus do raciocínio dinâmico da orquestração de ferramentas no momento da inferência para um processo latente internalizado, o TORM aborda o compromisso entre qualidade de raciocínio e eficiência computacional.

Os autores enfatizam que:

• Evidências visuais dinâmicas são usadas apenas durante o treinamento para ensinar os estados latentes.
• Na inferência, o modelo reutiliza esse comportamento aprendido por meio de uma trajetória latente compacta e de orçamento fixo, sem gerar novos vídeos ou invocar ferramentas externas.
• Essa abordagem permite que LVLMs lidem com tarefas complexas de raciocínio espacial-temporal com a eficiência de um processo de decodificação de modelo único, evitando a latência e a complexidade de pipelines de raciocínio externos.

O artigo reconhece limitações, observando que a qualidade do treinamento depende dos vídeos de pensamento gerados e que a avaliação atual é focada em QA de múltipla escolha. Trabalhos futuros são sugeridos para raciocínio aberto e outras arquiteturas.