Resumo Técnico: OmniReasoner

Declaração do Problema

O raciocínio de áudio e vídeo de longa duração apresenta um desafio fundamental para os Modelos de Linguagem de Grande Escala (LLMs) omnimodais: a evidência decisiva necessária para responder a uma pergunta é frequentemente esparsa, distribuída no tempo e cross-modal (envolvendo pistas visuais e auditivas). Preservar cada quadro e segmento de áudio com alta fidelidade é computacionalmente proibitivo devido às restrições da janela de contexto e aos custos de tokens. Por outro resposta, o subamostragem uniforme para ajustar fluxos longos ao contexto descarta a evidência detalhada necessária para um raciocínio preciso. As abordagens existentes dependem ou de pré-processamento fixo, ou buscam segmentos relevantes usando apenas pistas visuais, ou otimizam o raciocínio após a seleção da evidência, falhando em abordar a decisão central de quando e onde alocar computação de alta fidelidade em um fluxo de áudio e vídeo longo.

Metodologia

Os autores introduzem o OmniReasoner, um framework de pós-treinamento de uso de ferramentas projetado para ensinar LLMs omnimodais a "pensar com áudio e vídeo longos" ao decidir adaptativamente se devem chamar uma ferramenta de zoom (zoom-in).

1. Fluxo de Trabalho de Inferência

O OmniReasoner opera em um processo de dois estágios:

• Visualização Global (Global Preview): O modelo primeiro consome uma visualização global de baixo custo e esparsa de todo o fluxo de áudio e vídeo (vídeo de baixa taxa de quadros e áudio completo).
• Decisão da Ferramenta (Tool Decision): Com base nesta visualização e na pergunta do usuário, a política decide entre duas ações:
  • Resposta Direta: Se a evidência global for suficiente, o modelo responde imediatamente.
  • Zoom-in: Se mais evidências forem necessárias, o modelo chama uma ferramenta de zoom, especificando um intervalo temporal $[s, e]$.
• Inspeção Local (Local Inspection): O sistema recupera um clipe local de alta fidelidade correspondente ao intervalo solicitado. O modelo então realiza um raciocínio abrangente usando tanto o contexto global quanto a evidência local detalhada para gerar a resposta final.

2. TimeAnchor

Uma contribuição técnica crítica é o TimeAnchor, que resolve o problema do ancoramento temporal entre diferentes granularidades de amostragem.

• O Desafio: Índices de quadros padrão ou IDs de chunks são relativos a uma taxa de amostragem específica. Um índice de quadro válido em uma visualização global esparsa não corresponde ao mesmo momento físico em um clipe local denso.
• A Solução: O TimeAnchor prefixa um marcador de tempo absoluto em texto puro (ex: <32 segundos>) a cada chunk de dois segundos do fluxo de tokens de áudio e vídeo intercalados. Isso garante que um argumento temporal (ex: "inspecionar 32–38 segundos") permaneça válido e consistente de ida e volta, independentemente de o modelo estar visualizando o fluxo global esparso ou o clipe local denso. O argumento é vinculado ao tempo de relógio (wall-clock time), não aos índices de quadros.

3. Mecanismo de Dados de Aumento Temporal (Temporal Augmented Data Engine)

Para treinar o modelo sem anotações manuais de intervalos dispendiosas, os autores construíram um Mecanismo de Dados de Aumento Temporal que sintetiza trajetórias de uso de ferramentas:

• Construção de Tarefas: Ele cria tarefas de raciocínio de longo formato via Composição de Múltiplos Segmentos (costura de clipes independentes) e Inserção de Anomalias (substituição de áudio, vídeo ou ambos em uma janela). O processo de edição fornece inerentemente os intervalos de evidência de verdade fundamental (ground-truth).
• Síntese de Trajetória: Usando um "MediaSandbox", o mecanismo simula o ambiente de inferência. Ele gera dois tipos de trajetórias:
  • Trajetórias de uso de ferramenta: O modelo observa a visão global, solicita um intervalo de zoom, recebe o clipe local e responde.
  • Trajetórias de resposta direta: O modelo responde diretamente a partir da visão global.
• Regime de Treinamento: O framework emprega Ajuste Fino Supervisionado (SFT) nessas trajetórias sintetizadas para estabelecer o protocolo de uso de ferramentas, seguido por Aprendizado por Reforço via Otimização de Política Relativa de Grupo (GRPO). A recompensa de RL é baseada na precisão da resposta e conformidade de formato, otimizando a política para chamar a ferramenta apenas quando ela melhora a resposta final.

Principais Contribuições

1. Framework OmniReasoner: Uma abordagem de pós-treinamento que permite que modelos omnimodais aprendam o uso adaptativo de ferramentas (zoom-in) para raciocínio de áudio e vídeo longos via SFT e RL.
2. TimeAnchor: Um mecanismo que mantém a validade do argumento temporal entre fronteiras de fidelidade (amostragem esparsa vs. densa) usando marcadores de tempo absoluto em vez de índices de quadros.
3. Mecanismo de Dados de Aumento Temporal: Um pipeline escalável de geração de dados que sintetiza trajetórias de uso de ferramentas com intervalos de evidência conhecidos através de edição de vídeo, eliminando a necessidade de anotação manual de intervalos.

Resultados Experimentais

Experimentos foram conduzidos em benchmarks de raciocínio de vídeo e omnimodais, incluindo OmniVideoBench, LVOmniBench, Daily-Omni, WorldSense, VideoMME e VideoHolmes.

• Ganhos de Desempenho: O OmniReasoner (baseado no Qwen2.5-Omni-7B) superou significativamente o modelo base. Melhorias notáveis incluem:
  • OmniVideoBench: +5.5 pontos (29.3 $\to$ 34.8).
  • LVOmniBench: +3.4 pontos (32.0 $\to$ 35.4).
  • VideoHolmes: +15.6 pontos (24.4 $\to$ 40.0), atribuído à capacidade de recuperar mais quadros via zoom-in em comparação com o limite fixo de 32 quadros do baseline.
• Sensibilidade à Duração: A lacuna de desempenho aumentou com a duração do vídeo. No OmniVideoBench, os ganhos aumentaram de +3.2 pontos para vídeos de 0–5 minutos para +9.9 pontos para vídeos de 10–30 minutos, demonstrando a eficácia do zoom-in adaptativo para evidências esparsas de contexto longo.
• Estudos de Ablação:
  • Remover os dados temporais auto-curados causou quedas significativas, confirmando a necessidade de intervalos de evidência construídos.
  • Remover a entrada de áudio ou o clipe retornado pela ferramenta degradou o desempenho, validando a dependência de evidências cross-modais e aquisição local ativa.
  • A ablação do TimeAnchor mostrou que, embora a receita de treinamento sozinha melhore o ancoramento, o TimeAnchor fornece ganhos adicionais substanciais (ex: +6.1 pontos no mIoU do Charades-STA), provando seu papel no alinhamento de argumentos temporais entre granularidades.
  • O treinamento apenas de RL sem o aquecimento de SFT falhou, destacando a necessidade de um início supervisionado (cold-start) para estabelecer o formato de uso de ferramenta.

Significância

O artigo argumenta que o raciocínio de áudio e vídeo de longa duração requer uma mudança da percepção uniforme para a aquisição adaptativa de evidências. O OmniReasoner demonstra que modelos omnimodais podem ser treinados para agir como agentes que decidem quando olhar e onde ouvir novamente, em vez de processar passivamente um contexto fixo. Ao introduzir o TimeAnchor e um mecanismo de dados escalável, o trabalho aborda os obstáculos técnicos específicos do ancoramento temporal em fluxos de múltiplas fidelidades, oferecendo uma receita prática de pós-treinamento para melhorar a precisão do raciocínio em tarefas de áudio e vídeo de longa duração sem exigir anotação manual massiva. Os autores observam limitações em relação ao escopo atual de duas etapas da ferramenta e a necessidade de uma infraestrutura de RL mais madura para interações agênticas de múltiplos turnos em configurações omnimodais.