DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

Com base no artigo fornecido, segue um resumo técnico detalhado do DynFrame.

Enunciado do Problema

Modelos de Linguagem Multimodal Grandes (MLLMs) recentes avançaram a compreensão de vídeo ao acoplar raciocínio passo a passo com recuperação de evidências visíveis sob demanda. No entanto, os sistemas existentes de "pensar com vídeo" sofrem de duas lacunas estruturais:

1. Densidade de Amostragem Fixa: Embora os modelos possam decidir onde olhar (janela temporal), a taxa de quadros (densidade de amostragem) dentro dessa janela é tipicamente um hiperparâmetro fixo do sistema. Consequentemente, recuperar evidências de alta granularidade frequentemente exige chamadas de recuperação repetidas, o que infla o comprimento do contexto de inferência e complica o treinamento.
2. Desequilíbrio na Atribuição de Crédito: Abordagens atuais de Aprendizado por Reforço (RL) frequentemente otimizam toda a trajetória de geração com um único sinal de vantagem. Isso entrelaça o crédito pela decisão de "onde olhar" (tokens de recuperação) com a decisão de "como responder" (tokens de raciocínio), levando a um aprendizado subótimo quando um componente está correto e o outro não.

Metodologia

Os autores propõem o DynFrame, um framework treinável de ponta a ponta que unifica a recuperação adaptativa de quadros com raciocínio visão-linguagem dinamicamente intercalado. Os componentes principais são:

1. Interface de Recuperação Tokenizada
O DynFrame trata a adaptação da taxa de quadros como uma decisão aprendível dentro da trajetória de geração autoregressiva. Em vez de chamadas de ferramentas externas, o modelo emite tokens nativos para especificar o comando de recuperação:

• <span>ts–te</span>: Define a janela temporal.
• <fps>f</fps>: Define a taxa de quadros de amostragem.
  Isso permite que o modelo adquira evidências de multi-granularidade (quadros densos para movimento, esparsos para semântica) em uma única etapa de recuperação.

2. Injeção Dinâmica de Quadros
Ao gerar o token de fechamento </fps>, o sistema dispara um mecanismo de injeção em tempo real. Ele extrai $N$ quadros da janela especificada na taxa de quadros prevista, codifica-os por meio de um codificador de visão congelado e anexa tokens visuais com carimbo de data/hora ao buffer de geração. O decodificador então re-preenche os estados KV para permitir que o raciocínio pós-injeção atenda bidirecionalmente aos quadros recém-recuperados.

3. GRPO Desacoplado por Segmento (SD-GRPO)
Para abordar o desequilíbrio na atribuição de crédito, os autores introduzem o SD-GRPO, um algoritmo de aprendizado por reforço que divide a simulação (rollout) na fronteira de recuperação ($T_{fps}$):

• Segmento de Amostragem ($t \le T_{fps}$): Recebe uma recompensa específica ($R_{samp}$) baseada na sobreposição do intervalo temporal previsto com a verdade fundamental e na precisão da taxa de FPS prevista.
• Segmento de Raciocínio ($t > T_{fps}$): Recebe uma recompensa específica para a resposta ($R_{ans}$) baseada na correção da tarefa (por exemplo, correspondência exata ou IoU).
  Vantagens em nível de token são computadas separadamente para esses segmentos, garantindo que o modelo seja explicitamente recompensado por tomar boas decisões de recuperação independentemente da qualidade da resposta final, e vice-versa.

4. Curadoria de Dados
O framework é treinado em dois conjuntos de dados curados:

• DM-CoT-74k: Um conjunto de dados de ajuste fino supervisionado (SFT) com comandos de recuperação intercalados e raciocínio fundamentado.
• DM-RL-45k: Um conjunto de dados de aprendizado por reforço com intervalos temporais e alvos de FPS de verdade fundamental, usados para calcular as recompensas desacopladas.

Principais Contribuições

1. Adaptação Nativa Tokenizada: O DynFrame transforma a aquisição adaptativa de evidências temporais de uma operação de ferramenta agendada externamente em uma capacidade de raciocínio nativa do modelo, emitindo o intervalo temporal e a densidade de amostragem como tokens nativos.
2. Otimização Desacoplada por Segmento: A introdução do SD-GRPO permite atribuição de crédito direcionada, separando a otimização da decisão de amostragem do raciocínio da resposta, o que estabiliza a co-adaptação entre recuperação e raciocínio.
3. Conjuntos de Dados Curados: A criação dos conjuntos de dados DM-CoT-74k e DM-RL-45k para apoiar o treinamento de recuperação adaptativa tokenizada nativa e robusta.

Resultados Experimentais

O DynFrame foi avaliado em seis benchmarks que abrangem fundamentação temporal, VideoQA fundamentada e compreensão de vídeos de longa duração (NExT-GQA, Charades-STA, ActivityNet-MR, Video-MME, MLVU, LVBench).

• Desempenho: O DynFrame-8B alcançou resultados state-of-the-art na maioria das métricas, superando fortes baselines de 7B–8B (incluindo Video-o3, VITAL e VideoChat-R1.5). O DynFrame-4B foi competitivo com essas baselines maiores, apesar de ter metade dos parâmetros.
• Eficiência: Diferentemente de métodos de recuperação de múltiplas voltas que expandem significativamente o comprimento do contexto, o DynFrame alcança alta precisão com uma única rodada de recuperação, mantendo um contexto de inferência mais gerenciável.
• Estudos de Ablação:
  • Remover o desacoplamento de segmentos (usando GRPO comum) resultou em desempenho inferior, confirmando a necessidade de atribuição de crédito separada.
  • Substituir a previsão dinâmica de FPS por uma taxa fixa degradou o desempenho, validando a necessidade de densidade adaptativa.
  • O modelo demonstrou robustez à amostragem inicial esparsa ($f_1$), recuperando com sucesso evidências ausentes por meio de recuperação dinâmica.

Significado

O artigo afirma que o DynFrame representa uma mudança de passagens visuais rígidas e definidas pelo sistema para aquisição de evidências flexível e orientada pelo modelo. Ao aprender a decidir tanto onde olhar quanto quão densamente amostrar, o modelo pode adquirir evidências de multi-granularidade adaptativas à tarefa de forma eficiente. O framework SD-GRPO proposto fornece um mecanismo para treinar esses comportamentos complexos de recuperação-raciocínio sem entrelaçar os sinais de aprendizado para diferentes estágios do processo de geração. Essa abordagem permite que modelos menores (4B) compitam com baselines maiores e estabelece novos padrões de desempenho para compreensão de vídeos de longa duração.