Resumo Técnico: CollabVR – Raciocínio Colaborativo em Vídeo com Modelos de Linguagem Visual e Geração de Vídeo

1. Declaração do Problema

Avanços recentes em "Pensar com Vídeo" introduziram o uso de Modelos de Geração de Vídeo (VGMs) para produzir "Cadeias de Quadros" temporalmente coerentes como artefatos de raciocínio, indo além do raciocínio baseado em imagens estáticas. No entanto, o artigo identifica que mesmo VGMs robustos exibem dois modos de falha recorrentes quando aplicados a tarefas de raciocínio visual direcionadas a objetivos e multi-etapa:

1. Deriva de Longo Horizonte (Falha de Prompt Sobrecarregado): Quando um único prompt especifica uma tarefa complexa e multi-etapa, o VGM tenta comprimir toda a trajetória em uma execução de curto horizonte. Sem a capacidade de decompor a tarefa em sub-objetivos coerentes, a geração desvia do caminho pretendido.
2. Falha de Execução (Erros de Simulação no Meio do Clipe): Mesmo dentro de um único clipe curto, os VGMs cometem erros localizados (por exemplo, um agente atravessando uma parede, um objeto perdendo sua identidade ou uma subação interrompida prematuramente). Esses erros propagam-se através dos quadros subsequentes, contaminando toda a trajetória.

Ambas as falhas decorrem da ausência de um processo de raciocínio explícito e corrigível construído sobre o prior visual de curto horizonte do VGM. Enquanto os Modelos de Linguagem Visual (VLMs) se destacam no raciocínio lógico e no planejamento, são fracos na simulação visual. Por outro lado, os VGMs são fortes na simulação, mas fracos no raciocínio abstrato. Abordagens existentes, como selecionar a melhor amostra entre $k$ tentativas (Pass@k) ou refinar prompts sobre vídeos inteiros (VideoTPO), falham em abordar essas questões efetivamente porque intervêm muito tarde (post-hoc) ou não adaptam o plano com base na geração realizada.

2. Metodologia: CollabVR

Os autores propõem o CollabVR (Raciocínio Colaborativo em Vídeo VLM-VGM), um framework de tempo de teste em malha fechada que acopla um VLM e um VGM em granularidade de nível de etapa. Diferentemente de abordagens de planejamento prévio que comprometem uma sequência completa antes da geração, o CollabVR opera de forma adaptativa.

O framework consiste em dois módulos fortemente acoplados:

A. Planejamento Progressivo Orientado por VLM (Módulo 1)

Este módulo aborda a deriva de longo horizonte. Em vez de decompor toda a tarefa antecipadamente, o planejador VLM ($\pi_{plan}$) decide o número de etapas em tempo real e planeja apenas a próxima ação imediata condicionada aos quadros previamente gerados (histórico $H$).

• Mecanismo: O VLM recebe a imagem de entrada, o prompt da tarefa e o histórico, e então emite um prompt para o próximo clipe curto ($a_t$).
• Adaptatividade: O número total de etapas $N$ não é fixo inicialmente; é limitado por um hiperparâmetro $N_{max}$, mas determinado dinamicamente com base na conclusão da tarefa. Isso permite que o sistema se adapte à qualidade real da geração, em vez de uma pré-decomposição rígida.

B. Raciocínio Colaborativo VLM-VGM (Módulo 2)

Este módulo aborda a falha de execução. Após o VGM gerar um clipe ($c_t$) com base no prompt de ação, o verificador VLM ($\pi_{verify}$) inspeciona o clipe.

• Verificação: O verificador emite um julgamento estruturado $(v, d)$, onde $v \in \{aceitar, rejeitar\}$ e $d$ contém uma razão textual e uma sugestão acionável para reparo.
• Evolução do Prompt: Se o clipe for rejeitado, a sugestão do verificador é incorporada diretamente ao prompt de ação ($a_t \leftarrow evolve(a_t, d)$) para reparar a falha específica (por exemplo, corrigindo uma direção ou alvo) antes de reamostrar o VGM. Isso ocorre dentro da mesma etapa, até um orçamento de tentativas $M$.
• Progressão: Somente após a aceitação o clipe é adicionado ao histórico $H$, e o loop prossegue para planejar a próxima etapa.

Todo o processo é formalizado no Algoritmo 1, que itera através de planejamento, geração, verificação e possível regeneração até que a tarefa seja concluída ou o orçamento de etapas seja esgotado.

3. Contribuições Principais

1. Planejamento Progressivo contra Deriva de Longo Horizonte: Um módulo de planejamento adaptativo onde o VLM determina o número de etapas dinamicamente e emite apenas a próxima ação imediata, evitando erros de comprometimento do planejamento antecipado.
2. Raciocínio Colaborativo contra Falha de Execução: Um módulo de intervenção consciente de falhas onde o VLM verifica cada clipe, diagnostica erros específicos e revisa o prompt da próxima ação para reparar falhas locais antes que se compundem.
3. Ganhos Consistentes com Computação Equivalente: O framework melhora o desempenho tanto em VGMs de código aberto quanto de código fechado em comparação com inferência única, Pass@k e baselines anteriores de escalonamento em tempo de teste (como VideoTPO) quando ajustados para o custo de geração.
4. Ortogonalidade ao Ajuste Fino (Fine-Tuning): O método produz melhorias adicionais sobre VGMs ajustados para raciocínio, indicando que a supervisão VLM em nível de etapa é ortogonal e empilhável ao treinamento de modelos orientados a raciocínio.

4. Resultados Experimentais

Os autores avaliaram o CollabVR no Gen-ViRe (72 amostras, 6 categorias) e no VBVR-Bench (500 amostras, divisões In-Domain e Out-of-Domain).

• Modelos Testados: Código aberto (VBVR-Wan2.2, Cosmos-Predict-2.5) e Código fechado (Veo 3.1).
• Baselines: Inferência Única, Pass@2/4 e VideoTPO.
• Desempenho:
  • No Gen-ViRe, o CollabVR melhorou o VBVR-Wan2.2 de 0,391 (Pass@1) para 0,531, e o Veo 3.1 de 0,481 para 0,550. Os ganhos foram mais significativos nas categorias de Planejamento e Algorítmica, que exigem raciocínio complexo.
  • No VBVR-Bench, o CollabVR superou consistentemente as baselines, com o VBVR-Wan2.2 melhorando de 0,671 para 0,757.
  • Eficiência de Custo: O CollabVR alcançou pontuações mais altas com orçamentos de geração menores em comparação com Pass@k e VideoTPO. Por exemplo, no Gen-ViRe, o CollabVR atingiu uma pontuação superior à do VideoTPO com tempo de geração significativamente menor.
• Estudos de Ablação:
  • Ambos os módulos (Planejamento Progressivo e Raciocínio Colaborativo) contribuem positivamente, mas sua dominância muda com base na complexidade da tarefa. O planejamento progressivo (M1) é mais crítico para tarefas multi-etapa (Gen-ViRe), enquanto a verificação/recuperação (M2) tem maior impacto para tarefas de etapa única (VBVR-Bench).
  • O framework funciona com vários VLMs (Gemini 2.5 Pro, Qwen3.5-27B, Qwen3.5-9B), embora o desempenho degrade-se graciosamente com planejadores/verificadores mais fracos.
• Avaliação Humana: Um estudo com usuários mostrou que anotadores humanos preferiram as saídas do CollabVR em relação ao Pass@4 (73,8% vs 19,7%) e ao Pass@1. Um benchmark anotado por humanos confirmou que as decisões de profundidade do plano, verificação e evolução do VLM alinham-se bem com julgamentos de especialistas.

5. Significado e Afirmações

O artigo afirma que o CollabVR demonstra que VLMs e VGMs de propósito geral robustos, embora individualmente imperfeitos para geração de vídeo direcionada a objetivos, podem ser compostos em granularidade de nível de etapa em um sistema de raciocínio em malha fechada.

• Mudança de Paradigma: O trabalho argumenta que o futuro do raciocínio em vídeo reside menos no treinamento de geradores end-to-end cada vez maiores e mais em colaborações mais ricas em tempo de inferência entre modelos especializados (VLMs como supervisores, VGMs como simuladores).
• Sem Treinamento: O framework opera sem treinamento adicional, aproveitando modelos existentes prontos para uso.
• Interpretabilidade: As trajetórias resultantes são mais interpretáveis e auditáveis do que saídas de tiro único, pois a decisão de verificação de cada etapa e a evolução do prompt são expostas como artefatos discretos.
• Limitações: Os autores observam modestamente que a orquestração em tempo de teste não pode superar lacunas fundamentais de capacidade no VGM (por exemplo, transformações simbólicas ou seguimento fraco de instruções por etapa). Se o VGM não puder aproximar uma transformação, a decomposição não pode fabricar a capacidade. Além disso, o verificador não é infalível, e erros ainda podem propagar-se se o verificador falhar em detectá-los.

Em resumo, o CollabVR fornece um mecanismo robusto e sem treinamento para mitigar os modos de falha específicos dos VGMs atuais em tarefas de raciocínio, introduzindo um mecanismo de supervisão em malha fechada em nível de etapa que acopla planejamento e verificação diretamente à geração.