Resumo Técnico: Crayotter

Declaração do Problema

A edição de vídeos de longa duração a partir de filmagens heterogêneas apresenta um problema complexo de controle de longo horizonte que vai além da simples seleção de clipes. Requer que um agente mantenha a intenção narrativa através da preparação de material, construção de linha do tempo, pós-produção e revisão. Os sistemas de agentes atuais frequentemente tratam a edição como uma tarefa de geração de caixa-preta ou focam primariamente na síntese de novos planos em vez de coordenar operações de edição sobre filmagens reais. Essa falta de formalização leva a problemas críticos: pequenos erros na seleção de ativos ou no tempo propagam-se para uma continuidade quebrada e um ritmo não natural. Além disso, os fluxos de trabalho existentes frequentemente carecem de logs científicos de trajetória, tornando difícil reproduzir, diagnosticar ou reparar seletivamente segmentos que falharam sem reiniciar toda a produção.

Metodologia: Arquitetura Crayotter

O Crayotter é um sistema multiagente multimodal de código aberto projetado para edição de vídeo baseada em comandos (prompts). Ele decompõe o processo de edição em três fases distintas, externalizando o estado em artefatos inspecionáveis (relatórios, JSONs, blueprints, logs de ferramentas e renders) em vez de depender de estados latentes ocultos. Este design permite uma "reflexão fundamentada no ambiente", onde agentes e humanos podem diagnosticar falhas e revisar seletivamente segmentos específicos.

1. Fase 1: Recuperação de Filmagem Multimodal Consciente de Cobertura

O sistema transforma um pedido de edição abstrato em evidência visual concreta.

• Expansão de Tags: O pedido do usuário é expandido em tags orientadas à produção, cobrindo cena, ação, estilo, história e tipos de plano.
• Busca Iterativa e Reranking: Um recuperador de baixa precisão busca um pool de candidatos de alta revocação. Esses candidatos são reclassificados com base na relevância do pedido e no ganho de cobertura marginal usando quadros amostrados e janelas temporais.
• Verificação: Os principais candidatos passam por uma verificação de vídeo completo para garantir que cubram as tags semânticas exigidas. Tags não cobertas disparam o refinamento iterativo da consulta até que o pool de material seja suficiente ou o orçamento de recuperação se esgote.
• Saída: Um pool de materiais $P$ contendo fontes selecionadas, evidências de cobertura e registros de análise multimodal.

2. Fase 2: Pesquisa de Edição Profunda

Esta fase sintetiza o pool de materiais em um blueprint de edição fundamentado no tempo, sem executar ferramentas de edição.

• Localização Temporal: Para melhorar a localização de eventos, o sistema sobrepõe coordenadas de tempo legíveis por humanos em quadros amostrados (visualizações com marcação de tempo). Isso permite que o agente de pesquisa vincule observações semânticas a coordenadas de edição absolutas.
• Construção de Blueprint: O agente prevê clipes de origem e intervalos temporais específicos para batidas narrativas (ex: planos de estabelecimento, montagens).
• Saída: Um blueprint de edição $B$ contendo estrutura narrativa, ordenação de clipes, ritmo, transições e planos de narração. Este blueprint serve como um plano de produção endereçável temporalmente.

3. Fase 3: Execução de Linha do Tempo Fundamentada em Ferramentas

O blueprint é executado via ferramentas de edição externas em um loop estilo ReAct.

• Espaço de Ação: O agente realiza ações como corte, mesclagem, inserção de transições, alinhamento de narração, geração de legendas e normalização de áudio.
• Reflexão Fundamentada no Ambiente: Após cada chamada de ferramenta, um verificador computa diagnósticos (ex: validade da ferramenta, precisão do timestamp, preservação de cobertura). Se um diagnóstico falha, o agente observa o artefato específico que falhou e repara apenas o segmento afetado, em vez de reiniciar a edição completa.
• Saída: Um vídeo renderizado final e um rastro completo do histórico de execução.

RLVR de Nível de Trajetória

O sistema define um ambiente de Aprendizado por Reforço com Recompensas Verificáveis (RLVR). Diferente das recompensas baseadas apenas em preferência, o sinal de recompensa é fundamentado em artefatos observáveis (saídas de arquivos válidos, durações medidas, registros de cobertura). A função de recompensa se decompõe em validade de execução, criação de artefatos, alinhamento com o blueprint e reparo local bem-sucedido. Esta configuração suporta a futura otimização de política usando algoritmos como GRPO (Group Relative Policy Optimization).

Contribuições Principais

1. Formulação Rastreável: Um framework onde ativos de origem, planos, estados de linha do tempo, renders e logs são artefatos explícitos, permitindo inspeção, reprodução e reparo localizado.
2. Recuperação Consciente de Cobertura: Um loop de recuperação de filmagem multimodal que decompõe pedidos em tags de cobertura, reclassifica candidatos via análise de quadro e janela temporal, e busca iterativamente por evidência semântica ausente.
3. Sistema de Código Aberto e Avaliação: O lançamento do Crayotter como um sistema de edição de três fases, avaliado em 23 temas contra os baselines CapCut-Mate e CutClaw, com rastros liberados que expõem decisões intermediárias.
4. Esquema de Trajetória Rejogável: Um design que combina sinais de ferramentas verificáveis, pontuação de resultado de nível de episódio e calibração de preferência humana para preparar fluxos de trabalho para futura otimização de política.

Resultados

O Crayotter foi avaliado em 23 temas de edição através de cinco famílias de cenários (pet, campus, viagem, paisagem, comida) contra CapCut-Mate e CutClaw.

• Avaliação Humana: O Crayotter alcançou uma pontuação média de 3,40/5, superando significativamente o CapCut-Mate (2,44) e o CutClaw (1,70). Demonstrou ganhos consistentes em alinhamento de tema, coerência narrativa e suavidade de edição.
• Avaliação de IA: O Crayotter também superou os baselines em pontuação de IA (2,39 vs. 2,10 e 1,57), com as maiores margens em alinhamento de tema e coerência narrativa.
• Desempenho por Cenário: O sistema teve melhor desempenho em casos de paisagem (paisagens aéreas, planos abertos), onde o ritmo mapeia claramente para a cadeia de ferramentas. Enfrentou mais desafios em histórias de comida e pets, que exigem cobertura de ação detalhada e filtragem rigorosa.
• Diagnóstico de Processo: A análise das 23 execuções revelou uma média de 221 eventos observáveis por execução. O sistema demonstrou com sucesso o reparo localizado (ex: alternando para um intervalo estável quando um intervalo de origem estava danificado) em vez de falha total.

Significância e Alegações

O artigo postula que a edição de vídeo de alta qualidade depende não apenas de geradores mais fortes, mas de fluxos de trabalho de produção controláveis. O Crayotções demonstra que agentes de edição de longo formato podem ser avaliados e melhorados através de artefatos de produção observáveis em vez de apenas rastros de raciocínio latente.

Ao externalizar o estado em artefatos (relatórios de cobertura, blueprints, logs de ferramentas), o sistema transforma a edição de uma tentativa única de geração opaca em uma trajetória reproduzível de planejamento, execução e reparo. Esta abordagem permite:

• Diagnóstico: Identificar exatamente onde um plano desvia ou um artefato falha.
• Revisão Seletiva: Corrigir segmentos específicos da linha do tempo sem reiniciar toda a produção.
• Otimização Futura: Fornecer uma interface de recompensa verificável para treinar políticas via RLVR.

Os autores concluem que tornar o processo de edição um "objeto de pesquisa" através da exposição explícita de artefatos é um passo crítico para o storytelling visual robusto de longo horizonte.