Resumo Técnico: T2VTree: Análise Visual Centrada no Usuário para Autoria de Pensamento-para-Vídeo Assistida por Agentes

1. Declaração do Problema

Modelos de geração de vídeo expandiram as capacidades de criação de clipes curtos a partir de texto ou imagens, mas a autoria de pensamento-para-vídeo prática permanece um processo complexo, de múltiplas etapas e intensivo em decisões. Os criadores raramente começam com uma especificação completa e executável; em vez disso, eles externalizam um alvo mental em evolução através de interação iterativa.

As ferramentas atuais falham em suportar esse fluxo de trabalho não linear e exploratório de forma eficaz:

• Plataformas de ponta a ponta (ex: Sora, Kling) oferecem geração simplificada, mas obscurecem decisões intermediárias e variantes, tornando-as difosas para inspeção, comparação ou reutilização.
• Ferramentas de fluxo de trabalho baseadas em nós (ex: ComfyUI) expõem grafos de nível de operador e permitem operações especializadas, mas exigem conhecimento técnico substancial. Elas fragmentam o traço de autoria entre grafos, parâmetros e arquivos externos, dificultando o gerenciamento de exploração de ramificação ou a compreensão da proveniência das decisões.

O desafio central é a falta de uma maneira estruturada de manter a intenção em evolução, os estados intermediários e suas relações de derivação visíveis e reutilizáveis. Os criadores lutam para traduzir a intenção em etapas acionáveis, gerenciar traços de exploração não lineares e coordenar ferramentas entre modalidades (imagem, vídeo, áudio) sem perder o contexto.

2. Metodologia: T2VTree e T2VTreeVA

Os autores propõem o T2VTree, uma abordagem de análise visual centrada no usuário que reformula a autoria de pensamento-para-vídeo como um problema de exploração colaborativa humano-IA. O sistema é implementado como T2VTreeVA, um sistema de análise visual que integra visualização baseada em árvore com planejamento assistido por agentes.

2.1 Princípios de Design Principais

Derivados de um estudo formativo com criadores experientes, o sistema aborda quatro requisitos principais:

1. Fundamentação do próximo passo (Next-step grounding): Traduzir a intenção em evolução em rascunhos de ações concretas e editáveis.
2. Unidades de nível de ação: Organizar o processo em torno de ações reconhecíveis pelo criador (ex: estabelecer âncoras, refinar ativos) em vez de grafos de operadores.
3. Traço consciente de estrutura: Externalizar a exploração não linear como uma árvore explícita para suportar retrocesso (backtracking), comparação e reutilização.
4. Continuidade cross-modal: Manter o contexto de estado através de estágios de imagem, vídeo, áudio e montagem dentro de um único espaço de trabalho.

2.2 A Visualização T2VTree

O processo de autoria é representado como uma estrutura de árvore onde cada nó é um estado de autoria persistente.

• Composição do Nó: Cada nó co-localiza as entradas da etapa (intenção, ativos referenciados, escolha de fluxo de trabalho, prompts, parâmetros) com suas saídas multimodais (imagem, vídeo, áudio).
• Semântica da Árvore:
  • Pai-Filho: Representa o refinamento progressivo dentro de uma direção criativa (ex: adicionar restrições ou estender para a próxima etapa).
  • Irmãos (Siblings): Representam tentativas paralelas e opções alternativas exploradas sob o mesmo contexto, permitindo comparações localizadas sem perder resultados anteriores.
  • Raiz: Um nó Init único serve como o início do projeto, a partir do qual múltiplas ramificações de cena podem originar-se.
• Codificação Visual: Os nós são codificados por cores por modalidade (azul para imagem, verde para vídeo, vermelho para áudio) e incluem controles leves para geração, inspeção e adição a uma montagem (stitch).

2.3 Planejamento Assistido por Agentes

Para reduzir a carga cognitiva da montagem manual de fluxos de trabalho, o T2VTree emprega um conjunto de agentes colaboradores que traduzem a intenção de alto nível em planos executáveis antes da execução.

• Fluxo de Trabalho: Um criador fornece uma breve descrição da intenção e referências visuais opcionais.
• Papéis dos Agentes:
  • Agente Mestre (Master Agent): Consolida o contexto e propõe uma categoria de ação.
  • Agente de Conhecimento (Knowledge Agent): Esclarece entidades ou conceitos que afetam a geração.
  • Agente de Fluxo de Trabalho (Workflow Agent): Seleciona um módulo de fluxo de trabalho executável compatível.
  • Agente de Prompt (Prompt Agent): Materializa uma especificação de rascunho consciente da modalidade (prompts e parâmetros).
• Humano no Ciclo (Human-in-the-Loop): O plano gerado pelo agente é apresentado como um artefato vinculado ao nó e editável. Os criadores podem revisar, revisar e sobrescrever o plano antes de disparar a execução, garantindo que a automação permança transparente e controlável.

2.4 Arquitetura do Sistema (T2VTreeVA)

O sistema integra três visões coordenadas:

1. Painel de Controle: Gerencia o escopo do projeto, o contexto global do agente (estilo, humor) e as configurações de layout.
2. Visão T2VTree: O espaço de trabalho primário para inspeção, ramificação e revisão de estados em um canvas infinito. Suporta pré-visualização multimodal no local (thumbnails, vídeo em loop, formas de onda de áudio).
3. Visão de Montagem de Vídeo (Stitching View): Um editor de linha do tempo de múltiplas trilhas que permite aos criadores arrastar e soltar ativos selecionados de qualquer ramo para uma narrativa linear. Crucialmente, os segmentos montados permanecem vinculados aos seus estados de autoria de origem, permitindo rastreabilidade de ponta a endolo e a capacidade de regenerar ativos revisitando nós anteriores.

3. Principais Contribuições

1. Estudo Formativo e Requisitos: Um estudo de criadores experientes identificando a necessidade de externalização de intenção, proveniência de decisão rastreável e comparação consciente de ramificações na autoria de vídeo.
2. Representação T2VTree: Uma representação visual baseada em árvore que registra estados persistentes vinculando especificações de etapa com saídas multimodais, permitindo inspeção, ramificação e reutilização em fluxos de trabalho de múltiplas cenas.
3. Sistema T2VTreeVA: Um sistema de análise visual integrando planejamento assistido por agentes editável com autoria consciente de ramificações e montagem em contexto.
4. Avaliação: Validação através de dois estudos de caso de múltiplas cenas (vídeos de patrimônio cultural) e um estudo de usuário comparativo contra uma linha de base de fluxo de trabalho baseado em nós (ComfyUI).

4. Resultados e Avaliação

4.1 Estudos de Caso

Dois vídeos de patrimônio cultural de múltiplas cenas foram criados para demonstrar as capacidades do sistema:

• Caso 1 (Camelo de Cerâmica com Glaze Tricolor): Demonstrou autoria multimodal de múltiplas cenas, partindo de uma ideia vaga até um vídeo montado. A estrutura de árvore permitiu o refinamento iterativo de imagem, ramificação para estilos alternativos e passagem suave de imagem para vídeo com correções rastreáveis.
• Caso 2 (Zhonghe Guqin): Destacou o refinamento progressivo através de cenas paralelas. Criadores puderam retroceder a estados de pai anteriores, seguir direções alternativas (irmãos) e reutilizar progresso parcial (entradas de referência) sem reconstruir fluxos de trabalho.

4.2 Estudo Comparativo de Usuário

Um estudo com seis participantes (experientes em ComfyUI) comparou o T2VTreeVA contra uma linha de base de fluxo de trabalho baseado em nós.

• Eficiência: O T2VTreeVA reduziu o tempo ativo (esforço de interação e coordenação) de 37,8 minutos (ComfyUI) para 25,1 minutos. O tempo total de conclusão caiu de 68,2 para 52,6 minutos, impulsionado principalmente por uma redução significativa no tempo de montagem (10,5 vs. 1,8 minutos) devido à montagem integrada ao sistema.
• Comportamento de Exploração: Participantes usando o T2VTreeVA fizeram menos chamadas de geração (20,3 vs. 32,3), mas retiveram significativamente mais variantes (8,3 vs. 4,3), indicando uma exploração mais deliberada e consciente de ramificações em vez de repetidas execuções de tentativa e erro.
• Percepção do Usuário: Os resultados da escala Likert mostraram que o T2VTreeVA superou significativamente o ComfyUI em:
  • Clareza do próximo passo: Usuários sentiram-se melhor guiados da ideia para a ação.
  • Controle iterativo: Usuários sentiram-se mais no controle do processo de refinamento.
  • Convergência de ponta a ponta: Usuários acharam mais fácil convergir e exportar um vídeo final de múltiplas cenas.

5. Significância e Alegações

O artigo alega que o T2VTree aborda com sucesso a lacuna nas ferramentas existentes ao tratar a autoria de pensamento-para-vídeo como um processo orientado por decisões e baseado em evidências, em vez de um simples pipeline de execução.

• Visibilidade do Processo: Ao externalizar o processo de autoria como uma árvore de estados persistentes, o sistema torna transparente a "caixa preta" da IA generativa, permitindo que os criadores inspecionem a proveniência de cada decisão.
• Redução da Carga Cognitiva: A combinação de abstrações de nível de ação e planejamento de agente editável reduz a necessidade de montagem manual de fluxo de trabalho e ajuste de parâmetros, permitindo que os criadores foquem na intenção criativa.
• Reutilização Prática: A estrutura de árvore permite a reutilização confiável de decisões parciais e ativos bem-sucedidos em diferentes cenas, uma capacidade crítica para a produção de múltiplas cenas que é frequentemente perdida em fluxos de trabalho lineares ou fragmentados.

Os autores concluem que o T2VTreeVA suporta o refinamento confiável, a comparação localizada e a reutilização prática em fluxos de trabalho de autoria reais, reduzindo efetivamente o overhead de coordenação e aumentando o senso de controle do criador na era do vídeo generativo.