A Text-Native Interface for Generative Video Authoring

Este artigo apresenta o Doki, uma interface nativa de texto para a criação de vídeos generativos que permite aos usuários definir ativos, estruturar cenas e editar conteúdo diretamente em documentos de texto, validando sua acessibilidade e eficácia através de um estudo de implantação com participantes de diversos níveis de experiência.

O essencial

Imagine que você quer contar uma história incrível, como um filme de animação ou um curta-metragem. Antigamente, para fazer isso, você precisava aprender a usar ferramentas complexas de edição de vídeo, como se fosse um piloto aprendendo a voar um jato antes mesmo de saber o que é um avião. Você tinha que cortar, colar, ajustar cores e sincronizar sons em várias janelas diferentes, o que era cansativo e difícil.

Este artigo apresenta o Doki, uma nova maneira de criar vídeos que muda completamente as regras do jogo.

O Que é o Doki?

Pense no Doki como um caderno de anotações mágico. Em vez de abrir um software complicado com muitas barras de ferramentas, você simplesmente abre um documento de texto (como no Word ou Google Docs) e começa a escrever sua história.

Aqui está a mágica: o texto não é apenas a história, ele é o próprio roteiro do filme.

Como Funciona? (A Analogia do "Chef de Cozinha")

Imagine que você é um chef de cozinha, mas em vez de cozinhar, você está "cozinhando" vídeos.

1. O Menu de Comandos (A Barra de Slash /):
   No Doki, se você digita uma barra (/), abre um menu secreto. É como se você estivesse chamando um ajudante de cozinha. Você pode pedir: "Crie um personagem chamado Corgi", "Crie uma cena no Aeroporto" ou "Adicione uma música triste".

   • Analogia: É como pedir ingredientes ao seu ajudante. Você não precisa saber como cultivar o trigo ou criar a música; você apenas pede e ele traz o ingrediente pronto.

2. Definições e Hashtags (Os "Adesivos Mágicos"):
   Se você criar um personagem chamado @Corgi, o Doki cria um "adesivo" para ele. Sempre que você escrever @Corgi na sua história, o sistema sabe exatamente quem é aquele cachorro, como ele parece e que roupa usa.

   • O Problema que Resolve: Em outros programas, se você quer que o cachorro apareça em 10 cenas diferentes, você teria que descrevê-lo 10 vezes. Se você esquecesse um detalhe na terceira cena, o cachorro mudaria de cor! No Doki, você define o cachorro uma vez, e ele permanece o mesmo em todo o filme. É como ter um "modelo" que você usa em todo o documento.

3. Do Texto ao Vídeo (A "Fábrica de Sonhos"):
   Você escreve uma frase: "O Corgi chega no aeroporto e pega um avião."
   Ao clicar em um botão, o Doki usa Inteligência Artificial para:

   • Criar a imagem do Corgi.
   • Animar o Corgi andando.
   • Gerar o som do aeroporto.
   • Tudo isso acontece dentro da mesma página onde você escreveu.

Por que isso é revolucionário?

O artigo descreve um estudo com 10 pessoas (desde cineastas profissionais até pessoas que nunca fizeram um vídeo) usando o Doki por uma semana.

• Para os Iniciantes: Foi como dar superpoderes. Pessoas que nunca sabiam como editar um vídeo conseguiram criar histórias completas em minutos. Eles sentiram que eram "diretores" de um filme, mesmo que a IA fizesse a parte pesada.
• Para os Profissionais: Foi como ter um assistente que faz o trabalho chato de rascunho. Eles podiam focar na ideia criativa e deixar a IA gerar as cenas iniciais, economizando horas de trabalho.
• A Sensação de Controle: Mesmo com tanta automação, as pessoas sentiam que o filme era deles. Porque foi elas quem escreveram a história e escolheram os personagens. A IA foi apenas a câmera e a equipe de filmagem.

O Desafio (A Realidade)

O Doki não é perfeito. Às vezes, a IA não entende exatamente o que você quer (como fazer um cachorro correr sem desaparecer no meio do caminho). E, como é tudo baseado em texto, é um pouco difícil controlar coisas muito específicas de tempo, como fazer uma música começar exatamente no segundo 3:15 e terminar no 3:20, se você não souber escrever isso de forma muito técnica.

Resumo Final

O Doki é como transformar a criação de vídeos em escrever um livro.

• Antes: Você precisava ser um engenheiro de software para montar um vídeo.
• Agora com o Doki: Se você sabe escrever uma história, você pode fazer um filme.

O documento de texto se torna o "esqueleto" do filme. Você escreve, a IA constrói, você ajusta o texto, e a IA refaz o filme. É uma forma de contar histórias onde a barreira entre a sua imaginação e a tela do cinema desaparece.

Resumo técnico

Título: Doki: Uma Interface Nativa de Texto para Criação de Vídeos Generativos

1. O Problema

A criação de vídeos, especialmente com o advento da Inteligência Artificial Generativa, permanece uma tarefa complexa e acessível apenas a especialistas. Os principais desafios identificados pelos autores são:

• Ferramentas Fragmentadas: Os criadores atuais precisam alternar entre múltiplas ferramentas (editores de texto para roteiros, geradores de imagem para ativos, modelos de vídeo para clipes, editores de áudio e editores não lineares - NLEs) para produzir um único vídeo. Isso causa troca de contexto constante e sobrecarga cognitiva.
• Engenharia de Prompt vs. Narrativa: O foco excessivo na construção de prompts complexos e repetitivos para cada clipe desvia a atenção do desenvolvimento da narrativa e da estrutura da história.
• Inconsistência e Coerência: Manter a consistência visual (personagens, estilos, cenários) e narrativa ao longo de múltiplos clipes é difícil, pois os modelos atuais de IA não possuem memória de longo prazo ou estrutura de projeto integrada.
• Barreira de Entrada: Ferramentas tradicionais de edição de vídeo (como Premiere Pro) têm interfaces complexas e curvas de aprendizado íngremes, enquanto ferramentas de IA atuais focam apenas na geração de clipes isolados, sem suporte para montagem de histórias completas.

2. Metodologia e Sistema (Doki)

Os autores propõem o Doki, uma interface nativa de texto que trata a criação de vídeo como a edição de um documento dinâmico.

Princípios de Design:

1. Texto como Meio Central: O texto é a interface primária, servindo tanto para a expressão humana quanto como entrada nativa para modelos de IA.
2. Representação Única: Scripts, prompts, visuais, áudio e linhas do tempo coexistem em um único documento estruturado.
3. Consistência via Parametrização: Uso de definições parametrizadas para manter a coerência de elementos ao longo do projeto.
4. Interação Simples: Design minimalista com menus de barra (/) e pré-visualizações inline.

Arquitetura Técnica e Representação:

• Estrutura Hierárquica: O sistema adota uma estrutura de três camadas:
  • Documento = Vídeo: O arquivo inteiro é o projeto.
  • Parágrafo = Sequência: Agrupa clipes relacionados.
  • Frase = Plano (Shot): Cada frase descreve um plano individual.
• Sistema de Definições Parametrizadas:
  • @Mentions (Menções): Definem substantivos da história (Personagens @, Cenários u, Ingredientes ľ, Frames ˜).
  • #Hashtags: Definem adjetivos e qualidades (Estilo ơ, Câmera j, Composição ˏ, Ambiente h).
  • Propagação: As definições podem ser globais (aplicadas a todo o documento) ou escopadas (aplicadas a seções específicas via cabeçalhos). Alterações em uma definição atualizam automaticamente todas as referências no documento.
• Pipeline de Geração de Planos:
  1. Prompt do Usuário: Texto bruto inserido.
  2. Prompt Estruturado: O sistema resolve referências (@ e #) e injeta definições, criando um prompt rico em contexto.
  3. Prompt Reescrito: Um LLM (Large Language Model) refina o prompt estruturado para otimizar a geração de imagem e vídeo.
  4. Geração em Etapas: Primeiro gera-se uma imagem de pré-visualização (usando modelos como Flux Kontext Pro) e, em seguida, o vídeo (usando Veo 3), utilizando a imagem gerada como quadro inicial para garantir consistência visual.
• Agentes de IA:
  • Agente da Barra Lateral: Assistente conversacional para tarefas macro (revisar roteiro, expandir conceitos).
  • Agente Inline: Permite edições diretas no texto (melhorar descrição, criar definição a partir de seleção, pedidos personalizados).

3. Contribuições Chave

1. Representação Textual Estruturada: Proposição de uma hierarquia "Documento como Vídeo, Parágrafo como Sequência, Frase como Plano" com um sistema de definição e resolução de contexto que garante consistência entre planos.
2. Interface Doki: Uma interface minimalista que permite a criação de vídeos de ponta a ponta (ideação, geração, edição e exportação) dentro de um único documento, eliminando a necessidade de múltiplas janelas ou timelines complexas.
3. Estudo Empírico: Uma avaliação "in-the-wild" (no mundo real) de uma semana com 10 participantes, fornecendo insights sobre a colaboração humano-IA, fluxos de trabalho e a transição de paradigmas de criação.

4. Resultados do Estudo (Diário de Uma Semana)

O estudo envolveu 10 participantes (de designers a cineastas) que criaram 46 vídeos.

• Satisfação e Usabilidade: O sistema obteve uma pontuação média de 81.2 no System Usability Scale (SUS), classificado como "Excelente".
• Fluxo de Ideia para Conteúdo: Os participantes relataram uma aceleração significativa no processo de criação, reduzindo o tempo de "ideia para rascunho". Vídeos de 1 minuto foram criados em cerca de 15 minutos.
• Compreensão Narrativa: A representação baseada em texto ajudou os usuários a visualizarem a estrutura e o fluxo da história de forma mais holística do que em editores baseados em timeline.
• Parametrização: O uso de definições reutilizáveis foi crucial para manter a coerência de personagens e estilos, reduzindo a aleatoriedade da geração.
• Colaboração Humano-IA: Mesmo usuários que delegaram quase todo o trabalho para a IA sentiram um forte senso de autoria (sentindo-se como "diretores"), pois o documento servia como um "terreno comum" editável e transparente.
• Limitações Identificadas:
  • Controle Preciso: Dificuldade em obter composições de quadro específicas ou corrigir artefatos visuais indesejados apenas via texto.
  • Expressividade Temporal: O formato linear de documento torna difícil gerenciar sobreposições de áudio, cortes complexos (J/L cuts) e ritmos temporais sofisticados.
  • Dependência de IA: Alguns usuários relataram frustração quando a IA não entendia instruções visuais complexas, exigindo múltiplas regenerações.

5. Significado e Impacto

O trabalho do Doki representa uma mudança de paradigma fundamental na criação de conteúdo generativo:

• Do "Prompting" para a "Escrita": Transfere o foco da engenharia de prompts isolados para a escrita narrativa contínua, alinhando a criação de vídeo com a habilidade humana natural de escrever.
• Representação Intermediária: O documento atua como uma camada intermediária legível e editável tanto por humanos quanto por máquinas, tornando o processo de geração de IA transparente e revisável, em contraste com modelos de "caixa preta" (input -> output final).
• Democratização: O sistema empodera criadores sem formação técnica em edição de vídeo a produzir histórias visuais complexas, enquanto oferece a profissionais uma ferramenta rápida para ideação e storyboarding, complementando (não substituindo) ferramentas de alta fidelidade.

Em suma, o Doki demonstra que a linguagem natural pode ser a base fundamental para futuras ferramentas criativas, unificando a narrativa, a estrutura e a produção em uma única interface acessível.