StoryMovie: A Dataset for Semantic Alignment of Visual Stories with Movie Scripts and Subtitles

O artigo apresenta o StoryMovie, um dataset que alinha histórias visuais a roteiros e legendas de filmes para corrigir alucinações semânticas, demonstrando que o modelo Storyteller3, treinado com esse alinhamento, supera significativamente as abordagens baseadas apenas em ground visual na atribuição correta de diálogos e interações.

O essencial

Imagine que você está tentando contar a história de um filme apenas olhando para fotos tiradas dele, sem nunca ter visto o filme ou lido o roteiro. É como tentar adivinhar o enredo de um livro apenas folheando as páginas aleatoriamente.

É exatamente esse o desafio que os pesquisadores Daniel Oliveira e David Martins de Matos enfrentaram. Eles criaram algo chamado StoryMovie, que é basicamente um "super-treinamento" para Inteligência Artificial (IA) aprender a contar histórias de imagens de verdade, sem inventar coisas.

Aqui está a explicação, passo a passo, usando analogias do dia a dia:

1. O Problema: A IA que "Alucina"

Antes desse trabalho, as IAs eram como crianças que olham para uma foto e inventam um conto de fadas.

• Elas conseguiam dizer: "Vejo um homem e uma mulher".
• Mas, ao contar a história, elas inventavam: "Eles são namorados apaixonados se beijando".
• Na realidade, no filme, eles eram irmãos brigando por causa de uma herança.

A IA acertava o que via (o homem e a mulher), mas errava totalmente a relação, a emoção e o que eles estavam dizendo. Isso se chama "alucinação semântica": a IA vê a imagem, mas não entende o contexto real.

2. A Solução: O "Roteiro" e as "Legendas"

Para consertar isso, os pesquisadores criaram o StoryMovie. Eles pegaram 1.757 histórias de filmes e fizeram uma "colagem" perfeita de três coisas:

1. As Imagens: As fotos do filme.
2. O Roteiro (Script): Onde está escrito exatamente quem é cada personagem, o que eles dizem e como se sentem (ex: "Maria, com raiva").
3. As Legendas (Subtitles): Que dizem quando exatamente aquela frase foi dita.

A Analogia do Detetive:
Imagine que o Roteiro é o diário secreto do diretor, onde ele anota quem é quem e o que está acontecendo. As Legendas são o relógio que marca o momento exato de cada fala.
O problema é que o diário não tem horas, e o relógio não tem nomes.
Os pesquisadores criaram um "detetive" (um algoritmo inteligente) que compara o texto do roteiro com o texto das legendas para sincronizá-los. Assim, a IA aprende: "Ah, a frase 'Eu não acredito!' foi dita por Maria, não por João, e foi no momento exato em que a câmera focou no rosto dela."

3. O Treinamento: A Escola de Três Graus

Eles não treinaram a IA de uma vez só. Foi como uma escola com três anos:

• 1º Ano (Storyteller): A IA aprendeu a olhar para as fotos e dizer "isto é um carro, aquilo é uma árvore". (Aprendeu a ver).
• 2º Ano (Storyteller2): A IA aprendeu a reconhecer que "o homem da foto 1 é o mesmo da foto 5". (Aprendeu a lembrar de quem é quem).
• 3º Ano (Storyteller3 - O Novo): Aqui entra o StoryMovie. A IA aprendeu a usar o roteiro e as legendas para saber o que as pessoas estão dizendo e sentindo. Ela parou de inventar diálogos e passou a usar os reais.

4. O Resultado: De "Faz-de-conta" para "Jornalista"

Quando testaram a nova IA (Qwen Storyteller3) contra as versões antigas:

• A IA Velha: Inventava diálogos genéricos como "Precisamos sair daqui!" e chamava todos de "João" ou "Maria".
• A IA Nova: Usava os nomes reais dos personagens, falava as frases exatas do filme e descrevia a emoção correta (raiva, tristeza, alegria) baseada no que o roteirista escreveu.

A Prova Final:
Eles fizeram um teste de perguntas e respostas.

• Pergunta: "Qual era a relação entre os dois personagens?"
• Resposta da IA Velha: "Eles eram namorados" (Errado, eram irmãos).
• Resposta da IA Nova: "Eram irmãos" (Correto, porque ela leu o roteiro).

Resumo da Ópera

O StoryMovie é como dar um livro de receitas e um vídeo para um cozinheiro que só tinha uma foto do prato pronto.
Antes, o cozinheiro (a IA) tentava adivinhar os ingredientes e o tempero apenas olhando a foto, e muitas vezes errava o sal. Agora, com o StoryMovie, ele tem o roteiro (o livro de receitas) e o tempo exato (o vídeo), então ele consegue recriar o prato (a história) com a precisão e o sabor exatos que o chef (o roteirista) pretendia.

Isso é um grande passo para que as IAs contem histórias de filmes, jornais ou livros sem inventar mentiras, mantendo a verdade dos fatos e das emoções.

Resumo técnico

1. Problema Identificado

O trabalho aborda um limite crítico nos modelos atuais de contação de histórias visuais (Visual Storytelling). Embora os modelos de Visão-Linguagem (LVLMs) tenham avançado na geração de legendas e narrativas a partir de sequências de imagens, eles ainda sofrem de alucinações semânticas.

• O Desafio: Mesmo quando o modelo identifica corretamente os objetos e entidades visuais (alinhamento visual), ele frequentemente falha em descrever corretamente as relações entre personagens, atribuir diálogos a quem realmente falou, ou inferir estados emocionais e interações baseadas apenas no contexto visual.
• A Causa: A aparência visual de um personagem não contém informações sobre sua identidade real, quem está falando, ou o contexto narrativo estabelecido pelo roteiro. Modelos treinados apenas em dados visuais tendem a inventar nomes genéricos (ex: "John", "Sarah") e diálogos plausíveis, mas factualmente incorretos em relação à história original.

2. Metodologia

Os autores propõem uma abordagem em três estágios para resolver essas alucinações, culminando no modelo Qwen Storyteller3 e no dataset StoryMovie.

A. O Dataset StoryMovie

• Composição: Um conjunto de dados com 1.757 histórias derivadas de sequências de filmes.
• Alinhamento: As histórias são alinhadas com roteiros de cinema (scripts) e legendas (subtitles) originais.
• Pipeline de Alinhamento:
  1. Utiliza o algoritmo de Maior Subsequência Comum (LCS) para sincronizar o diálogo do roteiro com os carimbos de tempo das legendas.
  2. O roteiro fornece nomes dos personagens, linhas de ação e dicas de entrega emocional (ex: "(com raiva)").
  3. As legendas fornecem a precisão temporal.
  4. Ao fundir essas fontes, o sistema cria uma representação temporalmente fundamentada que permite a atribuição correta de diálogos a personagens específicos.

B. Treinamento do Modelo (Abordagem Progressiva)

O modelo Qwen Storyteller3 é o resultado de um processo de treinamento em três fases:

1. Fase 1 (Qwen Storyteller): Fundamentação visual básica e raciocínio em Cadeia de Pensamento (CoT) estruturado.
2. Fase 2 (Qwen Storyteller2): Melhoria na reidentificação de entidades através de Aprendizado por Reforço Contrastivo (RL), garantindo que o mesmo personagem seja identificado consistentemente entre quadros.
3. Fase 3 (Qwen Storyteller3): Alinhamento Semântico. O modelo é ajustado (fine-tuned) no dataset StoryMovie. Isso ensina o modelo a:
   • Associar aparências visuais a nomes reais dos personagens do roteiro.
   • Mapear expressões faciais e linguagem corporal para dicas de entrega emocional do roteiro.
   • Gerar diálogos e relações que respeitam a narrativa original, em vez de inferir apenas a partir de pistas visuais.

3. Principais Contribuições

1. Dataset StoryMovie: O primeiro dataset de contação de histórias visuais que integra fundamentação visual com contexto semântico ground-truth (roteiros e legendas), contendo 1.757 amostras.
2. Pipeline de Sincronização: Uma metodologia robusta baseada em LCS para alinhar roteiros e legendas, permitindo a atribuição precisa de diálogos.
3. Qwen Storyteller3: Um modelo que demonstra que o alinhamento semântico com fontes narrativas autênticas reduz significativamente as alucinações de diálogo e relacionamento, superando modelos baseados apenas em fundamentação visual.

4. Resultados e Avaliação

A avaliação foi realizada utilizando o DeepSeek V3 como juiz (LLM Judge) em comparações pareadas e testes de perguntas e respostas (Q&A).

• Contra o Modelo Base (Qwen2.5-VL 7B):
  • O Qwen Storyteller3 alcançou uma taxa de vitória de 89,9% na alinhamento com legendas (diálogo), comparado a apenas 3,5% do modelo base.
• Contra o Modelo Anterior (Qwen Storyteller - sem alinhamento de roteiro):
  • O Qwen Storyteller3 superou o modelo anterior com 48,5% de vitórias contra 38,0% de derrotas no alinhamento de legendas.
  • Isso confirma que o alinhamento semântico traz melhorias progressivas além da fundamentação visual.
• Avaliação de Fatos (Q&A):
  • Em um teste de perguntas de múltipla escolha sobre o conteúdo factual (emoção, ação, relacionamento), o modelo proposto atingiu 93,9% de precisão global, contra 63,2% do baseline.
  • A maior melhoria ocorreu na categoria de relacionamentos (94,7% vs 55,3%), validando a tese de que modelos visuais puros falham em inferir dinâmicas sociais não visíveis.

5. Significado e Conclusão

O trabalho demonstra que a fundamentação visual sozinha é insuficiente para gerar narrativas de alta fidelidade. A introdução de fontes narrativas externas (roteiros) atua como uma "âncora semântica" externa, permitindo que o modelo:

• Elimine a ambiguidade na identidade dos personagens.
• Gere diálogos e interações que respeitam a intenção do roteirista.
• Reduza alucinações de alto nível que não podem ser detectadas apenas pela análise de pixels.

A abordagem progressiva (Fundamentação Visual -> Reidentificação de Entidades -> Alinhamento Semântico) estabelece um novo paradigma para a geração de histórias visuais, sugerindo que a integração de dados multimodais estruturados (texto + vídeo) é essencial para a compreensão narrativa profunda. As limitações atuais incluem o foco em filmes (viés cinematográfico) e conteúdo apenas em inglês, apontando para trabalhos futuros em fontes visuais diversas e multilinguismo.