Lost in Stories: Consistency Bugs in Long Story Generation by LLMs

Este artigo apresenta o ConStory-Bench, um novo benchmark e pipeline automatizado (ConStory-Checker) projetados para avaliar e detectar erros de consistência em narrativas longas geradas por Grandes Modelos de Linguagem, identificando padrões específicos de falhas factuais e temporais que ocorrem frequentemente no meio das histórias.

O essencial

Imagine que você pediu para um escritor de contos muito talentoso, mas um pouco esquecido, criar uma história longa e complexa. Ele começa com muita empolgação, descreve um herói com olhos azuis, um carro vermelho e uma viagem que começa em janeiro. Mas, no meio da história, ele esquece que o carro era vermelho e diz que é azul. Mais adiante, ele faz o herói ter 10 anos, e no final, diz que ele tem 50. E, para piorar, ele faz o herói estar em Nova York e, na mesma frase, estar em Paris.

Isso é basicamente o que acontece quando os Modelos de Linguagem de Grande Escala (LLMs) — como o ChatGPT, Gemini, Claude e outros — tentam escrever histórias longas. Eles são ótimos em escrever frases bonitas, mas, quando a história fica muito grande (milhares de palavras), eles começam a "se perder no meio do caminho" e a contradizer a si mesmos.

Este artigo de pesquisa, chamado "Lost in Stories" (Perdido nas Histórias), é como um grande "teste de memória" para esses escritores de IA. Aqui está o que eles descobriram, explicado de forma simples:

1. O Problema: O Escritor Amnésico

Os pesquisadores criaram um "campo de provas" chamado ConStory-Bench. Eles deram a 2.000 modelos de IA prompts (pedidos) para escreverem histórias de 8.000 a 10.000 palavras.

• A Analogia: É como pedir para alguém escrever um livro inteiro de uma vez só, sem poder consultar anotações. O escritor começa bem, mas conforme a história avança, ele esquece o que escreveu na página 10 quando está na página 90.

2. A Ferramenta: O "Detetive de Contradições"

Para achar esses erros, eles criaram um sistema chamado ConStory-Checker.

• A Analogia: Imagine um detetive muito rigoroso que lê a história inteira e usa uma lupa para encontrar onde o escritor mentiu para si mesmo. O detetive não apenas diz "está errado", mas aponta exatamente: "Na página 3, você disse que o gato era preto, mas na página 50, você disse que era branco".
• Eles classificaram os erros em 5 categorias principais, como se fossem tipos de "amnésia":
  1. Lógica do Tempo: Dizer que é verão e, logo depois, que está nevando no mesmo dia.
  2. Personagens: Esquecer que o personagem tinha uma cicatriz ou que sabia tocar piano.
  3. Regras do Mundo: Em um mundo onde a magia não existe, de repente alguém usa um feitiço.
  4. Fatos e Detalhes: Mudar a cor dos olhos ou o nome de um lugar.
  5. Estilo: Mudar de um tom sério para uma piada sem motivo.

3. O Que Eles Descobriram? (As Surpresas)

Ao testar dezenas de IAs (desde as mais famosas da OpenAI e Google até modelos de código aberto), eles encontraram padrões interessantes:

• O "Meio da História" é Perigoso: Os erros não acontecem aleatoriamente. Eles tendem a explodir no meio da história (entre 40% e 60% do texto). É como se o escritor começasse bem, perdesse o foco no meio do caminho e tentasse consertar no final, mas já fosse tarde demais.
• O "Sinal de Alerta" (Entropia): Os pesquisadores descobriram que, antes de a IA cometer um erro, ela fica "confusa".
  • A Analogia: Imagine que a IA está dirigindo. Quando ela está segura, o volante está firme. Quando ela vai cometer um erro (dizer que o carro é azul quando era vermelho), o volante começa a tremer. Esse "tremor" é chamado de entropia. Se o sistema detectar esse tremor, ele poderia parar e verificar se está certo antes de continuar.
• Erros que se Agravam: Se a IA erra um fato (ex: a cor do carro), é muito provável que ela também erre a lógica do tempo ou a personalidade do personagem. Os erros andam em "gangue".
• Quem é o Melhor? O modelo GPT-5-Reasoning (uma versão futura/hipotética mencionada no paper) foi o que menos errou, mas mesmo ele cometeu falhas. Nenhum modelo é perfeito ainda.

4. Por Que Isso Importa?

Hoje, as IAs são usadas para escrever roteiros, livros, notícias e até documentos técnicos. Se um advogado pedir para a IA escrever um contrato de 50 páginas e ela mudar o valor do dinheiro no meio do texto, isso é um desastre.

Este trabalho é importante porque:

1. Cria um Padrão: Agora temos uma régua para medir quem é o melhor escritor de histórias longas.
2. Mostra o Caminho: Ao saber onde e quando a IA falha (no meio da história, quando está confusa), os engenheiros podem criar sistemas que "olham para trás" e verificam a consistência antes de escrever a próxima frase.

Resumo Final

Pense na IA como um aluno muito inteligente, mas que tem uma memória de curto prazo limitada. Ela consegue escrever uma frase perfeita, mas se você pedir um romance inteiro, ela esquece o que escreveu no primeiro capítulo.

Os pesquisadores deste artigo construíram um "olho de águia" para vigiar esses alunos, descobriram que eles tendem a falhar quando a história fica longa e confusa, e mostraram que, se conseguirmos ensinar a IA a reconhecer quando ela está "confusa" (antes de errar), poderemos ter histórias longas e consistentes no futuro.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Lost in Stories: Consistency Bugs in Long Story Generation by LLMs", apresentado em português:

1. O Problema

A geração de narrativas longas (com dezenas de milhares de palavras) tornou-se uma capacidade fundamental dos Grandes Modelos de Linguagem (LLMs). No entanto, à medida que o contexto se expande, esses modelos frequentemente falham em manter a consistência global da história. Eles tendem a contradizer fatos estabelecidos, alterar traços de personagens, violar regras do mundo fictício e falhar na lógica temporal.

O problema central identificado é que os benchmarks existentes focam principalmente na qualidade do enredo e na fluidez local, negligenciando erros de consistência. Além disso, as avaliações atuais muitas vezes carecem de evidências textuais explícitas e mecanismos de avaliação reproduzíveis em escala, deixando uma lacuna significativa na compreensão de como e onde esses modelos falham em narrativas extensas.

2. Metodologia

Os autores propõem uma abordagem sistemática composta por três pilares principais:

A. ConStory-Bench (Benchmark)

Um novo benchmark projetado especificamente para avaliar a consistência narrativa em geração de histórias longas.

• Escala: Contém 2.000 prompts distribuídos em quatro cenários de tarefas:
  1. Geração: Criar uma narrativa livre a partir de uma premissa mínima.
  2. Continuação: Estender um fragmento inicial.
  3. Expansão: Desenvolver uma história longa a partir de um esboço.
  4. Completamento: Escrever o meio de uma história com início e fim definidos.
• Alvo: Histórias de 8.000 a 10.000 palavras.
• Taxonomia de Erros: Define uma hierarquia de 5 categorias principais e 19 subtipos de erros:
  1. Lógica de Linha do Tempo e Enredo: Contradições de tempo absoluto, duração, simultaneidade, efeitos sem causa, violações de lógica causal e elementos de enredo abandonados.
  2. Caracterização: Contradições de memória, conhecimento, flutuações de habilidades e habilidades esquecidas.
  3. Construção de Mundo e Cenário: Violação de regras centrais, normas sociais e contradições geográficas.
  4. Consistência Factual e de Detalhes: Incompatibilidades de aparência, confusões de nomenclatura e incompatibilidades quantitativas.
  5. Narrativa e Estilo: Confusões de perspectiva, inconsistências de tom e mudanças de estilo.

B. CONSTORY-CHECKER (Pipeline de Avaliação Automatizada)

Um pipeline automatizado que atua como "juiz" (LLM-as-a-judge) para detectar contradições e fundamentar cada julgamento em evidências textuais explícitas. O processo possui quatro etapas:

1. Extração Guiada por Categoria: Varredura do texto para identificar trechos propensos a contradições nas cinco dimensões.
2. Emparelhamento de Contradições: Comparação de pares de trechos para classificar como "Consistente" ou "Contraditório", reduzindo falsos positivos.
3. Cadeias de Evidência: Para cada erro detectado, o sistema registra o raciocínio, as citações exatas (com posições) e a conclusão do tipo de erro.
4. Relatórios JSON: Saída padronizada com todas as informações de auditoria.

C. Métricas de Avaliação

Para evitar viés de comprimento (onde histórias mais longas têm naturalmente mais erros), os autores introduzem duas métricas:

• Densidade de Erros de Consistência (CED): Normaliza o número de erros pelo comprimento do texto (erros por 10.000 palavras).
• Rank Relativo de Grupo (GRR): Classifica os modelos dentro de cada grupo de prompts, considerando tanto a consistência quanto a completude da história (usando uma pontuação de qualidade que pondera palavras e erros).

3. Principais Contribuições

1. ConStory-Bench: O primeiro benchmark abrangente focado especificamente na consistência narrativa em textos longos, com uma taxonomia detalhada de erros.
2. CONSTORY-CHECKER: Um pipeline automatizado que supera a avaliação humana em precisão e recall na detecção de inconsistências, fornecendo evidências citáveis para cada erro.
3. Análise Sistemática: Uma avaliação extensa de diversos sistemas (modelos proprietários, open-source, modelos aprimorados e sistemas agênticos) respondendo a cinco perguntas de pesquisa (RQs) sobre padrões de erro, escalabilidade e fatores subjacentes.

4. Resultados Chave

A avaliação de uma ampla gama de LLMs revelou os seguintes achados:

• Desempenho Geral: A maioria dos modelos ainda luta com a consistência em narrativas longas. O GPT-5-Reasoning obteve o melhor desempenho (menor CED e melhor GRR), seguido por modelos como Gemini-2.5-Pro e Claude-Sonnet-4.5. Modelos open-source como GLM-4.6 e Qwen3-32B mostraram desempenho competitivo.
• Tipos de Erro Dominantes: As falhas mais comuns ocorrem nas dimensões de Consistência Factual/Detalhes e Lógica de Linha do Tempo/Enredo. Isso indica que o rastreamento de entidades e o raciocínio temporal são os maiores desafios.
• Padrões de Erro:
  • Posição: Os erros não são uniformemente distribuídos. As contradições tendem a aparecer no meio da narrativa (40-60%), enquanto os fatos originais são estabelecidos no início (15-30%).
  • Tarefa: Tarefas de "Geração" (sem contexto prévio) apresentam maior densidade de erros do que tarefas de "Continuação" ou "Completamento".
  • Correlação: Erros de "Consistência Factual" atuam como um hub central, correlacionando-se fortemente com erros de personagem e construção de mundo. Erros de estilo/narrativa tendem a ocorrer independentemente.
• Fator de Incerteza (Entropia): A análise de entropia de Shannon mostrou que o conteúdo com erros possui significativamente maior incerteza (entropia) do que o texto baseline. Isso sugere que os modelos erram mais frequentemente quando estão menos confiantes, indicando que a entropia pode ser um sinal de alerta precoce para inconsistências.
• Relação Comprimento-Erro: O número de erros aumenta aproximadamente de forma linear com o comprimento do texto, mas diferentes modelos têm preferências de comprimento distintas, criando padrões variados de densidade de erro.

5. Significado e Impacto

Este trabalho é fundamental para o avanço da geração de texto longo por IA porque:

• Muda o Foco: Desloca a métrica de sucesso de apenas "fluidez local" para "coerência global", um requisito essencial para aplicações reais como criação de conteúdo, jogos e educação.
• Ferramenta de Diagnóstico: Oferece uma metodologia padronizada e automatizada para identificar onde e por que os modelos falham, permitindo o desenvolvimento de técnicas de correção mais direcionadas (ex: mecanismos de memória de longo alcance para erros temporais).
• Sinalização Proativa: A descoberta de que a entropia prediz erros abre caminho para sistemas que podem se auto-verificar ou acionar rotinas de verificação quando a incerteza do modelo aumenta durante a geração.
• Transparência: Ao exigir evidências textuais explícitas para cada erro, o framework torna a avaliação de LLMs mais interpretável e auditável, superando as limitações de "caixa preta" de avaliações anteriores.

Em resumo, o artigo estabelece uma nova base para entender e mitigar os "bugs" de consistência que impedem os LLMs de serem verdadeiros contadores de histórias confiáveis em narrativas extensas.