💬 NLP

Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

Este artigo apresenta o NCP-Bench, um benchmark de 100 ambientes narrativos projetado para avaliar a Consistência de Longo Horizonte em narrativa interativa, revelando que mesmo os LLMs de última geração lutam significativamente para manter a preservação do compromisso lógico e a integridade narrativa contra intervenções não restringidas do usuário.

Autores originais: Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

Publicado 2026-08-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está jogando um jogo de RPG massivo e infinito, onde a história nunca termina e você pode fazer absolutamente qualquer coisa que desejar. Neste mundo, você pode decidir dar um soco em um dragão, roubar a coroa de um rei ou convencer um vilão a se tornar um padeiro. A magia que torna isso possível é um tipo de cérebro de computador superinteligente chamado Modelo de Linguagem de Grande Escala (LLM). Pense nesses modelos como atores de improviso incrivelmente talentosos que leram quase todos os livros já escritos. Eles são ótimos em soar naturais, criar atmosfera e manter o fluxo da conversa. Mas há um porém: embora sejam excelentes em parecer que conhecem a história, eles frequentemente têm dificuldade em realmente lembrar das regras do mundo que estão construindo. Se o computador disser "a porta está trancada", alguns minutos depois ele pode deixar você passar por ela como se estivesse aberta, ou pode esquecer que você já encontrou a chave. Isso é um grande problema para designers de jogos e contadores de histórias que desejam um mundo que pareça real e consistente, não importa o quão selvagem o jogador seja.

Este artigo, intitulado "Can LLM Agents Stick to the Script?" (Os Agentes de LLM Conseguem Seguir o Roteiro?), mergulha profundamente exatamente neste problema. Os pesquisadores criaram um campo de testes especial chamado NCP-Bench (Narrative Commitment Preservation Benchmark - Benchmark de Preservação de Compromisso Narrativo) para ver se esses contadores de histórias de IA conseguem cumprir suas promessas ao longo de uma sessão de jogo longa e caótica. Eles configuraram 100 mundos de histórias diferentes baseados em tramas de filmes famosos, como Homem de Ferro ou Identidade Bourne. Em cada mundo, a IA atua como o "Mestre do Jogo", responsável por conduzir o show, enquanto uma segunda IA atua como um jogador "encrenqueiro", tentando pular etapas, quebrar as regras ou forçar a história a seguir direções impossíveis. O objetivo era ver se o Mestre do Jogo conseguia manter a consistência — acompanhando os fatos, lembrando o que aconteceu e seguindo os marcos exigidos pelo enredo — mesmo quando o jogador tentava quebrar o jogo.

Os resultados foram um choque de realidade para a comunidade de IA. O estudo descobriu que mesmo os modelos de IA mais avançados e de última geração são surpreendentemente ruins em seguir o roteiro quando as coisas ficam complicadas. Embora esses modelos possam escrever histórias belas, fluidas e emocionantes, eles frequentemente perdem o fio da meada quando o jogo se prolonga demais. Nos testes, o modelo com melhor desempenho (uma versão do GPT-5.2) conseguiu sobreviver sem cometer um erro lógico em apenas 42% das vezes após apenas 20 turnos de interação. À medida que o jogo avançava, a taxa de sobrevivência caía drasticamente. Quando o jogo atingia o limite de 100 turnos, quase nenhum modelo conseguia terminar toda a história sem se contradizer ou esquecer um ponto importante do enredo.

Os pesquisadores descobriram que o erro mais comum não era a IA estar sendo malvada ou ignorando o jogador; era o fato de a IA simplesmente ter esquecido os fatos que estabeleceu anteriormente. Cerca de 40% a 68% das falhas foram "conflitos de fatos", onde a IA dizia algo que contradizia diretamente o que disse dez minutos atrás. Por exemplo, se a história estabeleceu que um personagem estava ferido, a IA poderia mais tarde descrever esse personagem correndo uma maratona sem um arranhão sequer. Mesmo quando a IA tentava ser prestativa e deixava o jogador pular partes entediantes da história, ela frequentemente o fazia reescrevendo a história de uma forma que quebrava a lógica do mundo.

Curiosamente, o artigo também testou um tipo especial de IA projetada com um sistema de "memória" para ajudá-la a lembrar melhor das coisas. Embora esse sistema de memória tenha ajudado a IA a durar um pouco mais no jogo, ele não resolveu o problema. Na verdade, o sistema de memória às vezes tornava a IA pior em ouvir as ações específicas do jogador, porque ela estava ocupada demais resumindo a história em grandes blocos e perdendo os pequenos detalhes. O estudo sugere que simplesmente tornar a IA mais inteligente ou dar a ela mais memória não é suficiente; precisamos de uma nova maneira de ensinar esses modelos a tratar as regras da história como leis inquebráveis, não apenas sugestões.

Em resumo, o artigo conclui que, embora nossos atuais contadores de histórias de IA sejam fantásticos em improvisar e soar legais, eles são atualmente terríveis em jogar o longo prazo. Eles não conseguem seguir o roteiro de forma confiável quando o jogador tenta quebrar as regras. Os autores esperam que, ao fornecer este benchmark, outros pesquisadores possam construir ferramentas melhores para corrigir isso, de modo que um dia possamos ter histórias interativas verdadeiramente infinitas, consistentes e mágicas, onde o mundo faça sentido não importa o que façamos.

Resumo Técnico: Os Agentes de LLM Conseguem Seguir o Roteiro? Um Benchmark para Consistência de Longo Horizonte em Narrativas Interativas

Declaração do Problema

O rápido avanço dos Grandes Modelos de Linguagem (LLMs) permitiu a narrativa interativa fluida e aberta, mas os sistemas existentes lutam com um requisito fundamental: manter a consistência lógica de longo horizonte e a integridade narrativa contra intervenções de usuários não restringidas. Embora os LLMs possam gerar histórias fluentes e atmosféricas, eles frequentemente falham em preservar "compromissos narrativos" — as promessas lógicas feitas pelo design do jogo ou pelo histórico causal da sessão.

Em narrativas interativas, um agente narrador deve guiar um jogador em direção a marcos específicos enquanto respeita as restrições do mundo. No entanto, sob intervenções livres de usuários (por exemplo, um jogador insistindo que já possui uma chave que estava trancada, ou tentando pular sequências de enredo obrigatórias), os LLMs atuais frequentemente recorrem à reescrita retroativa implícita de eventos passados ou permitem saltos impossíveis. Isso cria uma tensão entre a agência ilimitada do usuário e os objetivos narrativos rígidos. Diferente dos chatbots de domínio aberto projetados para conversas casuais, os orquestradores narrativos operam dentro de uma estrutura direcionada a objetivos, onde o "enredo" funciona como um conjunto de restrições lógicas rígidas (fatos do estado do mundo, dependências causais e sequências de eventos obrigatórios) que devem ser satisfeitas. As avaliações atuais, que são amplamente baseadas em preferência (focando em coerência percebida ou engajamento), falham em detectar ou comparar explicitamente essas falhas lógicas.

Metodologia

Preservação de Compromisso Narrativo (NCP)

Os autores formalizam o desafio como Preservação de Compromisso Narrativo (NCP). Um agente NCP é definido por sua capacidade de manter:

Um livro de fatos (fact ledger) explícito registrando fatos estabelecidos.
Um conjunto explícito de compromissos narrativos não opcionais (regras sobre invariantes, ordenação e conquistas).

A interação é modelada como um processo de estado onde o agente gera uma resposta, e um procedimento automático extrai atualizações de estado para validar a consistência. O objetivo é garantir que o agente responda apropriadamente aos usuários sem violar as promessas lógicas do design do jogo.

NCP-Bench: O Benchmark

Para permitir a pesquisa reproduzível, os autores introduzem o NCP-Bench, um benchmark composto por 100 ambientes narrativos derivados de sinopses de filmes (especificamente do CMU Movie Summary Corpus).

Construção de Dados: O conjunto de dados é curado para garantir diversidade através de 18 gêneros (Ação, Ficção Científica, Comédia, etc.) e inclui uma perspectiva específica de personagem do jogador para evitar a fuga de informação "visão de Deus" (God's-eye).
Especificação Narrativa: Cada ambiente é estruturado como uma tupla $\langle F_0, C, R \rangle$ $⟨ F_{0}, C, R ⟩$ :
- $F_0$ (Livro de Fatos Inicial): O estado do mundo no início, contendo apenas fatos observáveis ao jogador.
- $C$ (Conjunto de Compromissos): Um conjunto fixo de regras incluindo Invariantes (condições que devem permanecer verdadeiras), Ordenação (sequências de eventos) e Conquistas (objetivos a serem alcançados).
- $R$ (Trajetória de Referência): Uma sequência ordenada de passos do enredo (nós) usada para rastrear o progresso.
Estrutura de Avaliação: A estrutura desacopla o agente narrador do mecanismo de auditoria.
- Agente Jogador Adversário: Gera entradas de primeira pessoa em formato livre projetadas para testar o estresse do narrador (ex: tentando contornar restrições, acusando personagens prematuramente ou apressando o enredo).
- Auditor: Um auditor baseado em LLM de prompt fixo que realiza uma verificação de nível de turno:
  1. Verificação de Conflito: Verifica a resposta do narrador contra o livro de fatos ativo, compromissos e entrada do jogador.
  2. Atualização de Fato: Extrai e registra mudanças de estado (fatos adicionados ou negados) apenas se nenhum conflito for encontrado.
  3. Verificação de Trajetória e Compromisso: Atualiza o progresso ao longo da trajetória de referência e rastreia a satisfação dos compromissos.
- Terminação: Um episódio termina em Conflito (violação lógica), Sobrevivência (alcançar 100 turnos sem conflito) ou Sucesso (satisfazer todos os compromissos de conquista sem conflito).

Principais Contribuições

Formalização de NCP: O artigo define a Preservação de Compromisso Narrativo como uma tarefa distinta e verificável, indo além das métricas subjetivas de coerência para a satisfação explícita de restrições lógicas.
Dataset NCP-Bench: Um benchmark curado de 100 cenários derivados de filmes com especificações estruturadas (fatos, compromissos, trajetórias) que permitem auditoria automatizada e detalhada da consistência narrativa.
Protocolo de Avaliação: Uma estrutura rigorosa e reproduzível que separa o agente sob teste da lógica de auditoria, utilizando agentes jogadores adversários para sondar sistematicamente falhas de consistência.
Análise Abrangente: O estudo fornece a primeira evidência empírica em larga escala do "gap de consistência de longo horizonte" em LLMs de última geração, categorizando modos de falha e analisando o impacto de arquiteturas de memória e tipos de entrada.

Resultados Experimentais

Os autores avaliaram seis LLMs de última geração (incluindo GPT-5.2, GPT-4o-mini, DeepSeek-V3.2, Qwen3-235B-A22B, Kimi-K2.5, e Grok-4.1-Fast) no NCP-Bench.

Gap de Consistência de Longo Horizonte: Mesmo o modelo com melhor desempenho, o GPT-5.2, alcançou apenas uma taxa de sobrevivência de 42% após 20 turnos. As taxas de sobrevivência para outros modelos caíram para perto de zero bem antes do limite de 100 turnos.
Satisfação de Compromisso: Apenas execuções isoladas satisfizeram todos os compromissos de conquista dentro do limite de 100 turnos. A maior porcentagem de compromissos satisfeitos entre os modelos foi de aproximadamente 13,42% (DeepSeek-V3.2).
Modos de Falha: Conflitos de fatos foram o modo de falha dominante, representando de 40% a 68% das interações entre os modelos. Outros modos incluíram violações de compromisso (quebra de ordenação/invariantes) e ignorar a entrada do jogador.
Análise Qualitativa: As falhas foram categorizadas em quatro tipos:
1. Alucinação e Contradição Factual: Contradizer estados de mundo estabelecidos.
2. Gatilho de Fatos Desconhecidos: Revelar prematuramente informações ocultas do enredo.
3. Mudança Forçada da Realidade: Reescrever fatos estabelecidos para apagar ações do jogador.
4. Ignorar Entrada do Usuário: Falhar em reconhecer ou abordar as ações do jogador.
Aumento de Memória: A avaliação do HiAgent (uma arquitetura de memória hierárquica) mostrou que ele estendeu a duração da interação e reduziu conflitos de compromisso, mas falhou em melhorar as taxas de sucesso geral e aumentou os conflitos de entrada do jogador, sugerindo que a compressão de memória pode obscurecer a intenção local.
Entradas Adversárias vs. Naturais: Embora as entradas naturais (cooperativas) tenham levado a interações mais longas e menos conflitos, elas ainda falharam em resolver a tarefa, confirmando que o desafio central da preservação de compromisso de longo horizonte persiste independentemente da intenção do jogador.

Significância e Alegações

O artigo alega que a fluência linguística não se traduz em preservação confiável de compromisso lógico. Os resultados demonstram que os LLMs atuais carecem dos mecanismos necessários para manter estados de mundo consistentes sob pressão adversária, mesmo quando o texto parece plausível.

Os autores posicionam o NCP-Bench não como uma medida de qualidade de escrita criativa, mas como um campo de testes fundamental para o arcabouço lógico necessário para a narrativa interativa. Eles argumentam que a consistência lógica é uma condição necessária (embora não suficiente) para histórias envolventes. O benchmark serve como um degrau para o desenvolvimento de agentes que possam honrar obrigações persistentes sob interação aberta, uma capacidade relevante além da narrativa, em domínios como agentes de codificação, sistemas instrucionais e coordenação multiagente. O trabalho enfatiza que, sem resolver este problema base de consistência, recursos narrativos mais avançados (tensão dramática, ressonância emocional) não podem ser perseguidos de forma confiável.