Resumo Técnico: NARRA-Gym para Avaliação de Agentes de Narrativa Interativa

Declaração do Problema

Tarefas de narrativa interativa exigem que Modelos de Linguagem de Grande Escala (LLMs) sustentem um mundo de história coerente e em evolução, adaptando-se a um usuário ao longo de múltiplas interações. Esse cenário demanda uma combinação de capacidades — geração, memória, planejamento e personalização — que devem operar simultaneamente sob interação contínua. No entanto, os benchmarks existentes para este domínio são limitados. As avaliações padrão frequentemente focam em prompts estáticos de única interação, gerações de histórias isoladas ou classificações post-hoc. Consequentemente, os benchmarks atuais falham em avaliar se os modelos podem gerenciar conjuntamente a geração da história, o estado de contexto longo, o ritmo, a simulação de personagens, a personalização empática e artefatos fundamentados na narrativa. Um modelo pode produzir respostas individuais fluídas, mas falhar em manter a consistência, gerenciar o estado de longo prazo ou adaptar-se à trajetória emocional do usuário, levando a interações quebradas.

Metodologia: NARRA-Gym

Para abordar essas lacunas, os autores introduzem o NARRA-Gym, um ambiente de avaliação executável que transforma uma semente emocional esparsa em um episódio completo de história interativa. O sistema registra toda a trajetória do modelo no loop, incluindo a construção da história, atualizações de memória, planejamento, intervenções de ritmo e síntese opcional de artefatos.

Construção do Ambiente

O ambiente orquestra os modelos por meio de um pipeline completo de episódio, consistindo em duas fases principais:

1. Construção da História (Arquiteto Narrativo): Ao receber uma semente emocional do usuário (descrição em texto livre de humor/situação) e respostas de perfil, o sistema decompõe a criação da história em cinco etapas registradas:
   • Fundação da História: Estabelecimento de título, premissa, tema e objetivos do protagonista.
   • Construção do Cenário: Tradução do contexto emocional em um mundo concreto e quadro de cena.
   • Construção de Personagens: Criação do elenco, incluindo histórias de fundo, personalidades e estilos de fala.
   • Estrutura de Atos: Rascunho de um esboço multiato, opcionalmente refinado por meio de um loop crítico-então-refinador.
   • Cena Inicial: Geração de prosa de abertura, diálogo, escolhas ramificadas e elementos ocultos.
2. Loop de Interação Contínua: Uma vez inicializado, o episódio entra em um loop em nível de turno coordenado por quatro componentes de agente:
   • Agente de Memória: Monta o contexto a partir de três camadas: perfil do usuário (necessidades, tom, limites), estado da história (objetivos atuais, tensões, pistas) e jornada do usuário (decisões, trajetória emocional). Ele atualiza essas camadas em frequências diferentes para evitar o simples acúmulo de contexto (context stuffing).
   • Agente de Ritmo: Monitora se o enredo avança. Ele emprega uma defesa de três camadas contra a estagnação: controles de ritmo em tempo de execução (escalando de encorajamento suave a mudanças obrigatórias), um detector de estagnação (verificando padrões repetitivos) e uma guarda de estrutura pós-geração que injeta mudanças narrativas se a saída do modelo carecer de progressão.
   • Agente de Planejamento: Reflete sobre o estado da história para fornecer orientação estruturada (tensões não resolvidas, interesses do usuário, estratégia de avanço) para os turnos subsequentes.
   • Agente de Artefatos: Gera artefatos funcionais e fundamentados na história (HTML/CSS/JavaScript) (por exemplo, cartas, mapas, cifras) quando a narrativa exige adereços tangíveis. Um sistema de pontuação de novidade previne a repetição comparando as tags de artefato contra o histórico recente.

Protocolo de Avaliação

Os autores empregam dois protocolos complementares para avaliar nove LLMs de ponta:

1. Varredura Controlada LLM-como-Juiz: Cada um dos nove modelos geradores é executado nas mesmas oito personas predefinidas (por exemplo, um pai enlutado, uma nova mãe sobrecarregada), resultando em 72 episódios completos. Estes são pontuados por três modelos juízes independentes em uma rubrica de 11 dimensões cobrindo qualidade da história (Relevância, Coerência, Empatia, Surpresa, Engajamento, Complexidade, Moldagem de Personagem) e experiência do usuário (Satisfação, Qualidade Percebida, Utilidade do Processo, Intenção de Reutilização).
2. Avaliação de Preferência Humana: 12 participantes engajam-se em experiências interativas personalizadas (em vez de personas fixas) e avaliam as saídas anônimas dos modelos. As classificações são convertidas em ranqueamentos dentro do grupo e agregadas usando um modelo Plackett–Luce para estimar utilidades latentes para cada modelo.

Principais Contribuições

1. Um Ambiente de Benchmark Executável: O NARRA-Gym define um cenário interativo que testa conjuntamente a geração criativa de histórias, o gerenciamento de estado/ritmo de contexto longo, a simulação de personagens, a personalização empática e a geração de artefatos dentro de um único loop de interação.
2. Um Pipeline Modular de Agente Narrativo: Os autores implementam um pipeline em etapas com memória multi-resolução, planejamento guiado por reflexão, controle anti-estagnação, síntese de artefatos com restrição de novidade e geração estruturada fail-soft. Cada componente é registrado para inspeção, permitindo o diagnóstico de modos de falha específicos.
3. Um Protocolo de Avaliação Comparativo: O artigo fornece um protocolo de classificação humana com agregação de ranqueamento dentro do grupo e protocolos de juiz LLM. Essa configuração expõe falhas difíceis de observar em conjuntos de dados estáticos, como personalização sensível à resistência e coerência de longo horizonte.

Resultados

A avaliação de nove LLMs de ponta revela variação substancial entre modelos, personas e dimensões:

• Variabilidade de Desempenho: O Claude Sonnet 4.6 alcançou as maiores pontuações agregadas médias (Qualidade da História: 3,90, UX: 3,86) e liderou em todas as 11 dimensões detalhadas, seguido pelo Claude Opus 4.6. Modelos como DeepSeek V4, GPT-5.4 e DeepSeek V3.2 estavam agrupados de perto na Qualidade da História, mas exibiram perfis distintos (por exemplo, o DeepSeek V4 foi mais forte na moldagem de personagens, enquanto o GPT-5.4 se destacou na empatia).
• Fluência vs. Robustez: Modelos que produzem histórias fluídas frequentemente falharam em robustez, experiência do usuário ou personalização sensível à resistência. Alto desempenho médio não garantiu robustez; por exemplo, o Opus 4.6 mostrou picos fortes, mas também casos de colapso severo em personas específicas, enquanto o Sonnet 4.6 manteve um desempenho alto e consistente.
• Dificuldade da Persona: A dificuldade do benchmark variou significativamente entre as personas. "Sara" (uma nova mãe sobrecarregada) foi a persona mais difícil em média, enquanto "Hye-jin" (uma compositora bloqueada) foi a mais fácil. Isso sugere que os modelos lidam com bloqueio criativo de forma mais confiável do que com exaustão emocional ambivalente.
• Discrepância Humana vs. Juiz: Embora as classificações humanas e os juízes LLM concordassem no nível superior (Sonnet 4.6 e Opus 4.6), eles divergiram no nível intermediário. Classificadores humanos favoreceram modelos como Qwen3.5 e Doubao mais do que os juízes LLM, particularmente nas dimensões de Experiência do Usuário. Isso indica que os juízes automatizados são eficazes para triagem ampla, mas podem perder nuances no ritmo, textura e ressonância emocional que os humanos percebem.
• Modos de Falha: Auditorias manuais identificaram a personalização sensível à resistência como um gargalo primário. Mesmo episódios gramaticalmente limpos frequentemente falharam em rastrear o que o usuário estava resistindo, oferecendo tranquilização prematura ou convertendo a resistência em progresso genérico muito rapidamente.

Significado e Alegações

O artigo alega que a narrativa interativa oferece um benchmark útil para avaliar o comportamento adaptável ao usuário de LLMs de longo horizonte, além da qualidade isolada da história. As descobertas sugerem que uma forte fluência narrativa não garante robustez, alinhamento com preferência humana ou a capacidade de sustentar contexto, personagem e empatia ao longo do tempo.

Os autores posicionam o NARRA-Gym como um passo em direção à avaliação de quão bem os modelos podem gerenciar a inter-relação de planejamento, memória e empatia em interação sustentada. Eles observam que o benchmark destaca modos de falha específicos — como a incapacidade de manter uma postura "sensível à resistência" — que são críticos para aplicações em domínios criativos, jogos e mídia interativa, mas que são negligenciados pelos benchmarks estáticos existentes. O trabalho enfatiza que o progresso futuro exige ir além das métricas isoladas de qualidade da história para medir capacidades de interação sustentada.