Improving Collaborative Storytelling with a Multi-Agent Framework Based on Large Language Models

Resumo Técnico: Melhorando a Narrativa Colaborativa com um Framework Multiagente Baseado em Modelos de Linguagem de Grande Escala

Declaração do Problema
O artigo aborda o desafio de gerar narrativas de alta qualidade, apropriadas e coerentes para crianças pequenas (idades 3–6) no contexto de uma narrativa colaborativa. Embora a pesquisa existente sobre cocriação com IA vise predominantemente usuários adultos em ambientes digitais, este estudo foca em um jogo de tabuleiro físico e sem tela chamado YOLI. Neste cenário, as crianças selecionam peças físicas que representam elementos da história (protagonista, local, humor, objeto, atividade), as quais são então utilizadas por uma IA para gerar uma história.

Um obstáculo técnico crítico identificado é a questão das alucinações de fidelidade em Modelos de Linguagem de Grande Escala (LLMs). Neste contexto, alucinações referem-se a desvios das instruções do usuário ou dos contextos de entrada, onde a história gerada falha em incorporar com precisão os elementos específicos selecionados pelas crianças. Tais falhas podem levar à frustração e ao desengajamento do usuário. O artigo postula que a geração padrão de passagem única frequentemente carece do refinamento necessário para garantir a adesão estrita a essas restrições, mantendo ao mesmo tempo a qualidade narrativa.

Metodologia
Os autores propõem um framework multiagente centrado em um loop iterativo Escritor–Editor. Este sistema opera inteiramente no momento da inferência, sem exigir treinamento adicional ou ajuste fino.

1. O Loop do Jogo: As crianças selecionam peças no tabuleiro YOLI. Essas seleções servem como restrições de entrada para o sistema de geração de histórias.
2. O Agente Escritor: Um LLM (especificamente o Gemma 2 2B no estudo) atua como o "Escritor". Ele recebe um prompt contendo os elementos da história selecionados e gera uma narrativa.
3. O Agente Editor: Um LLM separado atua como o "Editor". Ele avalia a saída do Escritor contra uma rubrica padronizada focada em Relevância (alinhamento com as peças de entrada). O Editor atribui uma pontuação numérica (0–100%) e fornece uma fundamentação/crítica.
4. Refinamento Iterativo:
   • Loop 1: O Escritor recebe um prompt zero-shot para gerar uma história inicial.
   • Loop 2+: O Escritor recebe um prompt one-shot que inclui a história original, a crítica do Editor e a pontuação. O Escritor tenta gerar uma versão aprimorada.
   • Este processo se repete por até cinco iterações, com o Editor reavaliando a nova saída em cada ciclo.

Design do Estudo de Simulação
Para avaliar o framework, os autores conduziram um estudo de simulação usando um conjunto de dados de aproximadamente 1.000 tuplas de peças (combinações de elementos da história).

• Escritor: Fixado como Gemma 2 (2 bilhões de parâmetros).
• Editores: Variados entre diferentes famílias de modelos e tamanhos de parâmetros: Gemma 2 (2B, 9B, 27B), Llama 3.1 (8B) e Mistral (7B).
• Métrica: A métrica principal foi a pontuação de "qualidade percebida" atribuída pelo LLM Editor, rastreando a trajetória de melhoria ao longo das iterações.

Resultados Chave

1. Melhoria Consistente de Qualidade: Em todos os modelos de Editor testados, a pontuação média de qualidade percebida aumentou com cada iteração sucessiva do loop Escritor–Editor. Isso confirma que o processo iterativo de crítica guia efetivamente o Escritor a refinar sua saída.
2. Retornos Decrescentes: A melhoria mais significativa ocorreu na transição do primeiro para o segundo loop (mudando de prompting zero-shot para one-shot com feedback). Iterações subsequentes (loops 3–5) produziram ganhos progressivamente menores.
3. Velocidade de Convergência: O estudo sugere que o ponto de parada ótimo para o processo iterativo está dentro de cinco iterações. A análise de sobrevivência indicou que, para Editores com 7+ bilhões de parâmetros, há uma probabilidade de 90% de atingir sua pontuação máxima dentro de cinco loops.
4. Correlação com Capacidade do Modelo: Modelos de Editor maiores (por exemplo, Gemma 2 27B) demonstraram uma probabilidade maior de atingir sua pontuação máxima mais cedo no processo em comparação com modelos menores (por exemplo, Gemma 2 2B), sugerindo que avaliadores mais sofisticados podem guiar o refinamento com mais eficiência. No entanto, mesmo modelos menores mostraram tendências consistentes de melhoria.
5. Viés de Preferência Própria: Embora o modelo Gemma 2 2B atuando como Escritor e Editor tenha alcançado as pontuações absolutas mais altas, os autores observam que isso pode indicar um viés de preferência própria. No entanto, uma inspeção manual sugeriu que o uso de uma rubrica guiada mitigou essa questão, e modelos maiores (como Llama 3.1 8B) ainda alcançaram pontuações finais comparáveis (89% vs. 91%).

Significado e Alegações
O artigo alega que o framework Escritor–Editor proposto oferece uma alternativa leve e prática aos métodos de alinhamento intensivos em treinamento, como Aprendizado por Reforço com Feedback Humano (RLHF) ou Aprendizado por Reforço com Feedback de IA (RLAIF).

• Sem Treinamento Necessário: O sistema depende exclusivamente de interações no momento da inferência, eliminando a necessidade de conjuntos de dados de preferência humana caros e intensivos em mão de obra ou treinamento de modelos de recompensa.
• Escalabilidade para Design Centrado na Criança: O framework equilibra efetivamente a abertura necessária para o jogo criativo com as restrições estritas necessárias para conteúdo apropriado para crianças, abordando especificamente o problema das alucinações de fidelidade.
• Eficiência: A descoberta de que saídas de alta qualidade podem ser alcançadas em um pequeno número de iterações (2–3) torna o sistema viável para narrativa interativa em tempo real, onde latência e responsividade são críticas.

Limitações
Os autores modestamente reconhecem que as pontuações de qualidade são sintéticas, derivadas exclusivamente de Editores baseados em LLMs e não de avaliação humana externa. Embora uma avaliação qualitativa preliminar por escritores profissionais e um designer do YOLI tenha sugerido alinhamento com o julgamento humano, o artigo enfatiza que trabalhos futuros devem validar essas pontuações contra avaliações de educadores de educação infantil e classificações diretas de crianças para garantir que as melhorias estejam alinhadas com um engajamento genuinamente centrado no ser humano.