Improving Collaborative Storytelling with a Multi-Agent Framework Based on Large Language Models

Resumen Técnico: Mejora de la Narrativa Colaborativa con un Marco de Múltiples Agentes Basado en Modelos de Lenguaje Grandes

Enunciado del Problema
El artículo aborda el desafío de generar narrativas de alta calidad, apropiadas y coherentes para niños pequeños (de 3 a 6 años) dentro de un contexto de narrativa colaborativa. Si bien la investigación existente sobre co-creación con IA se dirige predominantemente a usuarios adultos en entornos digitales, este estudio se centra en un juego de mesa físico sin pantalla llamado YOLI. En este entorno, los niños seleccionan fichas físicas que representan elementos de la historia (protagonista, ubicación, estado de ánimo, objeto, actividad), las cuales son utilizadas por una IA para generar una historia.

Un obstáculo técnico crítico identificado es el problema de las alucinaciones de fidelidad en los Modelos de Lenguaje Grandes (LLM). En este contexto, las alucinaciones se refieren a desviaciones de las instrucciones del usuario o de los contextos de entrada, donde la historia generada no incorpora con precisión los elementos específicos seleccionados por los niños. Tales fallos pueden llevar a la frustración del usuario y al desinterés. El artículo postula que la generación estándar de un solo paso a menudo carece del refinamiento necesario para garantizar una adhesión estricta a estas restricciones mientras se mantiene la calidad narrativa.

Metodología
Los autores proponen un marco de múltiples agentes centrado en un bucle iterativo Escritor–Editor. Este sistema opera completamente en tiempo de inferencia sin requerir entrenamiento adicional o ajuste fino.

1. El Bucle del Juego: Los niños seleccionan fichas en el tablero de YOLI. Estas selecciones sirven como restricciones de entrada para el sistema de generación de historias.
2. El Agente Escritor: Un LLM (específicamente Gemma 2 2B en el estudio) actúa como el "Escritor". Recibe un prompt que contiene los elementos de la historia seleccionados y genera una narrativa.
3. El Agente Editor: Un LLM separado actúa como el "Editor". Evalúa la salida del Escritor contra una rúbrica estandarizada centrada en la Relevancia (alineación con las fichas de entrada). El Editor asigna una puntuación numérica (0–100%) y proporciona una justificación/crítica.
4. Refinamiento Iterativo:
   • Bucle 1: El Escritor recibe un prompt de cero disparos (zero-shot) para generar una historia inicial.
   • Bucle 2+: El Escritor recibe un prompt de un disparo (one-shot) que incluye la historia original, la crítica del Editor y la puntuación. El Escritor intenta generar una versión mejorada.
   • Este proceso se repite hasta por cinco iteraciones, con el Editor reevaluando la nueva salida en cada ciclo.

Diseño del Estudio de Simulación
Para evaluar el marco, los autores realizaron un estudio de simulación utilizando un conjunto de datos de aproximadamente 1.000 tuplas de fichas (combinaciones de elementos de la historia).

• Escritor: Fijo como Gemma 2 (2 mil millones de parámetros).
• Editores: Variaron entre diferentes familias de modelos y tamaños de parámetros: Gemma 2 (2B, 9B, 27B), Llama 3.1 (8B) y Mistral (7B).
• Métrica: La métrica principal fue la puntuación de "calidad percibida" asignada por el LLM Editor, rastreando la trayectoria de mejora a través de las iteraciones.

Resultados Clave

1. Mejora Consistente de la Calidad: En todos los modelos de Editor probados, la puntuación promedio de calidad percibida aumentó con cada iteración sucesiva del bucle Escritor–Editor. Esto confirma que el proceso iterativo de crítica guía eficazmente al Escritor para refinar su salida.
2. Rendimientos Decrecientes: La mejora más significativa ocurrió en la transición del primer al segundo bucle (pasando de prompts de cero disparos a prompts de un disparo con retroalimentación). Las iteraciones subsiguientes (bucles 3–5) produjeron ganancias progresivamente menores.
3. Velocidad de Convergencia: El estudio sugiere que el punto de parada óptimo para el proceso iterativo se encuentra dentro de cinco iteraciones. El análisis de supervivencia indicó que para los Editores con más de 7 mil millones de parámetros, existe un 90% de probabilidad de alcanzar su puntuación máxima dentro de cinco bucles.
4. Correlación con la Capacidad del Modelo: Los modelos de Editor más grandes (por ejemplo, Gemma 2 27B) demostraron una mayor probabilidad de alcanzar su puntuación máxima en una etapa más temprana del proceso en comparación con modelos más pequeños (por ejemplo, Gemma 2 2B), lo que sugiere que evaluadores más sofisticados pueden guiar el refinamiento de manera más eficiente. Sin embargo, incluso los modelos más pequeños mostraron tendencias consistentes de mejora.
5. Sesgo de Preferencia Propia: Si bien el modelo Gemma 2 2B actuando como Escritor y Editor logró las puntuaciones absolutas más altas, los autores notan que esto podría indicar un sesgo de preferencia propia. Sin embargo, una inspección manual sugirió que el uso de una rúbrica guiada mitigó este problema, y los modelos más grandes (como Llama 3.1 8B) aún lograron puntuaciones finales comparables (89% frente a 91%).

Significado y Afirmaciones
El artículo afirma que el marco propuesto Escritor–Editor ofrece una alternativa ligera y práctica a los métodos de alineación intensivos en entrenamiento como el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) o el Aprendizaje por Refuerzo con Retroalimentación de IA (RLAIF).

• No Requiere Entrenamiento: El sistema depende únicamente de interacciones en tiempo de inferencia, eliminando la necesidad de conjuntos de datos de preferencia humana costosos y laboriosos o del entrenamiento de modelos de recompensa.
• Escalabilidad para el Diseño Centrado en el Niño: El marco equilibra eficazmente la apertura requerida para el juego creativo con las restricciones estrictas necesarias para el contenido apropiado para niños, abordando específicamente el problema de las alucinaciones de fidelidad.
• Eficiencia: El hallazgo de que se pueden lograr salidas de alta calidad en un pequeño número de iteraciones (2–3) hace que el sistema sea viable para la narrativa interactiva en tiempo real, donde la latencia y la capacidad de respuesta son críticas.

Limitaciones
Los autores reconocen modestamente que las puntuaciones de calidad son sintéticas, derivadas únicamente de Editores basados en LLM en lugar de una evaluación humana externa. Si bien una evaluación cualitativa preliminar por parte de escritores profesionales y un diseñador de YOLI sugirió una alineación con el juicio humano, el artículo enfatiza que el trabajo futuro debe validar estas puntuaciones frente a evaluaciones de educadores de la primera infancia y calificaciones directas de los niños para asegurar que las mejoras se alineen con un compromiso genuino centrado en el ser humano.