StoryCoder: Narrative Reformulation for Structured Reasoning in LLM Code Generation

Resumen Técnico: StoryCoder

1. El Problema

La generación de código por parte de los Modelos de Lenguaje Grande (LLM) a menudo falla no solo por limitaciones en la capacidad del modelo, sino por la forma en que se representa el problema. Las descripciones de tareas tradicionales en programación suelen ser fragmentadas, ambiguas o carecen de contexto estructurado, obligando al modelo a inferir detalles faltantes.

Las aproximaciones existentes, como el Chain-of-Thought (CoT) o la reescritura simple de prompts, a menudo:

• Añaden pasos de razonamiento sin cambiar la representación subyacente del problema.
• Dejan las condiciones del problema dispersas, lo que dificulta la formación de un modelo mental coherente.
• No logran guiar al modelo hacia estrategias algorítmicas correctas de manera consistente.

El objetivo de este trabajo es investigar cómo mejorar la entrega e interpretación de la información en LLMs para tareas de generación de código, transformando instrucciones técnicas secas en representaciones más ricas y coherentes.

2. Metodología: StoryCoder

Los autores proponen StoryCoder, un marco de trabajo basado en la reformulación narrativa. Inspirado en la ciencia cognitiva (específicamente en cómo los humanos organizan información fragmentada en modelos mentales coherentes), el método transforma problemas de codificación en narrativas naturales estructuradas.

El proceso se divide en tres etapas principales (ver Figura 1 del artículo):

1. Selección de Algoritmo y Género:

   • El modelo generador ($f_{narr}$) identifica la categoría algorítmica más adecuada para el problema (ej. Programación Dinámica, Greedy, etc.).
   • Selecciona un género narrativo que se alinee naturalmente con el problema y el algoritmo elegido (ej. "Aventura Fantástica", "Misterio Matemático").

2. Reformulación Narrativa:

   • El problema original se reescribe como una historia coherente que integra tres componentes obligatorios:
     • Resumen de la Tarea (Task Overview): Presenta el objetivo de codificación dentro de un marco narrativo, integrando condiciones dispersas en un sistema coherente.
     • Restricciones (Constraints): Replantea los rangos de entrada, límites de tiempo y reglas como restricciones naturales dentro de la historia (ej. "la capacidad de la bolsa mágica").
     • Ejemplos de Entrada/Salida (Example I/O): Integra los casos de prueba en el contexto de la historia, preservando los requisitos formales pero dentro del flujo narrativo.

3. Generación de Solución:

   • La narrativa reformulada ($N_i$) se pasa al modelo solucionador ($f_{solve}$) para generar el código.
   • Se evalúan múltiples variantes de la narrativa para cada pregunta para maximizar la cobertura de soluciones correctas.

3. Contribuciones Clave

• Propuesta de StoryCoder: Un método de prompting que reformula instrucciones fragmentadas en descripciones narrativas coherentes para la generación de código.
• Mejoras Empíricas Consistentes: Demostración de ganancias de rendimiento en 11 modelos (abiertos y cerrados) y tres benchmarks principales (HumanEval, LiveCodeBench, CodeForces).
• Análisis Causal: Proporcionan análisis cuantitativos que demuestran que la reformulación narrativa:
  • Guía a los modelos hacia estrategias algorítmicas correctas.
  • Reduce errores de implementación.
  • Induce una estructura de código más modular.
• Descubrimiento de la Importancia de la Coherencia: Se demuestra que el beneficio depende de la coherencia narrativa y la alineación del género; las narrativas con géneros desalineados degradan el rendimiento.

4. Resultados Experimentales

Los experimentos se realizaron en tres benchmarks: HumanEval, LiveCodeBench y CodeForces, utilizando 11 modelos de diferentes tamaños y arquitecturas.

• Rendimiento General: StoryCoder superó consistentemente a las líneas base (Muestreo Repetido, CoT, CoT Estructurado) en todos los modelos y benchmarks.
  • Logró un aumento promedio del 18.7% en la métrica Pass@10 en configuración zero-shot.
  • Las mejoras fueron más pronunciadas en benchmarks más desafiantes como CodeForces y LiveCodeBench.
• Análisis de Errores:
  • La reformulación narrativa aumentó significativamente la proporción de soluciones que seleccionaron el algoritmo correcto.
  • Redujo tanto los errores de implementación (cuando el algoritmo era correcto pero la codificación fallaba) como la elección de algoritmos incorrectos.
• Estructura del Código: El análisis de los Árboles de Sintaxis Abstracta (AST) mostró que el código generado con StoryCoder tenía una mayor profundidad estructural, más funciones auxiliares y una descomposición más modular en comparación con el muestreo repetido.
• Ablación y Coherencia:
  • Las narrativas con componentes mezclados (incoherentes) funcionaron mejor que el prompt original, pero peor que las narrativas completas y coherentes, destacando la importancia de la integración unificada.
  • La alineación del género es crucial: forzar géneros incongruentes (ej. documentos legales para problemas de algoritmos) redujo el rendimiento.

5. Significado e Impacto

Este trabajo tiene implicaciones significativas para el campo de la ingeniería de prompts y la interacción humano-IA:

1. Representación del Problema: Demuestra que cómo se presenta un problema es tan crítico como la capacidad del modelo. Una representación estructurada y semánticamente rica es esencial para el razonamiento complejo.
2. Puente Cognitivo: StoryCoder actúa como un puente entre el conocimiento lingüístico general de los LLM (entrenados en grandes corpus de texto narrativo) y las tareas de codificación, aprovechando la distribución de pre-entrenamiento para mejorar el razonamiento lógico.
3. Generalización: La eficacia del método no depende del tamaño del modelo ni de su arquitectura específica, sugiriendo que la reformulación narrativa es una técnica fundamental para mejorar el razonamiento en IA.
4. Futuro: Abre nuevas vías para la selección adaptativa de géneros, el refinamiento automático de narrativas y la extensión de este enfoque a dominios más allá de la codificación, como las matemáticas o el descubrimiento científico.

En conclusión, StoryCoder establece que transformar problemas técnicos en narrativas coherentes no es solo una cuestión de estilo, sino una estrategia fundamental para desbloquear el potencial de razonamiento estructurado de los LLMs en tareas de codificación complejas.