StoryCoder: Narrative Reformulation for Structured Reasoning in LLM Code Generation

1. Problema e Motivação

A geração de código por Grandes Modelos de Linguagem (LLMs) depende não apenas da capacidade intrínseca do modelo, mas também de como o problema é representado e interpretado. Abordagens existentes frequentemente aumentam os passos de raciocínio (como Chain-of-Thought) ou injetam estruturas específicas, mas deixam as condições do problema fragmentadas e desorganizadas.

O problema central identificado é que descrições de tarefas incompletas ou ambíguas forçam o modelo a inferir detalhes ausentes, o que é particularmente desafiador em tarefas complexas que exigem compreensão contextual e raciocínio multi-etapa. A hipótese dos autores é que, assim como humanos organizam informações fragmentadas em modelos mentais coerentes usando estruturas analógicas, os LLMs também se beneficiariam de uma reformulação do problema em narrativas naturais e coesas.

2. Metodologia: O Framework StoryCoder

O StoryCoder é um método de prompting baseado em narrativa que transforma instruções de programação curtas e técnicas em narrativas de linguagem natural coerentes. O processo é dividido em três etapas principais (ilustrado na Figura 1 do artigo):

1. Seleção de Algoritmo e Gênero:

   • O modelo identifica a categoria algorítmica mais adequada para o problema (ex: Programação Dinâmica, Grafos, Greedy).
   • O modelo seleciona um gênero narrativo que se alinha naturalmente com o problema e o algoritmo escolhido (ex: "Aventura Fantasia", "Mistério Matemático").

2. Reformulação em Narrativa:

   • O problema original é reescrito como uma história estruturada em três componentes obrigatórios:
     • Visão Geral da Tarefa (Task Overview): Apresenta o objetivo de codificação dentro de um enredo, integrando condições dispersas em um sistema coerente.
     • Restrições (Constraints): Reformula limites de entrada, limites de tempo e regras como restrições naturais da história (ex: "a mochila mágica tem capacidade finita" em vez de apenas "n <= 10^5").
     • Exemplos de Entrada/Saída (Example Input/Output): Integra casos de teste dentro do contexto da narrativa, preservando a precisão formal necessária.

3. Geração da Solução:

   • A narrativa reformulada (opcionalmente concatenada com a pergunta original) é passada para um modelo solucionador (solver) para gerar o código.
   • O sistema pode operar em configuração self-solving (o mesmo modelo gera a narrativa e o código) ou cross-model (um modelo forte gera a narrativa e outro resolve).

3. Contribuições Principais

• Novo Paradigma de Prompting: Proposta do StoryCoder, que reformula prompts fragmentados em descrições coerentes baseadas em narrativa, indo além de simples parafraseamento.
• Melhoria Empírica Consistente: Demonstração de ganhos de desempenho em 11 modelos (abertos e fechados) em três benchmarks distintos (HumanEval, LiveCodeBench, CodeForces), com um ganho médio de 18,7% no métrico pass@10 em configuração zero-shot.
• Análises Quantitativas Profundas: Evidências de que a reformulação narrativa:
  • Guia os modelos para estratégias algorítmicas corretas.
  • Reduz erros de implementação.
  • Induz uma estrutura de código mais modular (maior uso de funções auxiliares e profundidade de árvores de sintaxe).

4. Resultados Experimentais

Os experimentos foram conduzidos em 11 modelos (incluindo GPT-4.1-mini, Claude-3.5-Haiku, Gemini-2.5-Flash, Llama-3.1, Qwen, DeepSeek, etc.) em três benchmarks:

• Desempenho Geral: O StoryCoder superou consistentemente as baselines (Amostragem Repetida, Chain-of-Thought padrão e Structured CoT) em todos os benchmarks. Os ganhos foram mais pronunciados em benchmarks desafiadores como CodeForces e LiveCodeBench.
• Alinhamento Algorítmico: A análise mostrou que a reformulação narrativa aumenta a "taxa de concordância" (agreement ratio), ou seja, os modelos tendem a escolher o algoritmo correto inicialmente e mantêm essa lógica durante a geração do código.
• Decomposição de Erros: O método reduziu significativamente tanto a escolha de algoritmos errados quanto os erros de implementação (ex: limites de loops incorretos).
• Importância da Coerência e Gênero:
  • Coerência: Narrativas com componentes misturados aleatoriamente (permutados) performaram melhor que o prompt original, mas pior que as narrativas completas e coerentes, indicando que a estrutura unificada é crucial.
  • Alinhamento de Gênero: Quando gêneros narrativos foram forçados a serem "desalinhados" (ex: gêneros burocráticos ou fúnebres para problemas de algoritmos), o desempenho caiu drasticamente, sugerindo que os LLMs são sensíveis ao estilo narrativo e que o alinhamento entre o problema e o gênero é vital.
• Estrutura do Código: A análise de Árvore de Sintaxe Abstrata (AST) revelou que o código gerado via StoryCoder possui mais funções auxiliares e maior profundidade estrutural, indicando uma abordagem mais modular e organizada.

5. Significado e Conclusão

O trabalho demonstra que a representação estruturada do problema é um fator crítico para a geração de código, independentemente da escala ou arquitetura do modelo.

• Insight Cognitivo: O estudo valida a aplicação de princípios de ciência cognitiva (modelos mentais e analogia) em LLMs, mostrando que organizar condições fragmentadas em uma narrativa unificada facilita o raciocínio integrativo.
• Generalização: O método funciona bem tanto para modelos de código especializados quanto para modelos de linguagem gerais, e é robusto mesmo quando o gerador de narrativa é um modelo aberto.
• Limitações e Futuro: A eficácia depende da capacidade do modelo gerador de seguir instruções complexas. O método é mais eficaz em tarefas de programação competitiva bem definidas. Trabalhos futuros podem explorar seleção adaptativa de gêneros e extensão para domínios como matemática e descoberta científica.

Em resumo, o StoryCoder prova que transformar problemas técnicos em histórias coerentes não é apenas uma questão de estilo, mas uma ferramenta poderosa para alinhar o raciocínio dos LLMs com a lógica algorítmica necessária para resolver problemas complexos.