StoryCoder: Narrative Reformulation for Structured Reasoning in LLM Code Generation

1. Il Problema

La generazione di codice da parte dei Large Language Models (LLM) dipende non solo dalle capacità intrinseche del modello, ma anche da come il problema viene rappresentato e formulato. Le descrizioni dei compiti di programmazione sono spesso frammentate, ambigue o prive di contesto, costringendo i modelli a inferire dettagli mancanti.
Le approcci esistenti tentano di migliorare il ragionamento attraverso:

• Chain-of-Thought (CoT): Aggiunta di passaggi di ragionamento espliciti.
• Prompting strutturato: Introduzione di strutture di controllo o decomposizione modulare.
  Tuttavia, questi metodi spesso lasciano inalterate le condizioni del problema "sparse" (disperse) e non affrontano il modo in cui il modello costruisce una rappresentazione mentale coerente del compito. L'ipotesi centrale è che la frammentazione delle informazioni ostacoli il ragionamento efficace, specialmente in compiti complessi che richiedono comprensione contestuale e pianificazione multi-step.

2. Metodologia: StoryCoder

Il paper propone STORYCODER, un framework di riformulazione narrativa che trasforma le istruzioni di generazione codice in narrazioni naturali coerenti. L'idea è ispirata alla scienza cognitiva: gli umani ragionano meglio quando organizzano condizioni frammentate in modelli mentali coerenti utilizzando strutture analogiche.

Il processo di StoryCoder avviene in tre fasi (illustrate nella Figura 1 del paper):

1. Selezione di Algoritmo e Genere:

   • Il modello identifica la categoria algoritmica più adatta al problema (es. Programmazione Dinamica, Greedy, Grafi).
   • Seleziona un genere narrativo che si allinei naturalmente sia al problema che all'algoritmo scelto (es. "Fantasy Adventure" per un problema di ottimizzazione, "Mistero Matematico" per problemi di logica).

2. Riformulazione Narrativa:

   • Il problema viene riscritto in una storia strutturata in tre componenti obbligatorie:
     • Task Overview (Panoramica del compito): Presenta l'obiettivo di codifica all'interno di un contesto narrativo, integrando le condizioni sparse in un sistema coerente.
     • Vincoli (Constraints): Riformula i limiti di input, i vincoli temporali e le regole come restrizioni naturali della storia (es. "la capacità limitata della borsa magica").
     • Esempi di Input/Output: Integra i casi di test nel flusso della storia, allineando gli esempi formali al contesto narrativo.

3. Generazione della Soluzione:

   • Una volta generata la narrazione ($N_i$), viene passata a un modello "solver" ($f_{solve}$) per generare il codice.
   • Il framework supporta sia impostazioni "self-solving" (lo stesso modello genera la storia e il codice) che "cross-model" (un modello forte genera la storia per un altro modello).

3. Contributi Chiave

• Proposta di StoryCoder: Un metodo di prompting basato sulla narrazione che trasforma prompt frammentati in descrizioni coerenti, guidando il modello verso una rappresentazione semantica più profonda del problema.
• Miglioramenti Empirici Consistenti: Dimostrazione di guadagni di prestazioni su 11 modelli diversi (open-source e closed-source) e tre benchmark principali (HumanEval, LiveCodeBench, CodeForces).
• Analisi Quantitativa: Evidenza che la riformulazione narrativa:
  • Guida i modelli verso strategie algoritmiche corrette.
  • Riduce gli errori di implementazione.
  • Induce una struttura del codice più modulare.
  • Dipende criticamente dalla coerenza narrativa e dall'allineamento del genere.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 11 modelli (tra cui DeepSeek-Coder, Llama-3.1, Gemma-2, Qwen-2.5, GPT-4.1, Claude-3.5) su tre dataset.

• Prestazioni Generali: StoryCoder ha superato costantemente i baseline (Campionamento Ripetuto, CoT, SCoT) su tutti i benchmark.
  • Guadagno Medio: Un miglioramento medio del 18.7% in termini di pass@10 in modalità zero-shot.
  • Impatto sui Benchmark Difficili: I miglioramenti sono stati più pronunciati su LiveCodeBench e CodeForces (problemi competitivi complessi), dove StoryCoder ha mostrato un vantaggio significativo rispetto ai metodi tradizionali.
• Analisi degli Errori:
  • La riformulazione narrativa riduce drasticamente la selezione di algoritmi errati e gli errori di implementazione (es. loop infiniti, bound errati).
  • Aumenta la "copertura" (coverage) delle soluzioni corrette, espandendo lo spazio delle soluzioni possibili.
• Coerenza e Allineamento:
  • Coerenza: Le narrazioni in cui i componenti (overview, vincoli, esempi) sono presi dallo stesso contesto (coerenti) performano meglio rispetto a narrazioni "mescolate" (permuted), anche se queste ultime sono comunque migliori del prompt originale.
  • Allineamento del Genere: L'uso di generi narrativi "disallineati" (es. un genere burocratico per un problema di algoritmi) degrada le prestazioni, suggerendo che i modelli sono sensibili alla struttura narrativa e beneficiano di un allineamento tra stile e compito.
• Struttura del Codice: L'analisi degli AST (Abstract Syntax Tree) mostra che il codice generato tramite StoryCoder tende ad avere una profondità maggiore, un numero più alto di funzioni e un uso più frequente di funzioni helper, indicando una struttura più modulare.

5. Significato e Conclusioni

Il lavoro dimostra che la rappresentazione strutturata del problema è fondamentale per la generazione di codice, indipendentemente dalla scala o dall'architettura del modello.

• Teoria Cognitiva Applicata: Conferma che organizzare le informazioni in una struttura narrativa coerente aiuta gli LLM a costruire modelli mentali più solidi, facilitando il ragionamento integrativo.
• Oltre la Semplice Parafrasi: A differenza della semplice riformulazione superficiale (paraphrasing), StoryCoder cambia la struttura della rappresentazione del problema, trasformando vincoli astratti in regole narrative tangibili.
• Implicazioni Future: Il metodo suggerisce che l'uso di narrazioni come framework guida può essere esteso ad altri domini complessi come la matematica, il ragionamento multimodale e la scoperta scientifica.

In sintesi, StoryCoder non si limita a "aggiungere parole" al prompt, ma riorganizza radicalmente la logica del problema in una forma che sfrutta le capacità di comprensione contestuale e di ragionamento sequenziale degli LLM, portando a soluzioni di codice più corrette, efficienti e strutturate.