Steerable Instruction Following Coding Data Synthesis with Actor-Parametric Schema Co-Evolution

1. Il Problema

La capacità di seguire le istruzioni (Instruction Following - IF) è fondamentale per i Large Language Models (LLM) nella programmazione automatica. Tuttavia, la sintesi di dati su larga scala che accoppino codice a istruzioni complesse presenta due sfide principali:

• Compatibilità e Risolvibilità delle Vincoli: Generare problemi di codifica con vincoli multipli e interconnessi è difficile. Spesso le istruzioni si contraddicono logicamente (es. "non usare variabili temporanee" vs "usa una specifica struttura dati") o rendono il problema irrisolvibile.
• Esplorazione di Campioni Difficili (Hard Samples): I metodi statici o basati su campionamento brute-force tendono a generare dati ripetitivi o non sufficientemente complessi. I metodi avversariali, senza una progettazione attenta, rischiano di creare problemi irrisolvibili che "ingannano" il sistema di ricompensa senza migliorare realmente le capacità del modello.

Esiste quindi la necessità di un framework che garantisca la validità logica dei vincoli mentre esplora progressivamente problemi di complessità crescente.

2. Metodologia: IFCodeEvolve

Il paper propone IFCodeEvolve, un framework di co-evoluzione che unisce la generazione di dati istruttivi con la validazione progressiva. L'approccio si basa su tre pilastri fondamentali:

A. Istruzioni Parametriche e Schema Library

Invece di usare testo statico, le istruzioni sono rappresentate come schemi di funzioni parametriche.

• Ogni schema è un "scheletro" testuale con slot variabili (es. "Il nome della variabile deve essere {style}").
• Gli slot sono istanziati dinamicamente con parametri specifici (es. style = "snake_case").
• Ogni istruzione istanziata è accompagnata da una funzione di verifica basata su AST (Abstract Syntax Tree) che controlla automaticamente se il codice generato rispetta il vincolo.
• Questo permette di coprire uno spazio di istruzioni vastissimo partendo da una libreria compatta (inizialmente 27 schemi).

B. Campionatore MCTS (Monte Carlo Tree Search)

Per navigare nello spazio combinatorio delle combinazioni di vincoli, viene utilizzato un campionatore MCTS.

• Navigazione: Il sampler costruisce traiettorie di vincoli aggiungendo iterativamente nuovi schemi al problema.
• Feedback Dinamico: L'algoritmo utilizza il feedback di un modello "Attore" (il modello LLM che deve risolvere il problema) come segnale di terminazione. Se l'attore fallisce nel risolvere il problema con i vincoli aggiunti, il percorso è considerato di successo (ha trovato un problema difficile).
• Validazione Proof-by-Construction: Per garantire che un problema sia risolvibile, il sistema richiede al generatore di produrre una "soluzione testimone" che soddisfi tutti i vincoli cumulativi prima di accettare il problema.

C. Paradigma di Co-Evoluzione

Il cuore dell'innovazione è l'evoluzione simultanea di due componenti:

1. Evoluzione dell'Attore: Il modello LLM (Attore) viene addestrato (post-training) sui dati sintetizzati. Man mano che migliora, i problemi che prima risolveva diventano troppo facili.
2. Evoluzione dello Schema: La libreria di schemi si evolve autonomamente per adattarsi alle nuove capacità dell'attore:
   • Composizione: Schemi che spesso appaiono insieme con successo vengono fusi in nuovi schemi compositi.
   • Mutazione: Gli schemi che l'attore risolve troppo facilmente vengono analizzati per trovare "scappatoie" logiche e vengono mutati per renderli più restrittivi (es. trasformare "usa snake_case" in "usa snake_case con almeno una cifra").

Questo ciclo crea un curriculum adattivo che spinge costantemente il modello verso i suoi limiti di ragionamento.

3. Contributi Chiave

• IFCodeEvolve: Un nuovo framework che unisce la rappresentazione parametrica delle istruzioni, la ricerca MCTS e la co-evoluzione attore-schema per generare dati di codifica ad alta qualità e validità garantita.
• IFCodeBench: Un benchmark umano-verificato, completo di soluzioni e protocolli di verifica basati su AST, progettato per valutare finemente le capacità di follow delle istruzioni.
• Validità Garantita: A differenza di approcci precedenti, il metodo "Proof-by-Construction" assicura che ogni problema generato sia logicamente coerente e risolvibile, eliminando il rumore dei dati irrisolvibili.
• Scalabilità Debole-Forte: Dimostrazione che i dati sintetizzati da un modello più piccolo (es. 8B) possono essere utilizzati per addestrare modelli più grandi (es. 32B) con risultati superiori.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su cinque LLM (da 1.3B a 32B parametri) e confrontati con modelli proprietari e open-source di stato dell'arte (SOTA).

• Prestazioni: I modelli addestrati con IFCodeEvolve mostrano miglioramenti consistenti. In particolare, un modello da 32B addestrato con questo metodo raggiunge prestazioni paragonabili ai modelli proprietari SOTA (come GPT-5.2 o Claude-4.5) su benchmark come IFEvalCode e CodeIF.
• Qualità dei Dati: L'analisi di contaminazione (n-gram overlap) conferma che i dati generati non sono semplici memorizzazioni dei dati di addestramento originali (contaminazione 0% a n=13).
• Benchmark IFCodeBench: Su questo nuovo benchmark, i modelli dimostrano una forte correlazione inversa tra il numero di istruzioni e le prestazioni, evidenziando la difficoltà crescente gestita dal framework. I modelli più grandi addestrati con IFCodeEvolve superano significativamente le loro controparti base.
• Ablazione: Gli studi dimostrano che rimuovere qualsiasi componente chiave (MCTS, evoluzione dell'attore, o evoluzione degli schemi) porta a un calo delle prestazioni, confermando la necessità dell'approccio olistico.

5. Significato e Impatto

Il lavoro rappresenta un passo avanti significativo nell'addestramento di LLM per la programmazione:

• Superamento della Sintesi Statica: Passa da una generazione di dati statica a un processo dinamico e adattivo che evolve insieme al modello target.
• Affidabilità Logica: Risolve il problema della validità logica nei vincoli multipli, un collo di bottiglia storico nella sintesi di dati per la programmazione.
• Generalizzabilità: Il paradigma proposto non è limitato alla codifica; offre una metodologia generale per costruire curricoli adattivi in altri domini che richiedono ragionamento complesso, come la risoluzione di problemi matematici o la scoperta scientifica.

In sintesi, IFCodeEvolve dimostra che un ciclo di feedback chiuso tra la generazione di dati, la validazione rigorosa e l'evoluzione strutturale delle istruzioni può colmare il divario tra modelli open-source e modelli proprietari chiusi nel dominio della programmazione guidata da istruzioni.