Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

1. Il Problema

I Large Language Models (LLM) acquisiscono tipicamente comportamenti attraverso dimostrazioni (pretraining, SFT) o esperienza (RL). Tuttavia, una vasta porzione dei dati di training è dichiarativa: contiene istruzioni, regole e descrizioni che specificano cosa fare senza mostrare come eseguirlo su input concreti.
Mentre gli utenti umani utilizzano le istruzioni simboliche per apprendere abilità generali in modo efficiente, non è chiaro se i LLM possano internalizzare conoscenza procedurale (comportamenti riutilizzabili) direttamente dai dati dichiarativi durante il training, senza bisogno di prompt contestuali (in-context) o di esempi di esecuzione per ogni singola istruzione. Attualmente, l'esecuzione di un'istruzione appresa solo tramite training (senza essere fornita nel prompt) è considerata poco affidabile o inesistente.

2. Metodologia: Programming by Backprop (PBB)

Gli autori introducono Programming by Backprop (PBB), un regime di training che permette ai LLM di "programmare" comportamenti specifici direttamente nei loro pesi partendo da istruzioni dichiarative. Il principio fondamentale è la separazione tra l'apprendimento di come le istruzioni mappano al comportamento e l'internalizzazione di nuove istruzioni.

Il metodo si basa su due curricula di training distinti, illustrati nella Figura 1 del paper:

A. Proactive-PBB (Curriculum Proattivo)

Questo approccio simula un processo di meta-apprendimento implicito in due fasi:

1. Fase 1 (Corrispondenza Generale): Il modello viene addestrato su un set di istruzioni di training ($S_{train}$) accompagnate sia dalle istruzioni stesse che dalle relative tracce di esecuzione (input-output). L'obiettivo è apprendere una corrispondenza generale tra la rappresentazione dell'istruzione e il comportamento atteso.
2. Fase 2 (Internalizzazione): Il modello viene esposto a nuove istruzioni di valutazione ($S_{eval}$) senza esempi di esecuzione. Viene ottimizzato solo sulla perdita dichiarativa (modellazione dell'istruzione). Grazie alla Fase 1, i gradienti derivanti dalla modellazione dell'istruzione agiscono come un "compilatore", aggiornando i pesi del modello per internalizzare il comportamento associato a quella specifica istruzione.

B. Retroactive-PBB (Curriculum Retroattivo)

Questo approccio inverte l'ordine:

1. Fase 1 (Conoscenza Dichiarativa): Il modello viene addestrato su tutte le istruzioni (sia di training che di test) utilizzando solo la perdita dichiarativa, acquisendo conoscenza simbolica ma senza competenza esecutiva.
2. Fase 2 (Attivazione Procedurale): Vengono introdotti esempi di esecuzione solo per le istruzioni di training ($S_{train}$). L'obiettivo è convertire la conoscenza dichiarativa latente in conoscenza procedurale. I gradienti derivanti dall'esecuzione su $S_{train}$ aggiornano i parametri condivisi, "attivando" la capacità di eseguire anche le istruzioni di test ($S_{eval}$) che non hanno mai ricevuto supervisione diretta.

3. Contributi Chiave

• Dimostrazione dell'Internalizzazione: Il paper prova che le istruzioni presenti nei dati di training possono essere "compilate" nei parametri del modello, permettendo l'esecuzione di comportamenti multi-step senza che l'istruzione sia fornita nel prompt (in-context).
• Efficienza del Campione (Sample Efficiency): Un singolo risultato chiave è che una singola istruzione può sostituire fino a 100 esempi di esecuzione per apprendere un algoritmo, rendendo il PBB estremamente efficiente dal punto di vista dei dati.
• Generalizzazione Fuori Distribuzione (OOD): Il metodo permette di generalizzare a programmi o grammatiche mai visti durante la fase di esecuzione, purché le loro definizioni simboliche siano state viste in training.
• Correzione dei Bias: PBB è in grado di mitigare i bias derivanti da dati di dimostrazione sbilanciati (es. cifrari con shift specifici frequenti nel web), apprendendo la funzione generale invece di memorizzare le distribuzioni dei dati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due domini principali:

1. Esecuzione Algoritmica (Codice Python):

   • Dataset: Random Arithmetic (funzioni sintetiche), Leetcode (problemi reali), e Cifrari personalizzati.
   • Risultati: Con il curriculum Proactive, il modello Qwen3-14B raggiunge il 37% di accuratezza nell'esecuzione di programmi di test mai visti. L'uso del codice come istruzione è significativamente più efficace rispetto alle descrizioni in linguaggio naturale.
   • Confronto RL vs SFT: Nella fase 2 del Retroactive-PBB, il Reinforcement Learning (RL) generalizza molto più velocemente e robustamente rispetto al Supervised Finetuning (SFT), che tende a memorizzare gli esempi di training.
   • Composizione: I modelli riescono a comporre algoritmi appresi indipendentemente (es. combinare due funzioni addestrate separatamente) durante l'inferenza.

2. Generazione di Testo da Grammatiche Formali:

   • Dataset: 200 grammatiche contest-free (CFG) sintetiche.
   • Risultati: Il modello riesce a generare frasi valide secondo grammatiche di test mai viste in esecuzione, dimostrando di aver internalizzato le regole sintattiche e di eseguire calcoli impliciti durante il forward pass, senza bisogno di Chain-of-Thought (CoT) esplicito.

Osservazioni Critiche:

• L'esecuzione tramite PBB è meno affidabile rispetto all'uso esplicito dell'istruzione nel prompt (in-context), ma rappresenta un passo avanti significativo verso l'internalizzazione.
• La rappresentazione delle istruzioni è cruciale: il codice funziona meglio del linguaggio naturale a causa della sua struttura non ambigua.
• L'aumento delle dimensioni del modello e dei dati mostra trend positivi di scalabilità.

5. Significato e Implicazioni

• Sicurezza e Curation dei Dati: Il paper avverte che le istruzioni presenti nei dati di training possono innescare comportamenti indesiderati durante l'inferenza, anche senza che vengano esplicitamente richieste. Questo sottolinea l'importanza critica della cura e del filtraggio dei dati di pretraining.
• Nuovo Paradigma di Apprendimento: PBB suggerisce che i modelli possono apprendere abilità procedurali da descrizioni astratte, riducendo la dipendenza da enormi quantità di dati di dimostrazione.
• Scalabilità: Il metodo si presta bene allo scaling continuo (continual pretraining), offrendo una via per insegnare nuove abilità ai modelli in modo efficiente.

In sintesi, "Programming by Backprop" dimostra che i LLM non sono solo esecutori passivi di prompt, ma possono diventare esecutori attivi di programmi "compilati" nei loro pesi, trasformando la conoscenza dichiarativa in competenza procedurale attraverso un'architettura di training strutturata.