Riepilogo Tecnico: Dal Ragionamento al Codice: Ottimizzazione GRPO per Lingue Sottorappresentate

Enunciato del Problema

Generare codice accurato ed eseguibile in linguaggi di programmazione sottorappresentati (ad esempio Prolog, Lisp) rimane una sfida significativa per i Modelli Linguistici su Larga Scala (LLM). Sebbene i modelli eccellano in linguaggi ad alta risorsa come Python, falliscono costantemente nella programmazione logica a causa della scarsità di dati di training pubblici. Questa scarsità di dati porta a specifici modi di fallimento: allucinazione di predicati inesistenti, imposizione di flussi di controllo imperativi su paradigmi dichiarativi e gestione errata dell'unificazione e del backtracking. Il Fine-Tuning Supervisionato Standard (SFT) è insufficiente perché si basa su esempi scritti da umani, che sono scarsi, e non ottimizza direttamente per la correttezza dell'esecuzione.

Metodologia

Il documento propone un framework di Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) che utilizza feedback guidati dall'esecuzione per addestrare LLM su piccola scala (famiglia Qwen2.5-Coder, da 0,5B a 7B parametri) senza fare affidamento su dataset estesi curati da umani.

Framework Principale

• Algoritmo: Gli autori impiegano la Ottimizzazione della Politica Relativa di Gruppo (GRPO), un algoritmo di gradiente della politica che elimina la necessità di una rete separata per la funzione valore (a differenza di PPO). La GRPO stima il vantaggio di un output rispetto a un gruppo di output peer campionati dallo stesso prompt, riducendo il sovraccarico computazionale.
• Ciclo di Addestramento: Il sistema integra un interprete Prolog (tramite PySwip) direttamente nel ciclo di addestramento. L'LLM genera codice in risposta a prompt in linguaggio naturale (specificamente dal dataset GSM8K), e l'interprete esegue il codice per fornire un segnale di correttezza ground-truth.
• Sistema di Ricompensa: Una funzione di ricompensa multi-obiettivo aggrega quattro segnali:
  1. Ricompense per il Formato: Penalità e bonus per l'aderenza a un template XML rigoroso (<reasoning>, <code>, <query>), assicurando che il codice sia estraibile. Viene applicata una penalità specifica se la query è erroneamente nidificata all'interno del blocco di codice.
  2. Ricompense per la Correttezza: Basate sui risultati dell'esecuzione:
     • +1.0: Corrispondenza esatta con il ground truth.
     • -1.0: Errore logico (esegue ma risultato errato).
     • -0.5: Errore di sintassi (fallisce la compilazione/esecuzione).
     • -0.1: Timeout o nessun output.

Interventi Tecnici Chiave

Gli autori hanno identificato un modo di fallimento denominato "contrazione del ragionamento", dove l'addestramento GRPO standard con una penalità di divergenza Kullback–Leibler (KL) ha causato il collasso del modello da 7B in brevi pattern di output memorizzati, degradando l'accuratezza nel tempo. Per affrontare ciò, hanno introdotto due modifiche critiche:

1. Rimozione della Divergenza KL: L'eliminazione della penalità KL ha permesso alla politica di spostarsi ulteriormente dalla baseline supervisionata, consentendo al modello di interiorizzare il paradigma distintivo della programmazione logica.
2. Ricompensa Consapevole della Lunghezza: È stato aggiunto un meccanismo di ricompensa specifico per incoraggiare catene di ragionamento entro un intervallo target di token, prevenendo che il modello tronchi il proprio processo di ragionamento.

Contributi Chiave

1. Nuovo Stato dell'Arte per Prolog: Dimostrato che l'RLVR con feedback basato sull'esecuzione può compensare la scarsità estrema di dati, stabilendo un nuovo benchmark per la generazione di codice Prolog su GSM8K utilizzando un modello da 7B parametri.
2. Ablazione Sistematica delle Dinamiche GRPO: Identificata la "contrazione del ragionamento" come un modo di fallimento specifico dell'RL regolarizzato con KL nella programmazione logica e caratterizzate le condizioni in cui il rilassamento di questo vincolo è benefico.
3. Generalizzazione Oltre l'Aritmetica: Mostrato che i miglioramenti si trasferiscono a 20 diversi compiti Prolog (Rosetta Code) e al benchmark GSM-Symbolic, dove l'accuratezza zero-shot è più che raddoppiata.
4. Validità Cross-Linguistica: Validato l'approccio su Lisp, dimostrando che l'RL guidato dall'interprete è efficace attraverso diverse famiglie di lingue sottorappresentate.

Risultati

Gli esperimenti sono stati condotti sul dataset GSM8K, con valutazioni su Rosetta Code e GSM-Symbolic (varianti P1 e P2).

• Prestazioni su GSM8K:
  • Il Qwen2.5-Coder-7B ottimizzato (Zero-shot, senza KL, vincolo di lunghezza) ha raggiunto un pass@4 di 0,882.
  • In configurazioni One-shot, la stessa configurazione ha raggiunto 0,893, superando PROPER (Mistral-7B, 0,72), Llama 3.3 70B (0,839) e Qwen2.5-Coder-32B (0,873).
  • Senza la rimozione del KL, il modello da 7B ha sofferto di deriva delle prestazioni, scendendo da una baseline di 0,814 a 0,672.
• GSM-Symbolic:
  • Sul dataset impegnativo P2 (che richiede una manipolazione simbolica più profonda), il pass@4 zero-shot per il modello da 7B è aumentato da una baseline di 0,298 a 0,673.
• Prestazioni su Lisp:
  • L'approccio ha migliorato il pass@4 zero-shot su Lisp da 0,572 a 0,876. Tuttavia, la rimozione del vincolo KL ha prodotto guadagni più modesti su Lisp rispetto a Prolog, suggerendo che l'addestramento "non regolarizzato" è più critico per lingue altamente specializzate e a bassa risorsa.
• Rosetta Code:
  • Il modello da 7B ha quasi raddoppiato la sua baseline zero-shot, raggiungendo un pass@4 di 0,46.

Significato e Affermazioni

Il documento sostiene che per linguaggi formali con semantica deterministica, l'interprete stesso può fungere da segnale di addestramento primario, sostituendo i dati umani scarsi su cui dipendono gli approcci attuali. Trattando il sistema simbolico non solo come uno strumento ma come un "insegnante" che supervisiona la rete neurale tramite tracce di esecuzione, gli autori forniscono un supervisore rigoroso e automatizzato.

Il lavoro afferma di offrire un percorso robusto e adattabile per migliorare la generazione di codice in lingue sottorappresentate. Suggerisce che colmare il divario tra intuizione neurale e rigore simbolico non richiede scala massiva o dataset massivi, ma piuttosto un cambiamento nell'obiettivo di apprendimento verso la massimizzazione della correttezza dell'esecuzione tramite apprendimento per rinforzo. Gli autori concludono che questa metodologia permette ai modelli di rispettare la sintassi e la logica dei linguaggi target, avvicinandosi al "Santo Graal" della programmazione in cui un utente enuncia un problema e il computer lo risolve tramite codice logico verificabile.