Sintesi Tecnica: RL COMPREME, SFT ESPANDE: UNO STUDIO COMPARATIVO DI LLM RAGIONATIVI

Enunciato del Problema

Sebbene l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) e il Fine-Tuning Supervisionato (SFT) siano i paradigmi dominanti per il post-addestramento dei Modelli Linguistici di Grande Dimensione (LLM) al fine di potenziare le capacità di ragionamento, i meccanismi specifici attraverso cui questi metodi plasmano i processi di ragionamento sottostanti rimangono elusivi. Studi precedenti si sono concentrati prevalentemente su metriche basate sul risultato (ad es. Pass@k), arrivando spesso alla conclusione che il RL semplicemente risveglia capacità di base preesistenti o che l'SFT porta alla memorizzazione mentre il RL promuove la generalizzazione. Tuttavia, tali studi mancano di una comprensione granulare di come RL e SFT alterino fondamentalmente la struttura dei percorsi di ragionamento e la topologia dello spazio di ragionamento. Questo articolo affronta la domanda: Come modellano RL e SFT il processo di ragionamento oltre le misurazioni di accuratezza?

Metodologia

Gli autori introducono un nuovo framework di analisi che quantifica i percorsi di ragionamento e ne cattura le modifiche qualitative sotto diversi regimi di addestramento. Lo studio impiega modelli di dimensioni variabili (1,5B, 7B e 14B parametri) nei domini matematico (AIME24, AIME25, AMC23) e del codice (HumanEval). L'analisi è condotta a due livelli di granularità:

1. Analisi a Livello di Traiettoria:

   • Metodo: Vengono campionati output multipli (M=256) dai modelli Base, RL, SFT e SFT+RL. Le traiettorie di ragionamento uniche vengono identificate applicando il clustering gerarchico (UPGMA) agli output basati sulla similarità degli n-grammi a livello di carattere (chrF).
   • Obiettivo: Contare e confrontare il numero di traiettorie corrette e errate uniche prima e dopo l'addestramento.

2. Analisi a Livello di Passo (Grafici di Ragionamento):

   • Costruzione: Gli output del modello vengono segmentati in frasi, incorporati in uno spazio vettoriale (utilizzando BGE-large-en-v1.5) e clusterizzati (K-means) per definire i nodi. Le transizioni tra le frasi formano archi diretti, creando un "grafo di ragionamento" per ogni problema.
   • Metriche: Lo studio analizza proprietà topologiche globali e locali, tra cui:
     • Tassi di Decadimento Esponenziale: Adattamento dei grafici di rango della frequenza di visita dei nodi, del grado e della centralità di intermediazione a una legge esponenziale ($X(R) \propto e^{-\lambda R}$) per determinare il tasso di decadimento $\beta$.
     • Topologia Globale: Densità degli archi, coefficiente di clustering, assortatività, modularità, centralizzazione di Freeman, lunghezza media del percorso, efficienza globale e connettività algebrica.
     • Struttura Locale: Analisi dei grafoletti (conteggio dei sottografi a 4 nodi) per rilevare strutture cicliche vs. acicliche.

Contributi Chiave

Il paper stabilisce una "prospettiva del percorso di ragionamento" che spiega i ruoli complementari di SFT e RL:

1. Dinamiche a Livello di Traiettoria:

   • RL Comprime: L'addestramento RL comprime significativamente il numero di traiettorie errate uniche, potando efficacemente lo spazio di ricerca degli errori. Tuttavia, riduce anche il numero di traiettorie corrette uniche, concentrando la massa di probabilità su percorsi più ridotti.
   • SFT Espande: L'addestramento SFT aumenta il numero di traiettorie corrette uniche, introducendo nuove strategie di soluzione assenti nel modello base. Crucialmente, l'SFT da solo tende a preservare le traiettorie errate, non garantendo miglioramenti nel Pass@1.
   • Sinergia: Il successo dell'approccio a due stadi SFT+RL è attribuito all'SFT che espande lo spazio delle soluzioni corrette, seguito dal RL che comprime lo spazio di quelle errate.

2. Cambiamenti Strutturali a Livello di Passo:

   • Tassi di Decadimento: Il RL inasprisce i tassi di decadimento ($\beta$) delle distribuzioni di frequenza di visita, grado e centralità di intermediazione. Ciò indica che il RL consolida la funzionalità del ragionamento (ad es. hub, nodi centrali) in un piccolo sottoinsieme di passi. Al contrario, l'SFT appiattisce questi tassi di decadimento, omogeneizzando la funzionalità attraverso molti passi diversi.
   • Topologia Globale:
     • Modelli Base: Mostrano alta modularità e bassa efficienza globale, indicando che il ragionamento è intrappolato in comunità distinte e debolmente connesse.
     • Modelli RL: Trasformano i grafi in strutture centralizzate sugli hub con alta densità di archi e bassa modularità, consentendo una traversata efficiente attraverso pochi nodi centrali.
     • Modelli SFT: Indeboliscono i confini delle comunità per formare grafi globalmente connessi con alta robustezza ed efficienza di raggiungibilità, sebbene possano mantenere alcuni percorsi errati.
   • Struttura Locale: Sia RL che SFT aumentano la proporzione di sottografi ciclici (riflettendo backtracking e verifica), suggerendo che le strutture cicliche locali da sole non possono spiegare le differenze di prestazioni; la topologia globale è il fattore discriminante.

Risultati

• Domini Matematici e del Codice: I risultati si mantengono coerenti attraverso i dataset matematici (AIME, AMC) e la generazione di codice (HumanEval).
• Pass@k vs Pass@1: La riduzione delle traiettorie corrette uniche da parte del RL spiega perché i modelli Base possano talvolta superare i modelli RL nel Pass@k (per grandi $k$) a causa della copertura più ampia della distribuzione del modello base, mentre il RL eccelle nel Pass@1 concentrando la massa sul percorso corretto più probabile.
• Correlazioni Topologiche: L'efficienza globale e la connettività algebrica sono positivamente correlate ai rapporti Pass@1/Pass@k, mentre la modularità è negativamente correlata. Ciò suggerisce che i grafi di ragionamento che facilitano una traversata efficiente attraverso l'intero spazio delle soluzioni sono critici per le alte prestazioni.
• Studi di Ablazione: I risultati riguardanti i tassi di decadimento e gli spostamenti topologici rimangono robusti attraverso diversi conteggi di cluster ($K$), metriche di distanza (Euclidea vs Coseno) e encoder di frasi.

Significato e Affermazioni

Il paper afferma di fornire supporto empirico all'ipotesi "RL comprime, SFT espande", offrendo una spiegazione meccanicistica del perché la migliore pratica attuale di addestramento a due stadi (SFT seguito da RL) abbia successo.

• Interpretazione dell'Addestramento: Postula che l'SFT agisca come un "espansore" dello spazio di ragionamento (apprendendo nuove strategie), mentre il RL agisca come un "compressore" (ottimizzando la distribuzione per sopprimere gli errori e focalizzarsi sui percorsi corretti ad alta probabilità).
• Cura dei Dati: I risultati suggeriscono che la costruzione dei dati per il ragionamento dovrebbe considerare le metriche dei grafi (ad es. garantire bassa modularità e alta efficienza globale) piuttosto che solo l'accuratezza.
• Direzioni Future: Gli autori suggeriscono che applicare il RL solo ai passi funzionali (hub) potrebbe migliorare l'efficienza e che esplorare se i bonus di esplorazione nel RL prevengano una "eccessiva compressione" sia una direzione preziosa.

Il lavoro non afferma di inventare nuovi algoritmi di addestramento, ma offre piuttosto un framework diagnostico per comprendere quelli esistenti, interpretando perché le attuali ricette di post-addestramento funzionino e suggerendo direzioni per approcci di apprendimento più efficienti e per la cura dei dati.