Riepilogo Tecnico: GeoMin - RLVR Semi-Supervisionato ed Efficiente dal Punto di Vista dei Dati tramite la Modellazione della Distribuzione Geometrica

1. Definizione del Problema

L'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) è diventato un paradigma cruciale per potenziare le capacità di ragionamento dei Large Language Models (LLM). Tuttavia, la scalabilità dell'RLVR è severamente limitata dal "collo di bottiglia dell'annotazione": gli approcci supervisionati standard richiedono costose annotazioni di verità fondamentale (ground-truth), mentre le alternative non supervisionate soffrono spesso di "collasso del modello" a causa della dipendenza da segnali di auto-ricompensa rumorosi (ad esempio, voto di maggioranza, entropia) che rinforzano una falsa fiducia senza fondamento fattuale.

Recenti approcci semi-supervisionati, come TraPO, tentano di colmare questo divario utilizzando un piccolo set etichettato per guidare la selezione di dati non etichettati di alta qualità. Tuttavia, questi metodi affrontano un critico collo di bottiglia dell'efficienza dei dati. Essi si affidano a euristiche di prestazione grossolane (ad esempio, l'allineamento dei tassi di successo delle singole traiettorie con le medie collettive), che non tengono conto delle fluttuazioni naturali nell'ottimizzazione dei singoli casi. Di conseguenza, questi metodi presentano un severo "collo di bottiglia del richiamo" (recall bottleneck), utilizzando solo una minima frazione (circa il 12,3%) dei disponibili dati non etichettati affidabili, lasciando inutilizzato la maggior parte degli istanze preziose.

2. Metodologia: GeoMin

Gli autori propongono GeoMin, un framework a due stadi che sfrutta le proprietà geometriche delle rappresentazioni latenti per estrarre efficientemente dati non etichettati di alta qualità. L'intuizione centrale è che i rollout di ragionamento corretti e incorretti esibiscono una distinta risonanza geometrica nelle loro distribuzioni direzionali, che può essere modellata per valutare l'affidabilità dei segnali di auto-ricompensa.

Concetto Core: Prior Geometrici

Il metodo modella gli stati nascosti degli LLM (specificamente gli embedding dell'ultimo token normalizzati) come dati direzionali su un ipersfera. Postula che i rollout corretti e incorretti formino cluster distinti che possono essere modellati utilizzando distribuzioni di von Mises-Fisher (vMF).

• Risonanza Geometrica: Man mano che l'addestramento procede, le distribuzioni direzionali dei rollout corretti e incorretti si separano naturalmente. I rollout corretti non etichettati si allineano con la distribuzione "corretta" etichettata, mentre quelli incorretti si allineano con la distribuzione "errata".

Stadio 1: Ancoraggio Supervisionato

Per stabilire un robusto prior geometrico, GeoMin esegue prima un addestramento supervisionato esclusivamente su un piccolo set etichettato ($D_l$).

• Modellazione della Distribuzione: Modella distribuzioni vMF online ($\mu_c, \kappa_c$) per le classi corrette ($c=1$) e errate ($c=0$) attraverso i livelli della rete.
• Disambiguazione del Confine: Il metodo identifica gli "esempi di confine ambigui" dove l'allineamento geometrico dei rollout contraddice la loro correttezza (ad esempio, un rollout corretto è geometricamente più vicino alla distribuzione errata).
• Ripesatura del Vantaggio (Advantage Reweighting): Per accelerare l'emergere della separazione geometrica, i vantaggi di questi esempi di confine vengono amplificati durante l'aggiornamento del Group Relative Policy Optimization (GRPO). Ciò rende più netto il confine decisionale nello spazio delle rappresentazioni.

Stadio 2: Estrazione di Campioni Guidata dalla Geometria

Nello secondo stadio, il framework incorpora dati non etichettati ($D_u$) per l'addestramento semi-supervisionato.

• Adattamento Dinamico: Le distribuzioni vMF vengono continuamente aggiornate utilizzando il subset etichettato per tracciare l'evoluzione dello spazio delle rappresentazioni.
• Selezione del Livello Discriminativo: Il metodo quantifica la separabilità per livello ($\Delta^{(l)}$) e seleziona i top-$K$ livelli con la più alta fedeltà diagnostica per la valutazione dell'affidabilità.
• Punteggio di Confidenza: Per ogni istanza non etichettata, viene calcolato un punteggio di confidenza ($s_i$) aggregando le affinità direzionali dei suoi rollout rispetto alle distribuzioni vMF corrette e errate apprese.
• Filtraggio Adattivo: Invece di utilizzare una soglia statica, GeoMin adatta un Modello di Miscela Gaussiana (GMM) alla distribuzione dei punteggi di confidenza. Seleziona adattivamente gli esempi ad alta confidenza (quelli appartenenti alla componente gaussiana ad alta media) per formare un set di pseudo-etichette affidabile ($B^*_u$).
• Addestramento: La policy finale è ottimizzata sull'unione del set etichettato originale e del set filtrato di dati non etichettati affidabili.

3. Contributi Chiave

1. Scoperta della Risonanza Geometrica: Il paper identifica e formalizza il fenomeno della "risonanza geometrica", in cui la discrepanza strutturale tra i rollout corretti e incorretti può essere decodificata tramite le distribuzioni globali delle feature, fornendo un robusto prior per la valutazione dell'affidabilità delle pseudo-etichette.
2. Nuovo Framework a Due Stadi: GeoMin introduce un approccio coordinato che combina l'ancoraggio supervisionato (per stabilire confini discriminativi) e l'estrazione guidata dalla geometria (per selezionare adattivamente i dati non etichettati), superando i limiti di richiamo dei precedenti metodi semi-supervisionati.
3. Efficienza dei Dati: Modellando le distribuzioni anziché fare affidamento su euristiche di prestazione macroscopiche, GeoMin raggiunge un punteggio F1 dell'89,0% nell'identificazione di campioni non etichettati affidabili, superando significativamente il punteggio F1 del 21,4% del baseline TraPO.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset Deepmath-103k utilizzando Qwen3-8B-Base e altri modelli (1.5B, 8B).

• Guadagni di Performance: GeoMin supera il più forte baseline semi-supervisionato (TraPO) di +4,1% nell'accuratezza In-Domain (ID) e di +1,7% nell'accuratezza media Out-of-Domain (OOD).
• Efficienza di Annotazione: Sorprendentemente, GeoMin addestrato con solo il 10% delle annotazioni supera il baseline completamente supervisionato (addestrato sul 100% dei dati) di +1,2% nelle prestazioni ID, mantenendo al contempo prestazioni OOD competitive.
• Scalabilità: Il metodo dimostra miglioramenti costanti attraverso diverse scale di modello (da 1.5B a 8B) e architetture (Qwen vs. Llama).
• Efficienza: GeoMin ottiene un'accelerazione di 2,14× nel tempo totale di addestramento rispetto a TraPO, poiché evita le fasi di warm-up multi-epoca richieste dai baseline di matching delle traiettorie.

5. Significato e Rivendicazioni

Il paper sostiene che GeoMin rappresenti un passo significativo verso un RLVR scalabile ed efficiente nei dati. Spostando l'attenzione dalle probabilità di output superficiali all'allineamento geometrico delle rappresentazioni latenti, il metodo sblocca il potenziale di vasti dataset non etichettati senza compromettere la stabilità dell'addestramento.

Gli autori affermano che GeoMin aggira efficacemente la barriera dell'annotazione, consentendo ai modelli di raggiungere una capacità di generalizzazione superiore con un minimo di supervisione umana. Il lavoro suggerisce che il "collo di bottiglia del richiamo" nell'RLVR semi-supervisionato non è inerente al paradigma, ma deriva dalla dipendenza da euristiche grossolane, che possono essere risolte attraverso una rigorosa modellazione della distribuzione geometrica.

Limitazioni Riconosciute:

• La validazione è stata condotta principalmente su modelli fino a 8 miliardi di parametri; le prestazioni su modelli di frontiera più grandi devono ancora essere verificate.
• L'efficienza del metodo dipende dalla qualità iniziale della discriminabilità geometrica del modello; i modelli con una scarsa qualità iniziale di rappresentazione potrebbero richiedere un addestramento prolungato nello Stadio 1.
• L'attuale valutazione è limitata al ragionamento testuale e simbolico; la generalizzazione a compiti multimodali o cross-lingua richiede ulteriori indagini.