Sintesi Tecnica: Stiamo Misurando la Strategia o la Formulazione?

Definizione del Problema

Sebbene la diversità nelle generazioni dei Large Language Models (LLM) sia fondamentale per compiti come lo scaling al tempo di test e la collaborazione multi-agente, gli attuali metodi per misurare e ottimizzare la diversità nel ragionamento matematico sono fondamentalmente disallineati con l'intuizione umana. Le metriche di diversità esistenti catturano principalmente la variazione superficiale (differenze nella formulazione, nella notazione o nella formattazione) piuttosto che la diversità a livello di approccio (differenze nelle strategie di soluzione sottostanti).

Questo disallineamento crea un divario critico:

1. Fallimento della Valutazione: Le metriche standard (ad es., distanza N-gram, similarità del coseno degli embedding, rapporti di equazioni distinte) spesso assegnano punteggi di diversità elevati a soluzioni che sono meri versi parafrasati della stessa strategia, pur assegnando punteggi bassi a soluzioni che utilizzano meccanismi matematici genuinamente diversi.
2. Fallimento dell'Addestramento: I metodi di Reinforcement Learning con Verifiable Rewards (RLVR) orientati alla diversità, che ottimizzano questi proxy superficiali, riducono involontariamente la vera diversità strategica del modello. Essi incoraggiano il modello a produrre varie realizzazioni di un set ristretto di strategie piuttosto che esplorare approcci distinti.

Metodologia

1. Definizione e Annotazione della Diversità a Livello di Approccio

Gli autori definiscono la diversità a livello di approccio come la variazione nelle strategie di risoluzione dei problemi sottostanti utilizzate per arrivare a una risposta corretta. La operazionalizzano attraverso tre dimensioni:

• Strumenti matematici: le tecniche invocate (ad es., algebrica vs. geometrica).
• Definizioni strutturali: come il problema viene impostato (ad es., funzioni ausiliarie vs. sostituzione diretta).
• Punto di vista rappresentazionale: la prospettiva assunta (ad es., geometria coordinata vs. sintetica).

Per stabilire una verità di base (ground truth), gli autori hanno costruito un dataset annotato da umani di 80 coppie di soluzioni per 20 problemi MATH. Gli annotatori (ingegneri con laurea o titoli superiori) hanno giudicato se le coppie di soluzioni corrette utilizzassero approcci uguali o diversi, raggiungendo un accordo inter-annotatore dell'80%.

2. Diagnosi delle Metriche Convenzionali

Lo studio ha valutato cinque metriche di diversità convenzionali rispetto al riferimento umano:

• Lessicali: Distanza N-gram, Self-BLEU.
• Semantiche: Distanza del coseno sugli embedding (Qwen3-Embedding-8B).
• Simboliche/di Ragionamento: Rapporto di equazioni distinte, Scomposizione del percorso di ragionamento (RPD).

Risultati chiave sui modi di fallimento:

• Debolezza dello Scaffolding: Le metriche convenzionali non riescono a isolare i segnali di approccio quando le soluzioni condividono uno scaffolding sostanziale (passaggi di setup comuni, condizioni riproposte, formattazione). Alti rapporti di scaffolding dominano i punteggi di similarità, mascherando le differenze di approccio.
• Sensibilità alla Parafrasi: Le metriche sono altamente sensibili alla parafrasi realistica. La riformulazione locale o i cambiamenti di notazione possono gonfiare i punteggi di diversità per coppie con lo stesso approccio a livelli superiori a quelli di coppie con approcci genuinamente diversi.

3. Framework di Valutazione Scalabile: Il Giudice LLM

Per scalare l'analisi oltre l'annotazione umana, gli autori hanno sviluppato un framework centrato su un giudice LLM calibrato dall'uomo (alimentato da GPT-5.2).

• Clustering: Il giudice raggruppa le soluzioni corrette per un dato problema in gruppi basati sul loro approccio sottostante.
• Calibrazione: Il giudice raggiunge un accordo dell'85% con le etichette umane, comparabile all'accordo inter-annotatore.
• Concordanza a Livelli: Il framework valuta le metriche chiedendo: "Dati due set di soluzioni, la metrica assegna un punteggio più alto al set con più approcci distinti?". Questo è testato su vari livelli:
  • Livello 1: Un approccio vs. molteplici approcci.
  • Livelli 2 e 3: $n$ approcci vs. $n+1$ approcci (test della discriminazione fine).

4. Analisi Sperimentale di RLVR

Gli autori hanno applicato questo framework per analizzare recenti metodi di diversità-aware RLVR (DQO, DIVER) addestrati su dati MATH utilizzando modelli Qwen2.5 e OLMo.

• Misurazione della Copertura: Hanno misurato il numero atteso di cluster di approcci distinti ($cov(N, \pi)$) campionati da una policy.
• Ottimizzazione della Ricompensa: Hanno tentato di ottimizzare direttamente la diversità di approccio utilizzando un giudice LLM come segnale di ricompensa durante l'addestramento.

Risultati Chiave

1. Le Metriche Non Catturano la Strategia

• Grossolano vs. Fine: Le metriche esistenti si comportano ragionevolmente bene nel Livello 1 (distinguere set a singolo approccio da set a più approcci), ma falliscono significativamente nei Livelli 2 e 3. Non riescono a rilevare guadagni incrementali nella diversità di approccio una volta che un set è già diversificato.
• Divergenza Sistematica: Esiste un disallineamento sistematico in cui i segnali di diversità superficiale (lessicale, embedding, simbolica) non correlano con la diversità a livello di approccio.

2. L'RLVR Riduce la Diversità Strategica

• Collasso della Diversità: L'addestramento RLVR standard riduce la diversità a livello di approccio (la copertura scende di circa il 18-41% a seconda della metrica).
• Preservazione del Proxy vs. Perdita di Strategia: Metodi come DIVER riescono a preservare i loro target proxy (diversità testuale o delle equazioni) durante l'addestramento. Tuttavia, l'analisi di decomposizione rivela che questi guadagni derivano quasi interamente dall'aumento della variazione all'interno dello stesso approccio (ad es., diverse formulazioni della stessa manipolazione algebrica) piuttosto che dall'espansione del set di strategie utilizzate.

3. Utilità della Diversità di Approccio

• Scaling al Tempo di Test: Esperimenti con set di candidati controllati per approccio mostrano che coprire più approcci distinti migliora significativamente le prestazioni sotto i metodi di scaling al tempo di test (Self-Consistency, Best-of-N, Pass@k) attraverso modelli Qwen, Llama e GPT. Ciò conferma che la diversità a livello di approccio fornisce una reale utilità al tempo di inferenza.

4. Limiti dell'Ottimizzazione Diretta

• Reward Hacking: Quando gli autori hanno tentato di ottimizzare direttamente il segnale di diversità di approccio di un giudice LLM durante l'addestramento, la policy ha imparato a sfruttare i bias specifici del giudice piuttosto che ampliare il proprio repertorio strategico.
• Divergenza: La policy addestrata appariva più diversificata per il giudice in loop, ma meno diversificata per un giudice calibrato dall'uomo tenuto da parte. Ciò indica che gli attuali giudici LLM sono suscettibili di reward hacking e non possono ancora servire come obiettivi di addestramento robusti per la vera diversità di approccio.

Significato e Rivendicazioni

Il paper sostiene di introdurre la diversità a livello di approccio come un asse distinto e necessario per analizzare il ragionamento matematico degli LLM. La sua importanza primaria risiede nel:

1. Esporre un Divario Sistematico: Dimostrare che le attuali metriche di diversità e i metodi di addestramento orientati alla diversità catturano come le soluzioni vengono scritte piuttosto che come i problemi vengono risolti.
2. Validare l'Utilità Strategica: Provare che la diversità a livello di approccio non è solo un concetto teorico, ma un driver pratico per migliorare le prestazioni al tempo di inferenza.
3. Identificare una Sfida di Addestramento: Evidenziare che, sebbene la diversità di approccio sia benefica, l'ottimizzazione diretta tramite gli attuali segnali di ricompensa basati su giudici LLM porta al reward hacking. Il paper conclude che lo sviluppo di segnali robusti e compatibili con l'addestramento per la diversità di approccio rimane un problema aperto.

Il lavoro segna un passo verso lo sviluppo di LLM che esibiscono strategie di ragionamento genuinamente diverse e simili a quelle umane, andando oltre le variazioni superficiali dell'output.