LLMs Know More About Numbers than They Can Say

1. Il Problema

Il lavoro affronta una discrepanza fondamentale nelle capacità dei Large Language Models (LLM) moderni: la loro abilità nel ragionamento numerico, in particolare nel confronto tra numeri scritti con notazioni miste (es. notazione scientifica vs. notazione decimale standard).

• Osservazione: Sebbene gli LLM all'avanguardia (come GPT-4.1) riescano a risolvere problemi matematici complessi e confrontare numeri nella stessa notazione (es. "570 vs 580"), falliscono sistematicamente quando devono confrontare numeri con notazioni diverse (es. "Quale è più grande, $5.7 \times 10^2$ o 580?").
• Domanda di ricerca: I modelli possiedono effettivamente una comprensione interna della grandezza di questi numeri (un "senso numerico"), oppure mancano di tale capacità e si limitano a manipolare le stringhe di testo superficiali? Il paper indaga se l'errore risieda nella mancanza di conoscenza interna o nell'incapacità di verbalizzare tale conoscenza.

2. Metodologia

Gli autori hanno adottato un approccio basato sul probing (sondaggio) degli stati nascosti dei modelli, combinato con tecniche di fine-tuning.

• Dataset:
  • Dati sintetici: Coppie di numeri costruite artificialmente per confrontare notazione decimale e scientifica (es. $5.7 \times 10^2$ vs 560).
  • Dati reali: Estratti da paper scientifici di arXiv (dataset peS2o) per testare la generalizzazione in contesti reali.
• Modelli: Una serie di modelli open-weight da 7B a 8B parametri (Llama-2, Llama-3, Mistral, Qwen, DeepSeek) e modelli chiusi (GPT-4.1).
• Tecniche di Probing:
  1. Regressione Lineare: Addestramento di un prober lineare sugli stati nascosti dei token numerici per prevedere il log-magnitudine ($\log_2$) del numero.
  2. Classificazione Binaria: Addestramento di un classificatore logistico sullo stato nascosto finale della prompt per prevedere direttamente quale dei due numeri è più grande ($a > b$).
• Verbalizzazione: Valutazione della capacità del modello di rispondere alla domanda "Quale è più grande?" tramite generazione di testo (prompting one-shot e few-shot).
• Fine-tuning con Loss Ausiliaria: Per testare la causalità, gli autori hanno aggiunto la loss del classificatore di probing come obiettivo ausiliario durante il fine-tuning del modello principale, con l'obiettivo di migliorare le rappresentazioni interne.

3. Risultati Chiave

A. Esistenza di Rappresentazioni Interne Accurate

• Encoding Lineare: Gli stati nascosti degli LLM codificano linearmente le log-magnitudini dei numeri. Una semplice proiezione lineare su un singolo strato nascosto permette di recuperare il valore del numero con un errore relativo mediano di circa 2.3% sui dati sintetici e 19.06% sui paper di arXiv.
• Codifica del Confronto: Gli stati nascosti dopo la lettura di una coppia di numeri contengono informazioni sufficienti per determinare il ranking. Un classificatore lineare addestrato su questi stati raggiunge un'accuratezza superiore al 90-98% (a seconda del modello), anche quando i numeri sono molto vicini.

B. Il Divario tra Conoscenza Interna e Verbalizzazione

• Scarsa Performance Verbale: Nonostante l'alta accuratezza dei sondaggi interni, quando i modelli vengono interrogati esplicitamente, la loro accuratezza nel confronto a notazione mista crolla tra il 50% e il 70% (vicino al caso casuale per alcuni modelli come Llama-2 e Mistral).
• Correlazione: Esiste una forte correlazione tra la qualità delle rappresentazioni interne (misurata dai primi 3 strati del modello) e la performance verbale finale. Modelli con rappresentazioni interne migliori tendono a performare meglio nella verbalizzazione.

C. Impatto del Fine-tuning

• Miglioramento Causale: Incorporare la loss del classificatore di probing come obiettivo ausiliario durante il fine-tuning ha portato a un miglioramento significativo.
• Risultati: Rispetto al fine-tuning standard, l'aggiunta della loss di probing ha ridotto ulteriormente il tasso di errore, portando alcuni modelli a raggiungere un'accuratezza verbale superiore al 99%. Questo dimostra che migliorare le rappresentazioni interne migliora direttamente la capacità del modello di generare risposte corrette.

4. Contributi Principali

1. Dimostrazione dell'Incongruenza: Il paper prova che gli LLM possiedono una conoscenza numerica sofisticata e accessibile internamente (tramite probe lineari) che non riescono a tradurre in output linguistico affidabile senza un addestramento specifico.
2. Metodologia di Probing: Evidenzia come la regressione lineare e la classificazione sugli stati nascosti possano rivelare informazioni numeriche che il modello non riesce a "dire" direttamente.
3. Strategia di Addestramento: Propone un metodo efficace per migliorare le capacità numeriche dei LLM non solo tramite più dati, ma ottimizzando direttamente le rappresentazioni interne attraverso un obiettivo di loss ausiliario mirato.
4. Analisi dei Limiti: Identifica che i modelli più piccoli (7B-8B) soffrono di un "collo di bottiglia" nella verbalizzazione, spesso dovuti a bias posizionali (es. scegliere sempre la seconda opzione) piuttosto che a una mancanza di comprensione del valore numerico.

5. Significato e Implicazioni

Questo studio ha implicazioni profonde per la comprensione e lo sviluppo degli LLM:

• Natura della "Competenza": Suggerisce che la mancanza di "senso numerico" in alcuni compiti non è dovuta all'assenza di conoscenza, ma a un fallimento nel meccanismo di accesso e generazione (decoding).
• Ottimizzazione dei Modelli: Dimostra che l'addestramento mirato sulle rappresentazioni interne (internal representations) è una via promettente per colmare il divario tra ciò che un modello "sa" e ciò che "dice".
• Affidabilità Scientifica: Poiché molti domini (scienza, finanza, ingegneria) richiedono confronti precisi tra notazioni diverse, questo lavoro indica che i modelli attuali potrebbero essere inaffidabili in questi contesti senza un ulteriore fine-tuning specifico, anche se sembrano competenti in altri ambiti.
• Limiti Attuali: Il paper ammette che i risultati sono stati ottenuti principalmente su dati sintetici e modelli aperti di dimensioni contenute; la generalizzazione a modelli molto più grandi (come GPT-4) e a contesti semantici complessi (con unità di misura) rimane un'area per ricerche future.

In sintesi, il paper conclude che "i modelli sanno più di quanto riescano a dire", ma che tale conoscenza interna può essere sfruttata e potenziata per migliorare drasticamente le loro capacità di ragionamento numerico esplicito.