LLMs Know More About Numbers than They Can Say

Titel: LLMs weten meer over getallen dan ze kunnen zeggen

Auteurs: Fengting Yuchi, Li Du, Jason Eisner (Shanghai Jiao Tong University & Johns Hopkins University)

1. Het Probleem

Hoewel state-of-the-art Large Language Models (LLMs) geavanceerde wiskundige problemen kunnen oplossen, vertonen ze opvallende tekortkomingen bij het vergelijken van getallen in gemengde notatie. Een typisch voorbeeld is de vraag: "Welk getal is groter: $5.7 \times 10^2$ of $580$?"

De auteurs stellen de fundamentele vraag: Hebben LLMs daadwerkelijk inzicht in de grootte van deze getallen, of zijn ze slechts gespecialiseerd in het manipuleren van tekstuele representaties (nummers) in specifieke notaties?
Er wordt waargenomen dat zelfs geavanceerde modellen (zoals GPT-4.1) en kleinere open-source modellen (7B-8B parameters) veel fouten maken bij deze kruis-notatie vergelijkingen, terwijl ze eenvoudige rekenvragen ("Wat is $5.7 \times 10^2$?") correct beantwoorden. Dit suggereert een kloof tussen intern numeriek inzicht en de capaciteit om dit inzicht te verwoorden (verbaliseren).

2. Methodologie

De auteurs onderzoeken de interne kennis van LLMs door probing (het analyseren van verborgen toestanden) en finetuning.

• Datasets:
  • Synthetische data: Een aangepast dataset met paren van getallen, waarbij één getal in decimale notatie staat en het andere in wetenschappelijke notatie (bijv. $5.7 \times 10^2$ vs. $580$).
  • Real-world data: Een dataset afgeleid van arXiv-papers (peS2o) om te testen hoe modellen presteren op echte wetenschappelijke teksten.
• Probing (Afluisteren van interne representaties):
  • Regressie-probes: Lineaire regressiemodellen worden getraind op de verborgen toestanden (hidden states) van de token-positie van een getal om de log-magnitude ($\log_2$) van het getal te voorspellen.
  • Classificatie-probes: Een logistische regressie-classificator wordt getraind op de verborgen toestand na het lezen van een paar getallen om direct te voorspellen of $a > b$.
• Finetuning:
  • Om te testen of de interne representaties causaal bijdragen aan de prestaties, wordt een hulpdoelstelling (auxiliary loss) toegevoegd tijdens het finetunen. De totale loss wordt: $L_{total} = L_{LM} + \beta L_{cls}$, waarbij $L_{cls}$ de verliesfunctie is van de classificatie-probe. Dit dwingt het model om interne representaties te optimaliseren die beter geschikt zijn voor numerieke vergelijkingen.

3. Belangrijkste Bijdragen en Resultaten

A. Interne Representaties zijn Accuraat (Lineariteit)

De studie toont aan dat LLMs de grootte van getallen lineair coderen in hun verborgen toestanden:

• Log-magnitude: Een enkele lineaire projectie van een geschikte verborgen laag kan de log-magnitude van zowel decimale als wetenschappelijke notatie nauwkeurig reconstrueren.
  • Op synthetische data: Relatieve fout van ongeveer 2,3%.
  • Op arXiv-data: Relatieve fout van ongeveer 19,06%.
• Vergelijkingsinformatie: De verborgen toestand na het lezen van een paar getallen encodeert de rangschikking (welk getal is groter). Een lineaire classifier bereikt >90% nauwkeurigheid op deze interne vergelijkingen, zelfs wanneer de getallen zeer dicht bij elkaar liggen.

B. De "Verbalisatie-Kloof"

Ondanks dat de interne kennis zeer accuraat is, faalt het model bij het verwoorden van dit antwoord:

• Bij het expliciet vragen om een vergelijking ("Welk is groter?") bereiken de modellen slechts 50–70% nauwkeurigheid (slechts marginaal boven de 50% willekeurige baseline).
• Er is een sterke correlatie: modellen met minder effectieve probes (minder goede interne representaties) presteren ook slechter bij het verwoorden.
• Conclusie: De kennis is er wel, maar het model kan deze niet betrouwbaar ophalen tijdens de generatie van tekst.

C. Causaal Verband en Finetuning

De auteurs bewijzen dat het verbeteren van de interne representaties leidt tot betere prestaties:

• Door de loss van de classifier-probe als hulpdoelstelling toe te voegen tijdens het finetunen, verbetert de verbalisatie-nauwkeurigheid met een extra 3,22% ten opzichte van standaard finetuning.
• Voor sommige modellen (zoals Mistral-7B en Qwen3-8B) wordt de nauwkeurigheid na deze aanpassing zelfs >99%.
• Dit bevestigt dat het doelbewust verbeteren van de interne numerieke representaties de numerieke redeneercapaciteiten van het model direct verbetert.

4. Significatie en Conclusie

Dit paper biedt een diepgaand inzicht in de "numerieke geest" van LLMs:

1. Inzicht vs. Expressie: LLMs bezitten geavanceerde, lineair encodeerbare kennis over getalgroottes, maar hebben moeite om deze kennis te vertalen naar natuurlijke taal, vooral bij complexe notaties.
2. Methodologische Vooruitgang: Het paper demonstreert dat "probing" niet alleen een diagnostisch hulpmiddel is, maar dat het gebruik van probe-losses tijdens training een effectieve strategie is om specifieke vaardigheden (zoals numeriek redeneren) te verbeteren.
3. Toekomstperspectief: Het suggereert dat de beperkingen van LLMs in wetenschappelijke en financiële domeinen niet noodzakelijk een gebrek aan kennis zijn, maar een probleem van "toegang" tot die kennis tijdens de generatie. Door de interne representaties te kalibreren, kunnen modellen beter worden gemaakt voor taken die precisie vereisen.

Beperkingen: De resultaten zijn voornamelijk gebaseerd op 7B-8B open-weight modellen en synthetische data. Het is nog onduidelijk of grotere, gesloten modellen (zoals GPT-4) dezelfde patronen vertonen of dat de bevindingen volledig generaliseren naar complexe, contextuele numerieke taken in de echte wereld.