Language Models Learn Universal Representations of Numbers and Here's Why You Should Care

Probleemstelling

Grote Taalmodellen (LLMs) vertonen vaak moeite met het nauwkeurig manipuleren van numerieke informatie, ondanks hun succes in andere domeinen. Eerdere onderzoeken hebben aangetoond dat LLMs getallen representeren via een sinusoïdale structuur (golfvormige patronen) in hun inbeddingen. Echter, bestaande studies hebben beperkingen:

1. Ze focussen vaak alleen op invoer-inbeddingen of synthetische wiskundige taken, niet op natuurlijke taalcontexten.
2. Ze kwantificeren niet in hoeverre deze representaties universeel zijn tussen verschillende model-families.
3. Er is een gebrek aan geschikte interpretatietools die rekening houden met deze sinusoïdale aard, wat leidt tot onnauwkeurige analyses van hoe modellen rekenen.

Het doel van dit werk is om een holistisch beeld te schetsen van hoe LLMs getallen verwerken, de universaliteit van deze mechanismen te kwantificeren, en te demonstreren dat het gebruik van sinusoïdale probes essentieel is voor nauwkeurige analyse en foutreductie.

Methodologie

De auteurs gebruiken een combinatie van Representational Similarity Analysis (RSA), Fourier-decompositie en nieuwe sinusoïdale probes om de interne werking van LLMs te analyseren.

1. Universaliteitstesten:

   • Er wordt RSA toegepast op invoer-inbeddingen van acht verschillende modellen (OLMo, Llama, Phi) om te zien of ze convergeren naar dezelfde inbeddingsruimte voor getallen.
   • Via PCA en Fourier-transformatie worden de dominante frequenties geanalyseerd om te bepalen of modellen dezelfde "trigonometrische features" gebruiken.

2. Ontwikkeling van de param-sin Probe:

   • Bestaande probes (zoals lineaire of logaritmische) worden vergeleken met een nieuwe probe die specifiek is ontworpen voor sinusoïdale data.
   • De nieuwe probe (param-sin) wijst een enkele sinusbefunctie toe aan elke latente feature en optimaliseert direct de frequentie, faseverschuiving en amplitude:
     $$f_{param-sin}(x) = S^T (W_{in}x)$$
     waarbij $S = w_a \sin(w_\phi + w_f^T)$.
   • In tegenstelling tot eerdere werken, worden deze probes getraind op natuurlijke taalcontexten (temporeel, medisch, culinair, rekenkundig) in plaats van alleen synthetische wiskundige commando's.

3. Cross-layer en Cross-model Generalisatie:

   • De auteurs testen of probes getraind op één laag of model kunnen worden toegepast op andere lagen en modellen.
   • Er wordt geëvalueerd of probes getraind op natuurlijke taal beter generaliseren dan die getraind op synthetische data.

4. Mechanistische Interventie (Activatie Steering):

   • Om de causaliteit van de sinusoïdale structuur te bewijzen, sturen de auteurs de activaties van het model naar de verwachte sinusoïdale patroon wanneer het model een fout maakt bij rekenopdrachten (vermenigvuldiging en deling).

Belangrijkste Bijdragen

1. Nieuwe, nauwkeurigere Probe: Ontwikkeling van een param-sin probe die beter generaliseert over taken en modellen dan bestaande methoden.
2. Kwantificering van Universaliteit: Het bewijs dat sinusoïdale representaties van getallen universeel zijn over verschillende model-families, groottes en lagen, en niet beperkt blijven tot de invoer-inbedding.
3. Natuurlijke Taal Context: Eerste analyse van numerieke verwerking in echte natuurlijke taalcontexten, wat aantoont dat training op real-world data cruciaal is voor robuuste probes.
4. Mechanistisch Bewijs: Het aantonen dat de precisie van de sinusoïdale structuur direct correleert met de rekennauwkeurigheid van het model, en dat het herstellen van deze structuur fouten kan verhelpen.

Resultaten

• Universele Sinusoïdale Structuur: Verschillende model-families (Llama, OLMo, Phi) convergeren naar bijna identieke sinusoïdale representaties voor getallen. De top 63 Fourier-frequenties zijn perfect overeenkomend tussen modellen voor getallen, maar niet voor willekeurige woordstukken.
• Hoog Nauwkeurigheid: De param-sin probe bereikt >80% nauwkeurigheid (vaak >90%) bij het decoderen van getallen uit interne activaties in natuurlijke taal, wat aanzienlijk hoger is dan lineaire of logaritmische probes.
• Generalisatie: Probes getraind op natuurlijke taal generaliseren uitstekend naar zowel wiskundige als natuurlijke taal contexten. Probes getraind op synthetische data falen echter bij generalisatie naar natuurlijke taal.
• Cross-layer Transfer: Een probe getraind op één specifieke laag kan met hoge nauwkeurigheid worden toegepast op andere lagen (behalve de allereerste en allerlaatste laag), wat aantoont dat de representatie consistent blijft tijdens de verwerking.
• Multi-token Getallen: Sinusoïdale probes kunnen waarden van multi-token getallen (bijv. grote getallen) met 99% nauwkeurigheid terugvinden in de laatste token-representatie, terwijl algemene tools zoals TunedLens dit sterk onderschatten.
• Foutreductie door Steering: Door activaties in lagen met fouten te sturen naar het verwachte sinusoïdale patroon, konden tot 30% van de fouten bij vermenigvuldiging en 42% bij deling worden gecorrigeerd.
• Orde-data: De methode werkt ook voor andere ordinaire data (zoals dagen van de week en maanden), wat suggereert dat deze mechanismen breed toepasbaar zijn.

Significantie

Deze studie heeft fundamentele implicaties voor het veld van interpretability en explainability in AI:

1. Herziening van Analyse-methoden: Het toont aan dat generieke interpretatietools (zoals TunedLens of lineaire probes) onvoldoende zijn voor numerieke taken en de werkelijke capaciteit van modellen onderschatten. Specifieke tools die de sinusoïdale aard van data respecteren, zijn noodzakelijk.
2. Betrouwbaarheid van LLMs: Het mechanistische inzicht biedt een weg om rekenfouten in LLMs niet alleen te diagnosticeren, maar ook actief te corrigeren via activatie-sturing.
3. Universele Mechanismen: Het bewijs dat diverse modellen universele wiskundige principes (sinusoïdale patronen) leren, suggereert dat deze representaties een fundamenteel onderdeel zijn van hoe neurale netwerken ordening en kwantiteit verwerken, ongeacht de architectuur.
4. Praktische Toepassing: Voor ontwikkelaars die LLMs willen inzetten voor wiskundige of data-analyse taken, is het cruciaal om te begrijpen dat de interne representatie van getallen een specifieke, systematische structuur heeft die anders moet worden benaderd dan natuurlijke taal.

Kortom, het artikel stelt dat het begrijpen en benutten van de sinusoïdale universaliteit van getallenrepresentaties de sleutel is tot het verbeteren van de nauwkeurigheid en betrouwbaarheid van Large Language Models in wiskundige domeinen.