💬 NLP

Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models

Deze studie toont aan dat taalmodellen van het transformer-type consistent een log-compressieve representatie van grootten vertonen die voortkomt uit trainingsdata-statistieken, maar dat deze geometrie op zichzelf niet voldoende is om menselijke gedragscompetentie in grootten-discriminatie te garanderen.

Oorspronkelijke auteurs: Jon-Paul Cacioli

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jon-Paul Cacioli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt vol met boeken, maar in plaats van woorden, bevatten deze boeken alleen maar getallen, tijden en afstanden. De vraag die onderzoekers zich stelden is: Hoe "denkt" een slimme computer (een AI) over deze groottes? Ziet hij 100 als iets dat 100 keer zo groot is als 1, of ziet hij het als een soort logische stap?

Vroeger waren onderzoekers het hier niet over eens. Sommigen zeiden: "De computer telt lineair, net als wij op onze vingers." Anderen zeiden: "Nee, hij telt logaritmisch, net als onze oren die geluidsterktes waarnemen."

Deze nieuwe studie, geschreven door Jon-Paul Cacioli, pakt dit conflict aan met een slimme truc: hij gebruikt de regels van de psychologie (hoe mensen waarnemen) om te kijken hoe AI werkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Logaritmische Roltrap" (De Geometrie)

Het belangrijkste ontdekking is dat de AI's inderdaad logaritmisch denken.

De Analogie: Stel je voor dat je een roltrap hebt. Op de eerste treden (kleine getallen zoals 1, 2, 3) staan de treden heel dicht bij elkaar. Je moet heel precies stappen om een verschil te voelen. Maar naarmate je hoger komt (naar 100, 1000, 10.000), worden de treden steeds grover en verder uit elkaar.
Wat betekent dit? Voor de AI is het verschil tussen 1 en 2 heel groot en belangrijk. Het verschil tussen 1000 en 1001 is daarentegen zo klein dat het bijna niets voorstelt.
Waarom? De AI heeft dit geleerd van de boeken in zijn bibliotheek (de trainingsdata). In de echte wereld komen kleine getallen veel vaker voor dan grote getallen. De AI heeft dus een "efficiënte opslag" ontwikkeld: hij geeft meer ruimte aan de kleine, vaak voorkomende getallen en knijpt de grote getallen samen. Dit is precies hoe ook onze hersenen werken (Weber's Wet).

2. De "Sierlijke Vazen" vs. De "Werkende Gereedschappen" (De Dissociatie)

Dit is het meest verrassende deel van het verhaal. De onderzoekers ontdekten dat hoe iets eruitziet, niet betekent dat het ook werkt.

De Analogie: Stel je voor dat je een prachtige, ingewikkelde sierlijke vaas hebt staan in de woonkamer. Hij is perfect gevormd, heeft een logaritmische curve en ziet eruit alsof hij gemaakt is om water te dragen. Maar als je er water in doet, lekt hij direct. Hij is mooi, maar nutteloos voor het doel.
In de AI: De onderzoekers zagen dat de AI's in hun "hersenen" (de lagen van het netwerk) prachtige, logaritmische kaarten hadden van getallen. Maar toen ze de AI vroegen om te vergelijken ("Wat is groter: 45 minuten of 1 uur?"), faalde de ene AI (Mistral) volledig, terwijl de andere (Llama) het goed deed.
De les: De AI kan de "kaart" van de getallen hebben (de geometrie), maar dat betekent niet dat hij die kaart ook daadwerkelijk gebruikt om een beslissing te nemen. Soms is de kaart er gewoon, maar is de "bestuurder" (de instructie) niet in staat om hem te lezen.

3. De "Vroegste Versnelling" (Causale Interventie)

De onderzoekers keken ook waar in de AI deze getallen werden verwerkt. Ze dachten: "De lagen waar de getallen het mooist zijn, moeten de belangrijkste zijn."

De Analogie: Stel je voor dat je een fabriek hebt. De directeur (de laatste lagen) heeft een prachtig, perfect georganiseerd kantoor met alle statistieken op de muur. Maar de mensen die de machines echt aansturen en de beslissingen nemen, zitten in de kelder (de vroege lagen), waar het rommelig is en de statistieken minder duidelijk zijn.
Wat vonden ze? De AI nam zijn beslissingen over getallen in de vroege lagen (de kelder), waar de getallen-structuur eigenlijk nog wat wazig was. In de laatste lagen (het kantoor van de directeur), waar de getallen-structuur perfect en logaritmisch was, gebeurde er eigenlijk niets. Die mooie structuur was daar alleen voor "opslag" of voor het voorspellen van het volgende woord, niet voor het vergelijken van getallen.

4. De "Schakelaar" (Training vs. Instructie)

Tenslotte ontdekten ze wat het verschil maakt tussen een AI die wel en niet kan vergelijken.

De Analogie: Stel je voor dat je een auto bouwt (de basis AI). Deze auto heeft al een motor, wielen en een stuur (de logaritmische structuur). Maar de auto kan niet rijden omdat er geen bestuurder in zit. Als je een bestuurder toevoegt (instructie-tuning), kan de auto ineens rijden.
Conclusie: De "logaritmische manier van denken" komt vanzelf tijdens het leren van de taal (de pre-training). Maar om die kennis ook echt te gebruiken om vragen te beantwoorden, moet de AI eerst worden getraind om gehoorzaam te zijn aan instructies (instruction tuning).

Samenvatting in één zin

Deze studie laat zien dat AI's, net als mensen, getallen "logaritmisch" opslaan omdat dat efficiënt is, maar dat het hebben van deze slimme opslag niet garandeert dat ze er ook slim mee kunnen omgaan; daarvoor is een extra "bestuurder" nodig die de instructies begrijpt.

Probleemstelling

Recent onderzoek naar hoe transformer-taalmodellen (LLMs) grootheden (magnitudes) zoals getallen, tijd en ruimte intern representeren, levert tegenstrijdige bevindingen op. Sommige studies suggereren een logaritmische opslag, andere een lineaire codering, en weer anderen wijzen op cirkelvormige representaties per cijfer. Er ontbreekt een principieel raamwerk om deze discrepanties op te lossen en de relatie tussen de interne representatie en het gedrag van het model te begrijpen. De auteurs stellen dat psychofysica, een discipline die de kwantitatieve relatie bestudeert tussen stimulusgroottes en mentale representaties, het ontbrekende raamwerk biedt.

Methodologie

De auteurs passen een psychofysisch raamwerk toe op drie instructie-afgestemde modellen (Llama-3-8B, Mistral-7B, en post-hoc Qwen-2.5-7B) over drie domeinen: numeriek, temporair en ruimtelijk. Ze gebruiken vier convergerende paradigma's:

Representational Geometry Probing (RSA): Vergelijking van de representatieve dissimilariteitsmatrix (RDM) van het model met theoretische matrices (Lineair, Weber/Logaritmisch, Stevens/Machtswet) via Spearman-rangcorrelatie en Mantel-permutatietests.
Gedragsdiscriminatie: Taak waarbij het model moet kiezen welke van twee grootheden groter is (bijv. "welk bedrag is hoger?"). Hierbij wordt de nauwkeurigheid en de Weber-fraction (WF) gemeten.
Precisiegradiënten: Analyse van hoe de lokale precisie (omgekeerde afstand tussen aangrenzende magnitudes) varieert met de grootte van de magnitude.
Causale Interventie: "Activation patching" om te testen of het manipuleren van de magnitude-richting in de neurale activiteit de uitkomst van vergelijkingstaken causaal beïnvloedt.

Daarnaast werd een corpusanalyse uitgevoerd om de verdeling van gehele getallen in de trainingsdata te bepalen (efficient coding precondition).

Belangrijkste Bijdragen

Psychofysisch Raamwerk voor LLM's: Dit is de eerste toepassing van de volledige psychofysische toolkit (Weber-factoren, psychometrische functies, RSA met Mantel-tests, causale interventie) op de interne representaties van taalmodellen.
Empirische Oplossing van Conflict: Het paper lost de tegenstrijdige bevindingen op (logaritmisch vs. lineair) door te tonen dat de globale geometrie logaritmisch is, terwijl lokale lineaire probes succesvol kunnen zijn omdat de compressie glad en monotoon is.
Drie Informatieve Dissociaties:
- Geometrie zonder gedragscompetentie: Modellen hebben de juiste geometrie maar falen in het gedrag.
- Model-specifieke readout: Verschillen in gedragsprestaties ondanks vergelijkbare geometrie.
- Causale laag-inversie: De lagen met de sterkste geometrie zijn niet causaal betrokken bij de vergelijkingstaak.

Resultaten

1. Representatieve Geometrie is Consistent Logaritmisch (H1 Ondersteund)
Over alle 96 geteste cellen (modellen × domeinen × lagen) was de representatieve afstand consistent logaritmisch.

Correlaties: RSA-correlaties met een Weber-wet dissimilariteitsmatrix varieerden van .68 tot .96.
Vergelijking: Lineaire geometrie werd nooit verkozen. De Stevens-exponent ( $\beta$ ) convergeerde naar ~0.01, wat wijst op extreme logaritmische compressie (sterker dan in biologische systemen).
Corpus Analyse: De frequentie van gehele getallen in de trainingsdata volgt een machtwet ( $\alpha = 0.77$ ), wat de voorwaarde voor "efficient coding" bevestigt.

2. Gedragscompetentie is Model- en Domein-specifiek (H2 Niet Ondersteund op Programmatic Niveau)
Hoewel de geometrie logaritmisch was, vertaalde dit zich niet altijd naar menselijk gedrag:

Numeriek: Het Llama-model toonde een Weber-fraction (WF) van 0.20, wat binnen het menselijke bereik valt. Mistral presteerde echter op niveau van toeval en zijn gedrag werd beter verklaard door absolute verschillen dan door verhoudingen.
Temporaal en Ruimtelijk: Beide modellen presteerden op toevalsniveau op discriminatietaken voor tijd en ruimte, ondanks dat ze wel een logaritmische geometrie voor deze domeinen bezaten.
Oorzaak: De unit-boundary controle suggereert dat het falen komt door het gebrek aan abstractie over eenheidsgrenzen heen (bijv. "minuten" vs. "uren"), niet door een gebrek aan magnitude-verwerking.

3. Causale Laag-Dissociatie (E5)
Een cruciale bevinding is dat de lagen met de sterkste geometrische structuur (late lagen) niet causaal betrokken zijn bij het uitvoeren van vergelijkingstaken.

Vroege Lagen: Activatie-patching in vroege lagen (waar de RSA-correlatie lager is) had een sterk causaal effect (specificiteit ratio ~4x).
Late Lagen: Patching in late lagen (waar de geometrie het sterkst is) had geen significant effect.
Conclusie: De meest gestructureerde representatie is niet noodzakelijk de subspace die het model daadwerkelijk gebruikt voor berekening.

4. Rol van Pre-training vs. Instruction Tuning

Pre-training: De logaritmische geometrie is een eigenschap die tijdens pre-training ontstaat (gezien in het base-model van Llama).
Instruction Tuning: De gedragscompetentie (het vermogen om de geometrie te gebruiken voor vergelijking) wordt bepaald door instruction tuning. Het base-model had perfecte geometrie maar geen gedragscompetentie.

Betekenis en Conclusie

Het paper concludeert dat trainingsdata-statistieken voldoende zijn om log-compressieve magnitude-geometrie te produceren in transformer-modellen, zonder dat biologische beperkingen (zoals metabole kosten) nodig zijn. Dit ondersteunt het "efficient coding" perspectief.

Echter, geometrie alleen garandeert geen gedragscompetentie. De vertaling van interne representatie naar gedrag hangt af van de readout-mechanismen die tijdens instruction tuning worden ontwikkeld. Dit heeft belangrijke implicaties voor interpretability-onderzoek: het vinden van gestructureerde representaties (bijv. via lineaire probes) betekent niet automatisch dat het model die representaties daadwerkelijk gebruikt voor de taak. Causale interventie is nodig om functionele relevantie vast te stellen.

Kortom: De input-distributie bepaalt de codering, maar de fine-tuning bepaalt of en hoe die codering wordt gebruikt.