Categorical Perception in Large Language Model Hidden States: Structural Warping at Digit-Count Boundaries
Dit onderzoek toont aan dat grote taalmodellen een vorm van categorische waarneming vertonen in hun verborgen staten bij overgangen in het aantal cijfers, waarbij de meetkundige representaties vertekenen aan deze structurele grenzen, zelfs zonder dat het model de categorie-expliciet kan benoemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Kern: Hoe Computers "Getallen" Zien
Stel je voor dat je een computer vraagt om te kijken naar een rij getallen: 1, 2, 3... tot 10, 11, 12. Voor ons mensen is het verschil tussen 9 en 10 heel klein. Maar voor een computer (een groot taalmodel zoals Llama of Gemma) is er iets magisch en vreemds aan het getal 10.
Dit onderzoek, gedaan door een onafhankelijk onderzoeker uit Melbourne, ontdekt dat deze computers een soort "categorische waarneming" hebben. Dat klinkt ingewikkeld, maar het is eigenlijk heel simpel:
- Voor ons: Getallen lopen soepel door elkaar heen, net als de kleuren in een regenboog.
- Voor de computer: Getallen lijken op een trap. Er is een scherpe sprong tussen "één cijfer" (zoals 9) en "twee cijfers" (zoals 10).
De computer ziet 9 en 10 niet als twee buren die heel dicht bij elkaar staan. Voor de computer zijn ze alsof ze aan weerszijden van een diepe kloof staan. Dit fenomeen heet in de psychologie categorical perception (categorische waarneming), en dit onderzoek bewijst dat het ook in de "hersenen" van AI zit.
De Grote Ontdekking: De "Kloof" in de Data
De onderzoekers keken niet naar wat de computer zegt (bijvoorbeeld: "Is 10 groter dan 9?"), maar naar hoe de computer de informatie intern opslaat in zijn geheugen (de "verborgen staten").
Ze ontdekten iets fascinerends:
- De Geometrie: In de interne wereld van de computer wordt de afstand tussen 9 en 10 plotseling veel groter dan de afstand tussen 8 en 9. Het is alsof de computer een onzichtbare muur bouwt op het moment dat het aantal cijfers verandert.
- De Oorzaak: Dit gebeurt niet omdat de computer "leert" dat 10 een speciaal getal is. Het gebeurt puur door de vorm van de data.
- Vergelijking: Stel je voor dat je woorden schrijft op een rol papier. Als je van "hond" (4 letters) naar "paard" (5 letters) gaat, is dat een kleine stap. Maar als je van "hond" naar "paardje" (7 letters) gaat, moet je misschien een nieuw stuk papier pakken. Die overgang van één stuk papier naar twee stukken papier is de "kloof". De computer reageert op die fysieke overgang, niet op de betekenis van het woord.
Twee Soorten Computers: De "Denkers" en de "Automaten"
Het onderzoek toonde een grappig verschil tussen verschillende AI-modellen (zoals Llama, Mistral, Gemma en Qwen):
De "Denkers" (bijv. Gemma, Qwen):
Deze modellen hebben de interne kloof én ze kunnen je ook vertellen dat er een grens is. Als je ze vraagt: "Is dit één cijfer of twee cijfers?", zeggen ze het correct. Ze hebben zowel de interne structuur als het bewustzijn.- Analogie: Een mens die een hek ziet en ook weet dat hij er niet overheen kan springen.
De "Automaten" (bijv. Llama, Mistral, Phi):
Deze modellen hebben precies dezelfde interne kloof in hun geheugen. De afstand tussen 9 en 10 is voor hen ook enorm groot. Maar als je ze vraagt: "Is dit één of twee cijfers?", weten ze het niet! Ze kunnen het niet uitleggen, maar hun interne wereld is wel degelijk gesplitst.- Analogie: Een robot die automatisch stopt bij een rood stoplicht (omdat de sensor een kloof detecteert), maar die je niet kan uitleggen waarom hij stopt. Hij "voelt" de grens, maar "weet" het niet.
Dit is een enorme ontdekking: Je kunt een structuur hebben zonder dat je er bewust van bent.
Waarom is dit belangrijk? (De "Temperatuur"-Test)
Om te bewijzen dat dit echt door de vorm van de getallen komt en niet door "leren", keken ze naar temperaturen.
- We hebben woorden voor "koud" en "heet". Er is een grens (bijvoorbeeld 20 graden).
- Maar voor de computer is "21 graden" en "23 graden" gewoon tekst. Er is geen sprong in het aantal letters of cijfers.
- Resultaat: Bij temperaturen zag de computer geen kloof. Hij zag 21 en 23 als buren.
- Conclusie: De "categorische waarneming" komt niet omdat de computer de wereld kent, maar omdat de schrijfwijze (tokenisatie) van de getallen een sprong maakt.
De "Geheime Werkplek"
Een ander cool stukje van het onderzoek is dat ze keken waar in de computer dit gebeurt.
- Je zou denken dat het in de "laatste laag" gebeurt, waar het antwoord wordt gegenereerd.
- Maar nee! De grootste veranderingen gebeuren in de vroege lagen, terwijl de data nog wordt verwerkt.
- Vergelijking: Stel je voor dat je een brief schrijft. De meeste mensen denken dat de "zin" pas ontstaat op het moment dat je de pen neerlegt (het eindresultaat). Maar dit onderzoek zegt: nee, de structuur van de zin is al vastgelegd op het moment dat je de eerste letter op het papier zet. De "laatste laag" is alleen maar het afgeven van de brief; de echte magie gebeurt al veel eerder.
Samenvatting in één zin
Dit onderzoek laat zien dat kunstmatige intelligentie getallen niet ziet als een vloeiende lijn, maar als een trap met scherpe sprongen, puur omdat de manier waarop we getallen schrijven (van 1 cijfer naar 2 cijfers) een fysieke sprong maakt in de data. En het gekke is: sommige computers voelen deze sprong heel sterk, maar kunnen je er niets over vertellen.
Het bewijst dat de vorm van de informatie (hoe we het opschrijven) de denkwijze van de computer bepaalt, zelfs als de computer zelf niet "weet" dat hij aan het denken is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.