World Properties without World Models: Recovering Spatial and Temporal Structure from Co-occurrence Statistics in Static Word Embeddings

Deze studie toont aan dat statische woordembeddings, die zijn gebaseerd op co-occurrence-statistieken, reeds aanzienlijke ruimtelijke en temporele structuren bevatten, wat aangeeft dat de herwinbaarheid van wereldkennis uit LLM-verborgen toestanden niet noodzakelijk wijst op geavanceerde wereldmodellen maar eerder op de rijke structuur die al in de tekst zelf aanwezig is.

De kern

Stel je voor dat je een enorme bibliotheek hebt, niet met boeken die mensen hebben geschreven om kennis over de wereld te geven, maar met alle boeken, kranten en artikelen die ooit op internet zijn gepubliceerd.

In deze bibliotheek staan woorden niet alleen op een rij; ze vormen een enorm, driedimensionaal web. Woorden die vaak samen voorkomen, zitten dicht bij elkaar in dit web. Woorden die nooit samen voorkomen, zitten ver uit elkaar.

Dit is wat statistische woordmodellen (zoals GloVe en Word2Vec) doen: ze kijken alleen naar dit web van "wie komt vaak samen met wie?" en maken daar een kaart van. Ze weten niets over de echte wereld, ze hebben geen GPS, geen kalender en ze hebben nooit een schoolboek gelezen. Ze kijken alleen naar de statistieken van taal.

Het Grote Misverstand

Recente studies over slimme AI's (zoals de grote taalmodellen die je nu gebruikt) hebben gezegd: "Kijk! Als we deze AI's vragen naar de locatie van een stad of het geboortejaar van een persoon, kunnen ze dat precies voorspellen. Dit betekent dat deze AI's een intern 'wereldmodel' hebben opgebouwd. Ze begrijpen de ruimte en de tijd!"

De auteur van dit paper, Elan Barenholtz, zegt echter: "Wacht even. Laten we eerst kijken of die informatie al in de bibliotheek zelf zit, voordat de AI überhaupt iets 'leert'."

Het Experiment: De Simpele Kaartmaker

De auteur pakt twee heel simpele, oude modellen (die alleen naar woordstatistieken kijken) en probeert eruit te halen:

1. Waar liggen steden? (Breedtegraad, lengtegraad, temperatuur).
2. Wanneer leefden historische figuren? (Geboortejaar).

Het verrassende resultaat:
Zelfs deze simpele modellen, die alleen kijken naar welke woorden vaak samen voorkomen, kunnen deze informatie met een hoge nauwkeurigheid voorspellen!

• Ze kunnen een stad op de kaart plaatsen (bijvoorbeeld: Parijs ligt in het noorden, Cairo in het zuiden).
• Ze kunnen de temperatuur van een stad raden (bijvoorbeeld: "ijs" en "skiën" komen vaak voor bij koude steden, "krokodil" en "kokosnoot" bij warme steden).
• Ze kunnen het tijdperk van een persoon schatten (oudheid vs. moderne tijd).

De Magische Analogie: De Krant als Wereldkaart

Stel je voor dat je een krant leest.

• Als je leest over "ijs", "pool", "skiën" en "winter", dan lees je waarschijnlijk over landen in het noorden.
• Als je leest over "zand", "zon", "krokodil" en "dengue", dan lees je waarschijnlijk over landen in de tropen.

De simpele modellen zien dit patroon duizenden keren terug. Ze weten niet wat "ijs" is, maar ze weten wel dat het woord "ijs" vaak samenkomt met woorden die verwijzen naar het noorden. Door deze patronen te combineren, ontstaat er onbewust een kaart in het model.

Het is alsof je een enorme puzzel hebt waarbij je alleen de randjes (de woorden) ziet, maar door te kijken welke stukjes vaak naast elkaar liggen, kun je de hele afbeelding (de wereld) reconstrueren zonder dat je ooit de afbeelding zelf hebt gezien.

Wat betekent dit voor de "Slimme" AI?

De grote AI's (LLMs) doen dit ook, en ze doen het zelfs nog beter. Maar dit paper zegt: "Niet te snel juichen."

Als een simpele statistische kaartmaker (die alleen naar woorden kijkt) al een redelijke kaart van de wereld kan maken, dan betekent het dat de taal zelf al vol zit met informatie over de wereld.

De conclusie is niet dat de slimme AI's dom zijn, maar dat we de kracht van taal onderschatten. Taal is niet zomaar een laagje symbolen bovenop de wereld; taal is een dicht geweven tapijt van de wereld. Als je genoeg tekst hebt, zit de geografie, de geschiedenis en het klimaat al verpakt in de manier waarop we woorden gebruiken.

De Belangrijkste Les

Het feit dat je uit een AI kunt halen dat "Parijs in Frankrijk ligt" of dat "Homerus oud is", is geen bewijs dat de AI een bewust wereldmodel heeft gebouwd. Het kan gewoon zijn dat de AI de statistische patronen uit de tekst heeft overgenomen.

Het is alsof je een spiegel ziet die een landschap weerspiegelt. Als je in de spiegel kijkt en een berg ziet, betekent dat niet dat de spiegel zelf een berg heeft "bedacht" of "begrepen". Het betekent alleen dat de spiegel het landschap heel goed weerspiegelt.

Kortom:
De wereld zit al in de woorden. We hoeven niet te denken dat AI's magische wereldmodellen hebben gebouwd; soms is het gewoon dat de taal zelf al zo rijk is aan informatie, dat zelfs de simpelste rekenmachine die naar woorden kijkt, de wereld kan "zien".

Technische samenvatting

1. Probleemstelling en Context

Recent onderzoek naar Large Language Models (LLMs) heeft aangetoond dat lineaire probes (zoals ridge-regressie) ruimtelijke en temporele variabelen (bijv. geografische coördinaten, geboortejaren) kunnen afleiden uit de verborgen staten van deze modellen. Dit wordt vaak geïnterpreteerd als bewijs dat LLMs gestructureerde "wereldmodellen" hebben opgebouwd die verder gaan dan de tekst zelf.

De kernvraag van dit paper is echter: Is deze structuur echt een emergente eigenschap van complexe modellen, of is deze al latent aanwezig in de tekststatistieken zelf?

De auteur test de hypothese dat de lineaire herleidbaarheid van wereldse eigenschappen niet noodzakelijk impliceert dat het model een representatie heeft die verder gaat dan tekst, maar dat deze eigenschappen al vastzitten in de co-occurrence-statistieken (woord-woord frequenties) van de taal. Om dit te testen, wordt dezelfde probe-methode toegepast op statische woordembeddings (GloVe en Word2Vec), die puur gebaseerd zijn op corpusstatistieken en geen contextuele verwerking of gelaagde abstractie hebben.

2. Methodologie

Modellen:

• GloVe (6B, 300d): Getraind op 6 miljard tokens (Wikipedia + Gigaword).
• Word2Vec (Google News, 300d): Getraind op ~100 miljard tokens.
• Beide modellen zijn directe functies van co-occurrence-statistieken (respectievelijk log-bilineaire factorisatie en SPMI-factorisatie).

Dataset:

• Wereldsteden (N=100): Steden verspreid over 6 continenten.
  • Doelvariabelen: Breedtegraad, lengtegraad, gemiddelde jaartemperatuur, jaar van stichting, hoogte, BBP per hoofd, bevolking.
• Historische figuren (N=194): Personen van de oudheid tot de 20e eeuw.
  • Doelvariabelen: Geboortejaar, sterfjaar, middenleeftijd.

Probing Architectuur:

• Er wordt gebruikgemaakt van ridge-regressie (lineaire probes) om de doelvariabelen ($y$) te voorspellen op basis van de embedding-vectoren ($x$).
• Formule: $\hat{y} = w^T x + b$, met regularisatie $\lambda$ geselecteerd via cross-validatie.
• De prestaties worden gemeten met $R^2$ op een vastgehouden testset (80/20 split).

Analysemethoden:

1. Semantische Similariteit: Correlatie tussen de cosine-similariteit van woorden en de werkelijke geografische/temporele waarden van steden.
2. Compositiescores: Gebruik van antoniem-paren (bijv. "koud" vs. "warm") om te zien of deze gradiënten de doelvariabelen voorspellen.
3. Semantische Subruimte Ablatie:
   • PCA wordt toegepast op specifieke semantische categorieën (bijv. landnamen, klimaatwoorden, economische termen).
   • De projectie van de steden-embeddings op deze subruimtes wordt verwijderd (geablateerd).
   • De daling in $R^2$ wordt vergeleken met willekeurige ablatie van dezelfde dimensie om te controleren of het effect specifiek is voor de semantische inhoud.

3. Belangrijkste Resultaten

Ruimtelijke en Temporele Herleidbaarheid:

• Geografie: De probes kunnen breedtegraad, lengtegraad en temperatuur aanzienlijk voorspellen uit statische embeddings.
  • $R^2$ voor breedtegraad: 0.71 (GloVe) tot 0.87 (Word2Vec).
  • $R^2$ voor temperatuur: 0.47 tot 0.62.
• Tijd: Geboortejaren van historische figuren zijn voorspeld met een $R^2$ van 0.48–0.52. Dit duidt op een grove "era"-structuur (oud vs. modern) in plaats van precieze data.
• Negatieve Controles: Variabelen zoals hoogte, BBP per hoofd en bevolking zijn niet lineair herleidbaar (negatieve of zeer lage $R^2$). Dit bewijst dat de probe niet willekeurige wereldkennis "uitknijpt", maar specifiek afhankelijk is van de aanwezigheid van structurele patronen in de tekst.

Semantische Interpretatie:

• De ruimtelijke signalen zijn sterk gekoppeld aan interpreteerbare lexische gradiënten.
  • Temperatuur: Woorden als "dengue", "cyclone" en "coconut" correleren positief met warme steden; "chemist", "violinist" en "skiing" met koude steden.
  • Tijd: Woorden als "ancient" en "greek" correleren met vroegere periodes; "industrial" en "revolution" met latere periodes.
• Subruimte Ablatie:
  • Het verwijderen van de subruimte van landnamen veroorzaakt een enorme daling in de voorspellende kracht voor breedtegraad ($\Delta R^2 \approx 0.41$) en temperatuur.
  • Klimaatwoorden zijn de primaire dragers van het temperatuursignaal (verwijderen verlaagt $R^2$ van 0.47 naar -0.17, slechter dan een constante voorspeller).
  • Willekeurige dimensie-reductie heeft een verwaarloosbaar effect, wat bevestigt dat het signaal specifiek zit in deze semantische subruimtes.

Vergelijking met LLMs:

• Hoewel LLMs (zoals Llama-2) hogere $R^2$-waarden halen, is het fundamentele signaal (ruimte en tijd) al volledig aanwezig in de statische embeddings. Het verschil in prestatie kan worden toegeschreven aan contextuele disambiguatie, grotere corpora en hogere dimensies, niet noodzakelijk aan een fundamenteel ander representatiemechanisme.

4. Bijdragen

1. Demonstratie van latentie: Statistische co-occurrence-modellen behouden een aanzienlijke hoeveelheid herleidbare ruimtelijke, temporele en omgevingsstructuren, wat vaak wordt onderschat.
2. Semantische interpreteerbaarheid: De auteurs tonen aan dat deze structuren niet "donker" zijn, maar direct gekoppeld zijn aan specifieke, begrijpelijke woordgroepen (landnamen, klimaatvocabulaire).
3. Causale validatie via ablatie: Door gerichte ablatie wordt bewezen dat een groot deel van het signaal afhankelijk is van identificeerbare distributionele subruimtes, ver boven wat willekeurige controles opleveren.
4. Methodologische correctie: Lineaire herleidbaarheid van wereldse eigenschappen is niet voldoende bewijs dat een model een representatieve sprong heeft gemaakt die verder gaat dan tekst. Als het signaal al in statische embeddings zit, is het geen bewijs van een "wereldmodel" in de sterke zin.

5. Betekenis en Conclusie

De belangrijkste conclusie is dat tekst zelf al een rijke, gecomprimeerde kaart van de fysieke en historische wereld bevat. De co-occurrence-patronen van natuurlijke taal coderen automatisch relaties tussen geografie, klimaat en geschiedenis.

• Implicatie voor LLM-onderzoek: Claims dat LLMs "wereldmodellen" hebben opgebouwd, kunnen niet alleen gebaseerd worden op het feit dat ruimtelijke of temporele eigenschappen lineair afleesbaar zijn. De lat voor dergelijke claims moet hoger worden gelegd; men moet bewijzen dat het model structuren genereert die buiten wat er in de distributionele statistieken van de tekst zit.
• Implicatie voor taal: Taal is niet slechts een dunne symbolische laag over de wereld, maar bevat een dichte residu van relaties tussen geografie, cultuur en geschiedenis. Zelfs de simpelste distributionele modellen (300-dimensionale vectoren) kunnen deze complexe wereldstructuren behouden.

Kortom: De "wereld" in de embeddings komt niet uit het model, maar uit de tekst zelf.