💬 NLP

Linear Representations of Hierarchical Concepts in Language Models

Dit artikel toont aan dat taalmodellen hiërarchische conceptrelaties, zoals 'Japan ⊂ Azië', op een sterk interpreteerbare en lineaire manier coderen in een relatief laagdimensionale, domeinspecifieke deelruimte die over verschillende domeinen heen opmerkelijk vergelijkbaar is.

Oorspronkelijke auteurs: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Gepubliceerd 2026-04-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat een groot taalmodel (zoals een slimme chatbot) niet alleen een enorme bibliotheek is met woorden, maar ook een geheime kaart van de wereld in zijn hoofd heeft. Deze kaart is niet getekend met inkt, maar met wiskundige patronen.

Dit onderzoek, getiteld "Lineaire Representaties van Hiërarchische Concepten", gaat over hoe deze chatbots de hiërarchie van dingen begrijpen. Denk aan een stamboom: een Hond is een Zoogdier, en een Zoogdier is een Dier. Of: Tokyo ligt in Japan, en Japan ligt in Azië.

De onderzoekers willen weten: Hoe zit deze "ladder" van ideeën precies in het brein van de AI?

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. De "Magische Lijn" (Lineaire Representaties)

Vroeger dachten we dat het brein van een AI een enorme, ondoorzichtige warboel was. Maar deze onderzoekers ontdekten iets verrassends: de AI gebruikt rechte lijnen om relaties te begrijpen.

De Analogie: Stel je voor dat je een spelletje speelt waarbij je een knuffelbeer (het kind) moet verplaatsen naar de kamer van de ouders (het ouderconcept). De AI heeft een magische pijl gevonden. Als je deze pijl op de knuffelbeer legt en hem in de juiste richting schuift, land je precies in de kamer van de ouders.
Wat ze deden: Ze hebben voor elk type relatie (bijv. "is een deel van" of "is een soort van") en voor elk niveau in de hiërarchie (bijv. van stad naar land, of van land naar continent) een specifieke "magische pijl" (een wiskundige formule) getraind.
Het resultaat: Ze konden deze pijlen gebruiken om de AI te "lezen". Als ze de pijl op een woord toepasten, wist de AI precies welk ouderwoord daar bij hoorde. Het werkt alsof je een geheime code hebt die de structuur van de wereld blootlegt.

2. De "Speciale Kasten" (Subspaces)

De onderzoekers keken ook waar in het brein van de AI deze lijnen zitten. Het brein van een AI is enorm groot (duizenden dimensies), maar ze ontdekten dat deze hiërarchieën niet overal willekeurig verspreid liggen.

De Analogie: Stel je voor dat het brein van de AI een gigantisch magazijn is met duizenden kasten. Je zou denken dat de informatie over "Dieren" en "Steden" door elkaar ligt. Maar nee! De onderzoekers ontdekten dat er speciale, kleine kastjes zijn waar deze informatie in zit.
- Er is een klein kastje voor "Locaties" (steden, landen).
- Er is een apart kastje voor "Personen" (sporters, wetenschappers).
- Er is een kastje voor "Organismen" (dieren, planten).
De verrassing: Hoewel deze kastjes apart zijn (je gebruikt een andere sleutel voor dieren dan voor steden), hebben ze binnenin precies dezelfde indeling. De manier waarop de AI een "Hond" relateert aan een "Zoogdier" is wiskundig bijna identiek aan hoe hij "Tokyo" relateert aan "Japan". Het is alsof elke kast een miniatuurversie is van dezelfde blauwdruk.

3. De "Stuurknuppel" (Causaliteit)

Het mooiste aan dit onderzoek is dat ze niet alleen keken, maar ook ingrepen. Ze gebruikten hun "magische pijlen" om de AI te manipuleren.

De Analogie: Stel je voor dat je een robot hebt die zegt: "Lionel Messi is een voetballer." De onderzoekers pakten de "magische pijl" die "voetballer" verandert in "atleet". Ze schoven die pijl fysiek in het brein van de robot.
Het resultaat: De robot veranderde direct zijn mening! Hij zei nu: "Lionel Messi is een atleet."
Waarom is dit belangrijk? Dit bewijst dat de AI niet zomaar statistieken raadt. De hiërarchie is echt ingebouwd in hoe de AI denkt. Als je de structuur verandert, verandert het antwoord. De AI "weet" het echt, en je kunt die kennis met een simpele wiskundige beweging aanraken.

Samenvatting in één zin

De onderzoekers hebben ontdekt dat grote taalmodellen de wereld niet als een rommelige stapel kaarten zien, maar als een ordelijk systeem van rechte lijnen in speciale, kleine ruimtes. Of het nu gaat om steden, mensen of dieren: de AI gebruikt dezelfde slimme, lineaire "magie" om te begrijpen wat erbij hoort, en je kunt die magie zelfs gebruiken om de AI's gedachten te sturen.

Kortom: De AI heeft een heel logisch, lineair en voorspelbaar systeem voor hiërarchieën gevonden, en wij kunnen dat systeem nu lezen en gebruiken.

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Linear Representations of Hierarchical Concepts in Language Models" in het Nederlands.

Titel: Lineaire Representaties van Hiërarchische Concepten in Taalmodellen

Auteurs: Masaki Sakata et al. (Tohoku University, RIKEN, NINJAL, Langsmith Inc., MBZUAI)

1. Het Probleem

Hoewel recent onderzoek heeft aangetoond dat Large Language Models (LLM's) conceptuele relaties (zoals kleuren, ruimtelijke locaties en tijd) lineair in hun interne representaties coderen, blijft het begrijpen van hiërarchische relaties (bijv. $Japan \subset Oost-Azië \subset Azië$ ) beperkt. Bestaande werken, zoals die van Park et al. (2025), hebben twee belangrijke beperkingen:

Beperkte diepte: Ze analyseren voornamelijk statische representaties in de unembedding-laag, terwijl LLM's relaties vaak over meerdere tussenliggende lagen verspreid coderen.
Token-beperking: Bestaande methoden zijn vaak beperkt tot single-token concepten en kunnen geen hiërarchische relaties hanteren die bestaan uit multi-token entiteiten (bijv. "Babe Ruth" $\subset$ "Baseball Player").

Het doel van dit paper is om te onderzoeken hoe en in welke mate LLM's hiërarchische relaties coderen in hun tussenliggende lagen, met name voor diverse, entiteit-gerichte concepten die uit meerdere tokens kunnen bestaan.

2. Methodologie: Linear Hierarchical Encoding (LHE)

De auteurs introduceren een nieuw raamwerk genaamd Linear Hierarchical Encoding (LHE), gebaseerd op Linear Relational Concepts (LRC).

Dataset: Er is een dataset samengesteld met hiërarchische relaties over vijf domeinen: Locaties, Personen, Organisaties, Organismen en Onderzoeksonderwerpen. De dataset bevat veel multi-token entiteiten.
Data Filtering: Om te focussen op kennis die het model al bezit, wordt de dataset gefilterd zodat alleen instances worden gebruikt waarbij het model het juiste ouderconcept correct voorspelt in een few-shot multiple-choice setting.
LHE Framework:
- Het model leert voor elk hiërarchisch diepteniveau ( $d$ ) en elk semantisch domein een specifieke lineaire transformatie ( $W_r, b_r$ ).
- Deze transformatie mapt de representatie van een kind-concept (child node) naar de representatie van het ouder-concept (parent node) in de tussenliggende lagen van het model.
- Formeel wordt de mapping benaderd als: $R_r(s) = W_r s + b_r$ , waarbij $s$ de hidden state van het kind is.
- Er wordt een inverse mapping geleerd om "concept vectors" (richtingen) te definiëren die dienen als prototypes voor ouderconcepten.
Evaluatiemetrics:
1. Accuracy: Kan de lineaire transformatie het juiste ouderconcept voorspellen op basis van de interne representatie van het kind? (Lineaire decodering).
2. Causality: Kunnen we de voorspelling van het model causaal beïnvloeden door conceptvectors toe te voegen of af te trekken? (Bijv. het veranderen van "Paris is part of France" naar "Germany" door de hidden state te manipuleren).

3. Belangrijkste Bijdragen

Uitbreiding naar Tussenliggende Lagen: In tegenstelling tot eerdere studies die zich beperkten tot de output-laag, analyseert dit werk de representaties in de diepere, tussenliggende lagen van decoder-only modellen.
Multi-token Ondersteuning: Het raamwerk is ontworpen om hiërarchische relaties te hanteren die bestaan uit multi-token entiteiten, wat een significant vooruitgang is ten opzichte van eerdere single-token benaderingen.
Ontdekking van Subruimtes: De auteurs identificeren dat hiërarchische informatie niet willekeurig verspreid is, maar geconcentreerd in specifieke, laag-dimensionale subruimtes.
Kruis-domein Analyse: Er wordt een diepgaande analyse uitgevoerd naar de gelijkenis van hiërarchische structuren tussen verschillende semantische domeinen (bijv. Locaties vs. Personen).

4. Resultaten

De experimenten werden uitgevoerd op vier modellen: Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B en Qwen3 14B.

Lineaire Herwinbaarheid: Hiërarchische relaties kunnen lineair worden herwonnen uit de interne representaties. LHE presteert significant beter dan baselines zoals SVM en Input Averaging op zowel Accuracy als Causality.
- Voorbeeld: In het domein "Personen" bereikte Llama 3.1 8B een Accuracy van 0,89 en een Causality van 0,65.
Laag-dimensionale Subruimtes: Hiërarchische informatie is geconcentreerd in een relatief laag-dimensionale subruimte. Voor modellen met hidden states van 3000-5000 dimensies, is de effectieve rang (rank) waar de informatie piekt ongeveer 150–250 dimensies.
Domein-specifiek vs. Domein-generiek:
- Domein-specifiek: De subruimtes die gebruikt worden voor causale interventies zijn sterk domein-afhankelijk. Interventies die werken in het domein "Locaties" werken vaak niet in het domein "Personen" (Causality daalt sterk bij domein-shift).
- Structuur-gelijkenis: Ondanks dat de subruimtes verschillend zijn, vertonen ze een gelijk hiërarchisch structuurpatroon over domeinen heen. Topologische Data Analysis (TDA) toont aan dat de vorm van de representaties (gebaseerd op persistentie-diagrammen) tussen hiërarchische domeinen veel meer op elkaar lijkt dan op niet-hiërarchische datasets.
Modelverschillen: Kleinere modellen (zoals Llama 3.2 3B) vertonen soms hogere causale scores dan grotere modellen (zoals Qwen3 14B), wat suggereert dat bij grotere modellen de representaties die de voorspelling beïnvloeden minder lineair gecodeerd kunnen zijn.

5. Betekenis en Conclusie

De studie levert sterk empirisch bewijs dat LLM's concept-hiërarchieën coderen in de vorm van hoog interpreteerbare lineaire representaties.

Interpreteerbaarheid: Het feit dat hiërarchische relaties lineair decodable en causaal manipuleerbaar zijn, bevestigt dat LLM's interne structuren hebben die overeenkomen met menselijke conceptuele hiërarchieën.
Architecturale Inzicht: De bevinding dat hiërarchische informatie in een laag-dimensionale, domein-specifieke subruimte zit, maar met een universele structuur, suggereert dat LLM's een domein-generieke organisatie voor hiërarchieën delen, hoewel de fysieke implementatie (de subruimte) per domein verschilt.
Toekomstige Richting: Dit werk opent de deur voor verdere studies naar de dynamiek van hiërarchische representaties, hoe ze ontstaan tijdens training, en hoe ze modulatie ondergaan in context-gebaseerde (in-context) settings.

Samenvattend tonen de auteurs aan dat de "geometrie van het denken" in LLM's niet alleen bestaat voor eenvoudige relaties, maar ook voor complexe, multi-token hiërarchieën, en dat deze structuren fundamenteel lineair en interpreteerbaar zijn.