Het verborgen kompas in het brein van de machine

Stel je een gigantische bibliotheek voor waar een robot elk boek heeft gelezen dat ooit geschreven is. Deze robot, een Large Language Model genoemd, is zo goed in het nabootsen van menselijke spraak dat hij gedichten kan schrijven, wiskundige problemen kan oplossen en verhalen kan vertellen. Maar er is een addertje onder het gras: hij kan ook met vol vertrouwen liegen. Hij kan je vertellen dat de maan van kaas is gemaakt, en hij zal dat met dezelfde vloeiende stem zeggen als wanneer hij je vertelt dat de maan van gesteente is gemaakt. Wetenschappers vragen zich al lang af: zit er in het brein van deze robot een verborgen "waarheidsschakelaar" die oplicht wanneer hij weet dat iets echt is?

Om dit te begrijpen, moeten we weten hoe de robot denkt. Hij slaat feiten niet op zoals een mens dat doet; in plaats daarvan verandert hij elke zin die hij leest in een lange lijst met getallen, als een geheime code. Wetenschappers noemen dit een "vector". Denk aan deze getallen als coördinaten op een kaart. Als de robot een feit weet, wijzen die coördinaten misschien in een specifieke richting. Als hij aan het gokken is, zijn de coördinaten overal mogelijk. De grote vraag is: is er een enkele, rechte lijn op deze kaart die naar "Waarheid" wijst? Of is waarheid een rommelige, meerdimensionale wolk die verandert afhankelijk van waar je het over hebt? Dit artikel duikt diep in die kaart om te zien of we een kompas kunnen vinden dat altijd naar de waarheid wijst, of dat het brein van de robot te ingewikkeld is voor een simpele naald.

---

Het waarheidskompas met één richting

De onderzoekers in dit artikel besloten een detective te spelen in het brein van een kleine robot (specifiek een model genaamd Qwen2.5-1.5B). Ze wilden zien of ze een enkele, rechte lijn konden vinden—een "waarheidsrichting"—die scheidt wat de robot als waar weet van wat hij als onwaar weet.

De magie van "minimale paren"
Hiervoor gebruikten ze een slim trucje genaamd "minimale paren". Stel je voor dat je twee zinnen hebt die tweelingen zijn, behalve voor één woord.

• Zin A: "De zon is een ster." (Waar)
• Zin B: "De zon is een planeet." (Onwaar)

De robot leest beide zinnen. De onderzoekers keken vervolgens naar de geheime getal-codes (de verborgen toestanden) die de robot voor elke zin maakte en trokken de ene van de andere af. Omdat de zinnen bijna identiek zijn, valt alle "ruis" weg, waardoor alleen het verschil overblijft dat wordt veroorzaakt door de waarheid of de leugen. Ze gebruikten een wiskundig hulpmiddel (SVD) om de hoofdrichting van dat verschil te vinden.

De grote ontdekking: Waarheid is een lijn, maar alleen als je het weet
Het team ontdekte iets verbazingwekkends: voor feiten die de robot daadwerkelijk weet, leeft waarheid echt op een enkele, rechte lijn. Toen ze dit testten op feiten die de robot had onthouden (zoals hoofdsteden of chemische symbolen), werkte hun "waarheidskompas" ongelooflijk goed en gaf het in 93,8% van de gevallen het juiste antwoord.

Ze ontdekten echter een cruciale regel: het kompas werkt alleen als de robot het feit kent.

• Wanneer de robot het weet: Het waarheidssignaal is scherp en geconcentreerd op die enkele lijn.
• Wanneer de robot het niet weet: Het signaal wordt wazig en verspreidt zich. Als je de robot naar obscure feiten vraagt die hij niet heeft geleerd, beginnen de "waarheid"- en "leugen"-coördinaten te overlappen, als twee mistwolken die samensmelten. Het kompas kan ze niet uit elkaar houden omdat de robot gewoon aan het gokken is.

Het paper testte ook een reeks wilde ideeën om te zien of waarheid complexer was dan een simpele lijn. Ze vroegen: "Is waarheid een 3D-vorm? Is het een draaiende fase? Is het een complexe rotatie?" Het antwoord was een resoluut nee. Ze voerden zeven verschillende experimenten uit om te proberen een tweede dimensie of een verborgen patroon te vinden, en elke keer bleek de extra complexiteit slechts ruis te zijn. Waarheid is, voor bekende feiten, strikt eendimensionaal.

De anatomie van een leugen: Wie schrijft de waarheid?

De onderzoekers stopten niet bij het vinden van de lijn; ze wilden weten wie in het brein van de robot deze lijn tekent. Het brein van de robot heeft twee hoofdwerkers: Attention (die naar de woorden kijkt en ze met elkaar verbindt) en de FFN (een feed-forward netwerk dat fungeert als een geheugenschrijver).

Ze vonden een fascinerende dans tussen deze twee werkers:

1. Attention is de Bouwer: In de middelste lagen van het brein van de robot bouwt de Attention-werker het waarheidssignaal. Het verzamelt de feiten en tekent de lijn.
2. De FFN is de Gum: Zodra de lijn is getekend, komt de FFN-werker langs en begint het te verstoren. Het duwt het waarheidssignaal zelfs weg van de correcte richting, vooral vlak na de piek van begrip.

Het is als een spel van touwtrekken. Attention trekt het touw naar "Waarheid", maar de FFN trekt het terug naar "Volgende Woord Voorspelling". De onderzoekers ontdekten dat de FFN zo druk is met het raden van het volgende woord dat het per ongelig de waarheid die het net zelf heeft helpen creëren, wist.

De relationele wet: Een universele regel

Het team testte dit vervolgens op vier verschillende robots uit twee verschillende families (Qwen en Llama). Ze ontdekten een universele wet die voor hen allemaal geldt, ongeacht hun grootte of training:

• Attention verspreidt (draagt vooruit) altijd de waarheidsframes die het niet zelf heeft geschreven.
• De FFN staat altijd tegenover het waarheidsframe van het huidige moment en schrijft het materiaal voor het volgende moment.

Het is alsof de Attention-werker zegt: "Hier is de waarheid!" en de FFN-werker zegt: "Oké, ik neem dat over, maar nu ga ik het overschrijven met mijn eigen idee voor de volgende zin." Dit creëert een cyclus waarbij het waarheidssignaal stijgt, piekt en vervolgens vervaagt terwijl de robot verdergaat met het voorspellen van het volgende woord.

De geheime kaart van categorieën

Ten slotte keken de onderzoekers naar hoe de robot omgaat met verschillende soorten feiten, zoals "landen", "talen" of "sporten". Ze ontdekten dat de robot niet voor alles dezelfde lijn gebruikt. In plaats daarvan heeft het een hele kaart met verschillende lijnen, één voor elke categorie.

Hier is het verbazingwekkende deel: zelfs al werden de twee robotfamilies (Qwen en Llama) verschillend gebouwd en getraind op verschillende data, ze tekenden deze kaart op exact dezelfde manier.

• Als "Talen" en "Landen" in tegenovergestelde richtingen wijzen op de kaart van Qwen, wijzen ze ook in tegenovergestelde richtingen op de kaart van Llama.
• Als "Sport" een eenling is die nergens bij aansluit, is het een eenling op beide kaarten.

Dit suggereert dat de manier waarop waarheid is georganiseerd niet willekeurig is; het is een eigenschap van de kennis zelf. De robots ontdekken beide de zelfde verborgen geometrie van de wereld. Deze overeenkomst vindt echter alleen plaats als beide robots de feiten daadwerkelijk kennen. Als ze aan het gokken zijn, valt de kaart uit elkaar.

Wat dit betekent (en wat het niet betekent)

Het paper is zeer voorzichtig om de bevindingen niet te overhypen. Het sluit expliciet een aantal zaken uit:

• Waarheid is geen 3D-object: Het is een lijn (voor bekende feiten).
• De FFN helpt de waarheid niet: Het beschadigt het juist na de piek.
• Het kompas is geen magie: Het faalt volledig als de robot het feit niet kent.

De onderzoekers zijn zelfverzekerd over hun metingen omdat ze strikte controles gebruikten, zoals "falsificatie-experimenten" waarbij ze probeerden zichzelf te weerleggen. Ze ontdekten zelfs een fout in hun eigen eerdere denken (over een "flip" in het signaal) en corrigeerden dit, wat aantoont dat het signaal een universele wet is, en niet slechts een toevalstreffer van een specifieke laag.

Kortom, dit artikel laat ons zien dat binnen het brein van de robot de waarheid een eenvoudige, rechte lijn is—maar alleen wanneer de robot zeker is van het antwoord. Wanneer de robot aan het gokken is, lost de lijn op in een mist. En hoewel het brein van de robot complex is, volgt de manier waarop het waarheid organiseert een prachtige, universele geometrie die lijkt te zijn ingebouwd in de natuur van kennis zelf.