The Concept of Representation in ML: Beyond Plato and Aristotle

De Kaart en het Gebied: Een Korte Gids

Stel je voor dat je probeert de wereld te beschrijven aan een vriend die nog nooit zijn huis heeft verlaten. Je zou hem een lijst met coördinaten kunnen geven, een berg ruwe gegevens, of een prachtig getekende kaart. In de wereld van Machine Learning (ML) wordt de "kaart" een representatie genoemd. Het is de interne manier waarop een computerprogramma de informatie die het ziet organiseert—zoals het omzetten van een foto van een kat in een lijst met getallen die zegt: "harig", "puntige oren" en "snorharen". Een lange tijd gaven ingenieurs er alleen om of deze kaarten de computer hielpen puzzels op te lossen, zoals het correct identificeren van de kat.

Maar onlangs gebeurde er iets fascinerends. Wetenschappers merkten op dat wanneer ze verschillende, enorme computermodellen bouwden en deze trainden op verschillende zaken, hun interne kaarten verrassend veel op elkaar gingen lijken. Ze begonnen zich af te vragen: zijn deze computers allemaal dezelfde "ware" kaart van de werkelijkheid aan het ontdekken? Dit idee wordt de Platonische Representatiehypothese genoemd. Het suggereert dat, net zoals er één perfecte, ideale "Kat" in het universum is waar alle katten kopieën van zijn, er één perfecte structuur van de werkelijkheid is die alle slimme AI-modellen langzaam aan het vinden zijn.

Filosofen debatteren echter al decennia over wat het echt betekent om iets te "representeren". Ze vragen zich af: is een foto van een kat gewoon een foto, of betekent het "kat"? Maakt het uit of de foto is getekend door een mens, een robot of een blikseminslag? Dit artikel duikt in die vraag. Het vraagt zich af of we echt kunnen zeggen dat AI-modellen de "waarheid" vinden, simpelweg omdat hun kaarten op elkaar lijken, of dat we slechts getuige zijn van een slim trucje van de wiskunde.

---

Wanneer AI-kaarten op elkaar gaan lijken

In de wereld van moderne machine learning is het woord "representatie" het geheime ingrediënt. Denk erbij als een vertaler. Wanneer je een computer een foto van een hond laat zien, ziet hij geen vacht en botten; hij ziet een complex patroon van getallen. Een "representatie" is hoe de computer die ruwe data vertaalt naar een formaat dat hij kan gebruiken om te denken, te leren en te generaliseren. Jarenlang gebruikten ingenieurs deze term op een zeer praktische, "laten we de klus klaren"-manier. Als een model een rommelige afbeelding kon omzetten in een nette interne code die hielp om een spel te winnen, dan was die code een goede representatie.

Maar naarmate deze AI-modellen groter, slimmer en menselijker zijn geworden, is het gesprek verschoven. Onderzoekers merkten een vreemd fenomeen op: als je twee totaal verschillende AI-modellen neemt—de één getraind op tekst, de ander op afbeeldingen, gebouwd met verschillende code—en je kijkt in hun brein, dan beginnen hun interne kaarten identiek te worden. Ze convergeren.

Deze observatie leidde tot een gedurfde idee genaamd De Platonische Representatiehypothese. De naam komt van de oude filosoof Plato, die geloofde dat er achter onze rommelige, imperfecte wereld een perfecte, verenigde werkelijkheid bestaat. De hypothese suggereert dat naarmate AI-modellen groter worden, ze stoppen met het simpelweg onthouden van data en beginnen met het "ontdekken" van deze enkele, onderliggende structuur van de werkelijkheid. Het is alsof elke leerling in een klas, met verschillende tekstboeken en verschillende leraren, uiteindelijk exact hetzelfde essay schrijft omdat ze allemaal dezelfde universele waarheid ontdekken.

De Filosofische Drempel

De auteurs van dit artikel, Gilad D. Landau en Aviv Keren, zijn hier om de rem in te trappen bij dat opwindende verhaal. Zij stellen dat hoewel de observatie van "convergerende kaarten" echt is, de conclusie trekken dat AI de "waarheid van de werkelijkheid" vindt een enorme sprong is die enkele zeer belangrijke stappen overslaat.

Om te begrijpen waarom, moeten we kijken naar een klassiek probleem in de filosofie genaamd het Disjunctieprobleem. Stel je voor dat je een sensor hebt die piept wanneer hij een hond ziet. Geweldig! Maar wat als de sensor ook piept wanneer hij een paard in de mist ziet, of een standbeeld van een hond, of een foto van een hond? Als de sensor voor al deze dingen piept, wat betekent die piep dan eigenlijk? Betekent het "Hond"? "Dier"? "Hond-vormig ding"? Of "Hond bij slecht licht"?

In de technische wereld geven we vaak niet om dit onderscheid. Als de piep de robot helpt om de hond te vermijden, dan werkt het. Maar in de filosofie moet een staat om een ware "representatie" te zijn, een specifieke betekenis hebben, en niet slechts een vage correlatie. Het artikel wijst erop dat de "Platonische Hypothese" steunt op het meten van hoe vergelijkbaar de interne kaarten van verschillende modellen zijn. Ze gebruiken een methode genaamd kernel alignment, wat in featelijk controleert of twee modellen hun data in dezelfde geometrische vorm organiseren.

Het probleem is dat alleen omdat twee kaarten er hetzelfde uitzien, het niet betekent dat ze naar dezelfde waarheid wijzen. De auteurs stellen dat deze modellen misschien gewoon dezelfde "short-cuts" of statistische patronen in de data vinden, en niet de diepe structuur van de werkelijkheid. Het is als twee studenten die precies hetzelfde foute antwoord van een spiekbriefje kopiëren; hun antwoorden komen overeen, maar ze hebben de waarheid niet geleerd.

De "Swampman" en de Ontbrekende Geschiedenis

Het artikel haalt ook een beroemd gedachte-experiment aan genaamd Swampman. Stel je voor dat een blikseminslag in een moeras per ongeluk een molecuul-voor-molecuul kopie van een mens creëert. Deze "Swampman" ziet er precies zo uit en gedraagt zich precies zo als een echt persoon. Maar omdat hij niet geboren is en niet geëvolueerd is, heeft hij dan gedachten? Heeft hij "representaties" van de wereld, of is hij slechts een holle schil die gedrag nabootst?

Klassieke theorieën over representatie stellen dat voor iets om betekenis te hebben, het een geschiedenis van evolutie of leren nodig heeft dat het heeft gevormd om correct te functioneren. AI-modellen lijken meer op Swampman dan op mensen; ze zijn ontworpen en getraind, niet geëvolueerd. Het artikel suggereert dat we niet zomaar kunnen aannemen dat deze modellen "echte" representaties hebben omdat ze op de onze lijken. We moeten begrijpen hoe ze die representaties gebruiken om te slagen of te falen in taken.

Een nieuwere theorie, voorgesteld door filosoof Nicholas Shea, biedt een middenweg. Het suggereert dat zelfs als een systeem niet biologisch geëvolueerd is, het toch echte representaties kan ontwikkelen als het leert van zijn omgeving en zijn gedrag in de loop van de tijd stabiliseert. Maar dit vereist meer dan alleen kijken naar de vorm van de data; het vereist het kijken naar de functie. Wat doet de representatie?

De Aristoteles-Twist: Een Reality Check

Het artikel belicht een fascinerende vervolgstudie die de Platonische visie vanuit een technisch oogpunt uitdaagt. Deze studie, getiteld "Revisiting the Platonic Representation Hypothesis: An Aristotelian View", suggereert dat naarmate modellen groter worden, ze eigenlijk meer ruimte hebben om accidentele verbindingen te maken.

Denk er zo over na: als je een munt 10 keer opgooit, is het moeilijk om een perfect patroon te krijgen. Maar als je hem een miljoen keer opgooit, zul je uiteindelijk door toeval een lange reeks kop vinden. Op dezelfde manier, naarmate AI-modellen massaal worden, groeit het aantal mogelijke "spurious correlations" (toevallige overeenkomsten). De studie vond dat wanneer men rekening houdt met deze accidentele overeenkomsten, de "perfecte uitlijning" tussen modellen vaak verdwijnt.

Wat overblijft is een bescheidener, "Aristoteles-achtige" visie. In plaats van één perfecte, universele waarheid te vinden (Plato), vinden de modellen simpelweg de beste lokale oplossingen voor de specifieke taken die ze uitvoeren (Aristoteles). Ze convergeren op de structuren die hen helpen de taak waar ze mee bezig zijn op te lossen, en niet noodzakelijkerwijs op de fundamentele structuur van het universum.

Wat dit betekent voor de toekomst

De belangrijkste les van dit artikel is een oproep tot nederigheid en helderheid. De auteurs zeggen niet dat AI nutteloos is of dat het niet leert. Ze zeggen dat we voorzichtig moeten zijn met onze woorden. Wanneer we zien dat twee AI-modellen het eens zijn over een interne structuur, moeten we niet onmiddellijk metafysische conclusies trekken over de aard van de werkelijkheid.

In plaats daarvan moeten we dieper graven. We moeten vragen:

1. Wat is de inhoud? Wat representeert het model precies, en hoe weten we dat het niet slechts een toevalstreffer is?
2. Wat is de functie? Hoe helpt deze interne staat het model om te slagen of te falen in een specifieke taak?
3. Wie gebruikt het? Hoe interpreteren andere delen van het systeem deze informatie?

Het artikel suggereert dat om echt te begrijpen wat AI representeert, we verder moeten kijken dan alleen het meten van hoe vergelijkbaar hun kaarten zijn. We moeten tools uit de filosofie gebruiken om de rol te begrijpen die die kaarten spelen. Totdat we kunnen uitleggen hoe deze modellen de betekenis van hun eigen interne toestanden vastleggen, blijft het idee dat ze een "Platonische waarheid" ontdekken een prachtig, maar onbewezen verhaal.

Kortom, het artikel betoogt dat hoewel de "Platonische Representatiehypothese" een fascinerend idee is, het bewijs dat we tot nu toe hebben, slechts laat zien dat AI-modellen beter worden in het vinden van vergelijkbare patronen. Het bewijst niet dat ze de ultieme waarheid van het universum vinden. Om dat te weten, moeten we meer doen dan alleen naar de kaarten kijken; we moeten de reis begrijpen die de modellen hebben afgelegd om ze te tekenen.