From Large Language Models to Multimodal Intelligence: Bridging AI and Cognitive Science

De Grote Brein-Upgrade: Van Alleen Tekst naar een Volledig Lichaam met AI

Stel je voor dat je een robot probeert te leren hoe hij de wereld moet begrijpen. Een lange tijd probeerden wetenschappers dit te doen door de robot een enorme bibliotheek aan boeken, artikelen en websites te voeren. Deze aanpak creëerde "Large Language Models" (LLM's), die lijken op superintelligente papegaaien die bijna alles hebben gelezen wat ooit geschreven is. Ze zijn ongelooflijk goed in het voorspellen van het volgende woord in een zin, het oplossen van wiskundige problemen en zelfs het schrijven van poëzie. Maar er is een addertje onder het gras: ze kennen de wereld alleen via woorden. Ze hebben nooit de hitte van de zon gevoeld, de ruwheid van schuurpapier of het gewicht van een zware doos.

Dit brengt ons bij een grote vraag in de wereld van Kunstmatige Intelligentie (AI) en Cognitieve Wetenschap (de studie van hoe geesten werken): Is lezen genoeg om echt slim te zijn? Of heeft een machine een lichaam nodig om echt te begrijpen? Het artikel dat je nu gaat lezen, verkent het idee dat hoewel taal een krachtig hulpmiddel is, er misschien cruciale ingrediënten ontbreken voor ware intelligentie. Het suggereert dat om AI te bouwen die kan leren, zich kan aanpassen en met ons kan interageren zoals een mens, we verder moeten gaan dan alleen tekst en deze machines "multimodale" zintuigen moeten geven — zoals zicht, geluid en tast — zodat ze de wereld direct kunnen ervaren, in plaats van er alleen over te lezen.

---

Van de Menukaart Lezen naar het Proeven van het Eten

Beschouw een Large Language Model (LLM) als een chefkok die elk kookboek in het universum uit zijn hoofd heeft geleerd, maar nog nooit een keuken is binnengestapt. Deze chef kan een aardbei in perfect detail beschrijven, waarbij de kleur, smaak en textuur worden opgesomd op basis van miljoenen beschrijvingen die hij heeft gelezen. Hij kan zelfs een gedicht schrijven over het plezier van het eten ervan. Maar als je hem een echte aardbei zou geven, zou hij niet weten hoe hij hem moet vasthouden, hoe hard hij moet knijpen, of hoe het echt voelt tegen zijn huid. Hij kent de woorden voor de ervaring, maar hij heeft de ervaring zelf niet gehad.

Dit artikel, geschreven door onderzoekers Yanru Jiang en Rick Dale, stelt een eenvoudige maar diepzinnige vraag: Kan een machine werkelijk intelligent zijn als hij de wereld alleen via taal kent?

De auteurs stellen dat hoewel deze tekst-gebaseerde "chefs" geweldig zijn in wat ze doen, ze tegen een muur aanlopen. Ze zijn uitstekend in het representeren van informatie en het oplossen van problemen die opgeschreven kunnen worden, maar ze worstelen met zaken die vereisen dat men "leert leren" of zich aanpast aan nieuwe, vreemde situaties zonder een handleiding. Het artikel suggereert dat om door deze muur heen te breken, AI moet evolueren van een "tekst-alleen" systeem naar een "multimodaal" systeem — een systeem dat taal combineert met zicht, geluid en beweging, net zoals een mens dat doet.

De Twee Manieren van Denken: De Bibliotheek versus de Speeltuin

Om te begrijpen waarom dit ertoe doet, verdeelt het artikel twee verschillende manieren waarop men over de werking van de geest nadenkt:

1. Symbolische Cognitie (De Bibliotheek): Dit standpunt stelt dat taal voldoende is. Het voert aan dat woorden symbolen zijn die perfect corresponderen met de echte wereld. Als je het woord "roos" kent en alle andere woorden waarmee het verbonden is (zoals "rood", "doorns", "romantiek"), dan weet je in essentie wat een roos is. Het artikel erkent dat moderne AI hier heel goed in is geworden. Het kan patronen in taal vinden die erg lijken op hoe onze hersenen werken. Bijvoorbeeld, de AI kan ontdekken dat "New York" een plaats is en "maandag" een tijd is, simpelweg door te kijken naar hoe woorden samen worden gebruikt, zonder ooit een kaart of een kalender te hebben gezien.
2. Belichaamde Cognitie (De Speeltuin): Dit standpunt stelt dat taal niet genoeg is. Het voert aan dat je om een woord echt te begrijpen, het moet hebben ervaren. Je weet niet alleen wat "zwaar" betekent omdat je de definitie hebt gelezen; je weet het omdat je een zware doos hebt opgetild en je spieren hebt voelen aanspannen. Het artikel suggereert dat veel concepten — zoals hoe je op een fiets rijdt of hoe je een dienblad met drankjes in balans houdt — niet volledig in woorden kunnen worden gevangen. Je moet het doen.

De auteurs zeggen niet dat de "Bibliotheek"-aanpak nutteloos is. Sterker nog, ze geven toe dat het ongelooflijk krachtig is. Maar ze argumenteren dat het incompleet is. Net zoals je niet kunt leren fietsen door een boek over natuurkunde te lezen, kan een AI ook niet leren navigeren in de echte wereld door alleen een boek daarover te lezen.

Waarom Woorden Alleen Tekortschieten

Het artikel wijst op twee belangrijke redenen waarom een tekst-gebaseerde AI altijd een beetje beperkt zal blijven:

1. Het "Onzegbare" Probleem
Sommige dingen zijn moeilijk in woorden uit te drukken. Denk aan het gevoel van een specifieke soort muziek, of de exacte manier waarop licht in een glas water valt. Mensen leren deze dingen vaak via hun zintuigen en hun lichaam, niet via tekstboeken. Als een AI alleen toegang heeft tot tekst, mist hij deze "onverbaalbare" concepten. Het is also[e] proberen de smaak van chocolade te beschrijven aan iemand die nog nooit iets zoets heeft gegeten; hoeveel woorden je ook gebruikt, ze zullen het niet begrijpen totdat ze het proeven. Het artikel suggereert dat voor AI om nieuwe dingen snel en flexibel te leren, het de wereld direct moet ervaren, in plaats van er alleen over te lezen.

2. De "Interpersoonlijke" Kloof
Stel je voor dat je met een vriend praat die naar een prachtige zonsondergang kijkt. Je zegt: "Kijk daar eens naar!" Je vriend weet precies wat je bedoelt omdat hij dezelfde lucht ziet als jij. Stel je nu voor dat je praat met een robot die alleen jouw tekst kan lezen. Als je zegt: "Kijk daar eens naar," heeft de robot geen idee wat "dat" is. De robot heeft geen ogen om de zonsondergang te zien, en heeft geen lichaam om zich om te draaien en te kijken.

Het artikel betoogt dat menselijke communicatie vol zit met deze "niet-verbale" aanwijzingen — zoals waar we naar kijken, hoe snel we spreken, of onze lichaamstaal. Deze aanwijzingen helpen ons elkaar direct te begrijpen. Een tekst-gebaseerde AI mist dit allemaal. De AI geeft je misschien een heel lang, gedetailleerd antwoord terwijl je alleen een kort "ja" of "nee" wilde, omdat de AI jouw ongeduld of je stemming niet kan aanvoelen. Om een goede gesprekspartner te zijn, moet een AI "belichaamd" zijn — het moet in staat zijn om te zien, te horen en te reageren op de situatie in realtime, net zoals wij dat doen.

De Roadmap naar een Slimere AI

Dus, hoe bouwen we deze "multimodale" AI? Het artikel schetst drie opwindende paden voorwaarts, als een recept voor het upgraden van onze digitale breinen:

1. Ingrediënten Mengen (Multimodale Representatieve Leerprocessen)
Op dit moment worden veel AI-systemen gebouwd door een taalmodel en een visiemodel (één die ziet) aan het einde aan elkaar te plakken. De auteurs suggereren dat we dit beter moeten doen. In plaats van ze alleen aan elkaar te plakken, zouden we ze vanaf het begin samen moeten trainen om te leren. Stel je voor dat je een kind leert te praten en te zien op hetzelfde moment, in plaats van eerst een boek te leren lezen en hem later pas plaatjes te laten zien. Deze "vroege integratie" kan de AI helpen om de diepe verbanden te begrijpen tussen wat hij ziet en wat hij hoort, wat leidt tot een veel slimmer en intuïtiever systeem.

2. De Baas van het Brein (Hiërarchische Modulatie)
Onze hersenen zijn georganiseerd in lagen. De onderste lagen gaan over eenvoudige zaken zoals "dat is een rode stip", terwijl de bovenste lagen complexe zaken afhandelen zoals "ik moet die bal vangen voordat hij de grond raakt". Het artikel suggereert dat AI een vergelijkbaar "baas"-systeem nodig heeft. Deze "baas" (zoals de executieve functies in onze hersenen) moet in staat zijn om naar al de verschillende zintuigen te kijken — zicht, geluid, tast — en te beslissen waar hij op een gegeven moment de focus op legt. Het is als een dirigent in een orkest, die ervoor zorgt dat de viool en de drums perfect samenspelen. Momenteel worstelt de meeste AI hiermee; het raakt vaak in de war wanneer er te veel informatie tegelijk binnenkomt.

3. De Innerlijke Drang (Autonome Versterking)
Ten slotte vraagt het artikel: Wat maakt een AI de wil om te leren? Nu moeten we meestal een AI precies vertellen wat hij moet doen en hem een "beloning" geven (zoals een punt) wanneer hij het goed doet. Maar mensen hebben geen leraar nodig om ons aan te moedigen te ontdekken; we zijn van nature nieuwsgierig. We willen weten wat er gebeurt als we op die knop drukken of in die boom klimmen. De auteurs suggereren dat toekomstige AI een "intrinsieke motivatie" moet hebben — een ingebouwde drang om te verkennen en te leren, vergelijkbaar met hoe onze hersenen energie gebruiken om te voorspellen wat er gaat gebeuren. Dit zou AI in staat stellen om op eigen kracht te leren en nieuwe dingen te ontdekken zonder dat een mens telkens een specifieke taak hoeft te geven.

Het Grotere Plaatje

Het artikel concludeert dat hoewel Large Language Models een enorme stap voorwaarts zijn, ze slechts het begin vormen. Ze zijn als een briljante student die elk boek in de bibliotheek heeft gelezen, maar nog nooit het gebouw heeft verlaten. Om werkelijk intelligente machines te creëren die kunnen leren, zich kunnen aanpassen en op een natuurlijke, menselijke manier met ons kunnen interageren, moeten we hen lichamen en zintuigen geven.

We moeten bewegen van AI die alleen woorden kent naar AI die de wereld ervaart. Door taal te combineren met zicht, geluid en beweging, en door deze machines het vermogen te geven om op eigen kracht te ontdekken en te leren, kunnen we een toekomst bouwen waarin AI niet alleen een hulpmiddel is waar we mee praten, maar een partner die ons werkelijk begrijpt. Het gaat er niet om de bibliotheek te vervangen; het gaat erom de deuren te openen en de AI naar buiten te laten stappen.