🤖 AI

Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Dit artikel past het Minimal Cognitive Grid-kader toe om de cognitieve plausibiliteit van toonaangevende computationele modellen van analogie en metafoor, waaronder SME, CogSketch, METCL en LLM's, systematisch te evalueren en te rangschikken aan de hand van een geformaliseerde kwantitatieve benadering die gebaseerd is op de verhouding tussen functie en structuur, generaliteit en prestatieovereenstemming.

Oorspronkelijke auteurs: Alessio Donvito, Antonio Lieto

Gepubliceerd 2026-05-06

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alessio Donvito, Antonio Lieto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent bij een talentenjacht, maar in plaats van zangers of dansers zijn de deelnemers computerprogramma's die proberen te doen alsof ze menselijk denken. Specifiek proberen ze raadsels op te lossen die analogieën (zoals "A staat tot B als C staat tot D") en metaforen (zoals "Mijn baan is een gevangenis") bevatten.

De auteurs van dit artikel, Alessio Donvito en Antonio Lieto, hebben een speciaal scoresysteem ontwikkeld dat de Minimal Cognitive Grid (MCG) heet. Stel je dit rooster voor als een driepootstoel. Om comfortabel op de stoel te kunnen zitten en als een "cognitief plausibel" model te worden beschouwd (wat betekent dat het denkt als een mens, niet alleen eruit ziet alsof het dat doet), moet een computer op alle drie de poten in balans zijn.

Hier is hoe de drie poten werken, met behulp van eenvoudige analogieën:

Poot 1: De Blauwdrukmatch (Functioneel/Structureel Ratio)

De Vraag: Bouwt de computer zijn antwoord op dezelfde manier als een menselijk brein, of krijgt hij het juiste antwoord gewoon door magie?

De Analogie: Stel je twee mensen voor die proberen een vogelhuisje te bouwen.
- Persoon A (Het Structurele Model): Gebruikt hout, nagels en een hamer, en volgt exact dezelfde stappen als een timmerman. Ze zijn misschien traag, maar hun proces is menselijk.
- Persoon B (Het Functionele Model): Gebruikt een 3D-printer of een lasercutter. Ze krijgen exact hetzelfde vogelhuisje, maar de machine erin is totaal anders dan de handen van een mens.
De Bewering van het Artikel: De auteurs betogen dat een computer om een goed model te zijn van hoe we denken, de aanpak van "hout en nagels" (structureel) moet gebruiken.
- SME en CogSketch: Deze zijn als de timmermannen. Ze gebruiken specifieke regels (zoals "één ding koppelt aan één ding") die nabootsen hoe mensen analogieën maken. Ze scoren hier hoog.
- LLM's (zoals GPT-4): Deze zijn als de 3D-printers. Ze zijn geweldig in het maken van het vogelhuisje (het juiste antwoord krijgen), maar ze doen dit door patronen te raden uit een enorme bibliotheek van boeken, niet door menselijke logische stappen te volgen. Ze scoren hier zeer laag, omdat hun "interne machine" vreemd is voor menselijk denken.
- METCL: Dit is een timmerman in het midden. Het gebruikt een andere set blauwdrukken (met de nadruk op categorisering in plaats van koppeling), dus het scoort gemiddeld.

Poot 2: Het Zwitsers Zakmes (Generaliteit)

De Vraag: Kan de computer verschillende soorten denken, of is het een eendagsvlieg?

De Analogie:
- De Specialist: Een meester-schaakspeler die een grootmeester kan verslaan, maar niet zijn eigen schoenen kan strikken of een ei kan bakken.
- De Generalist: Iemand die kan schaken, koken, een auto kan rijden en wiskundeproblemen kan oplossen.
De Bewering van het Artikel: De auteurs kijken of deze systemen wiskunde, visuele raadsels, taal en zelfs fysieke beweging (zintuiglijk-motorische vaardigheden) aankunnen.
- LLM's: Dit zijn de ultieme generalisten. Ze kunnen lezen, schrijven, wiskunde doen en naar afbeeldingen kijken. Ze scoren hier het hoogst.
- SME en CogSketch: Dit zijn de specialisten. Ze zijn geweldig in specifieke logica-raadsels (zoals visuele patronen), maar kunnen geen wiskunde doen of complexe zinnen begrijpen. Ze scoren hier laag.
- METCL: Ook een specialist, voornamelijk gericht op taalmetaforen.

Poot 3: De Spiegeltentest (Prestatie-match)

De Vraag: Als de computer het fout heeft, maakt hij dan dezelfde soort fouten als een mens?

De Analogie: Stel je voor dat je een toets maakt.
- Als je een vraag fout hebt omdat je het concept niet begreep, is dat een "menselijke" fout.
- Als je het fout hebt omdat de computer een storing had of willekeurig raadsde, is dat een "machinefout".
- Het doel is om te zien of de "storingen" van de computer op menselijke verwarring lijken.
De Bewering van het Artikel:
- SME en CogSketch: Ze zijn uitstekend in dit opzicht. Als ze een visueel raadsel falen (zoals de Raven's Progressive Matrices), falen ze op exact dezelfde moeilijke raadsels waar mensen moeite mee hebben. Ze doen er zelfs ongeveer even lang over om na te denken. Ze scoren zeer hoog.
- LLM's: Ze krijgen vaak het juiste antwoord, maar als ze falen, lijken hun fouten anders dan die van mensen. Ze kunnen verward raken door een kleine wijziging in de formulering die een persoon niet zou verwarren. Ze scoren hier lager.

Het Eindscorebord

De auteurs combineren deze drie scores om te zien wie de titel "Cognitieve Plausibiliteit" wint. Ze hebben besloten dat Poot 1 (De Blauwdruk) het belangrijkst is, omdat het hoofddoel is om te begrijpen hoe mensen denken, en niet alleen het juiste antwoord te krijgen.

De Winnaar (onder strikte regels): CogSketch en SME. Hoewel ze "eendagsvliegen" zijn (lage generaliteit), denken ze als mensen. Ze zijn de beste modellen voor het bestuderen van de menselijke geest.
De Tweede: METCL. Het zit in het midden, doet sommige menselijke dingen, maar niet zo uitgebreid als de top twee.
De "Magische" Doos: LLM's (GPT-4, enz.). Ze zijn ongelooflijk slim en veelzijdig (hoge generaliteit), maar ze denken niet als mensen. Als je een hulpmiddel wilt om problemen op te lossen, zijn ze geweldig. Maar als je een model wilt dat uitlegt waarom mensen denken zoals ze doen, zegt het artikel dat ze niet de beste keuze zijn.

De Grote Conclusie

Het artikel concludeert dat "slim" zijn (het juiste antwoord krijgen) anders is dan "cognitief plausibel" zijn (denken als een mens).

LLM's zijn als een super-acteur die een script perfect kan memoriseren en precies als een mens kan klinken, maar ze voelen de emoties niet echt.
SME/CogSketch zijn als een methodacteur die de emoties echt voelt en de logica van het personage doordacht, zelfs als ze niet zoveel regels kunnen memoriseren.

De auteurs hebben dit rooster gebouwd om wetenschappers te helpen beslissen welk computerprogramma de beste "methodacteur" is voor het bestuderen van de menselijke geest. Ze ontdekten dat hoewel de "super-acteurs" (LLM's) indrukwekkend zijn, de "methodacteurs" (SME/CogSketch) nog steeds de gouden standaard zijn voor het begrijpen van de mechanismen van menselijk denken.

Technische Samenvatting: Structurele Rangschikking van de Cognitieve Plausibiliteit van Computatiële Modellen van Analogie en Metaforen met de Minimale Cognitieve Grid

Probleemstelling
Het creëren en interpreteren van analogieën en metaforen is fundamenteel voor de menselijke semantische competentie. Hoewel er talloze computatiële modellen zijn voorgesteld om deze vaardigheden te repliceren, ontbreekt het aan systematische, kwantitatieve kaders om hun cognitieve plausibiliteit te evalueren—specifiek de mate waarin hun interne mechanismen overeenkomen met menselijke cognitieve processen, in plaats van slechts functioneel equivalente output te produceren. Huidige kunstmatige intelligentiesystemen, met name Large Language Models (LLM's), bereiken vaak hoge prestaties op analogie-taken, maar werken via mechanismen (bijvoorbeeld statistische patroonherkenning) die fundamenteel verschillen van menselijke cognitie. Het artikel adresseert de behoefte aan een gestandaardiseerde metriek om te onderscheiden tussen "functionele" artefacten (die output nabootsen) en "structurele" modellen (die interne cognitieve mechanismen nabootsen), en thereby hun verklarende kracht in de cognitiewetenschap te beoordelen.

Methodologie: De Minimale Cognitieve Grid (MCG)
De auteurs maken gebruik van en formaliseren operationeel de Minimale Cognitieve Grid (MCG), een kader voorgesteld door Lieto (2021) om kunstmatige systemen te rangschikken op basis van hun structurele nauwkeurigheid ten opzichte van biologische of cognitieve doelen. De methodologie omvat een kwantitatieve beoordeling over drie distincte dimensies:

Functioneel/Structureel Ratio (FSR): Deze dimensie evalueert de balans tussen functionele replicatie (output-match) en structurele implementatie (mechanisme-match). De auteurs definiëren een metriek, $FSRM$, gebaseerd op een set structurele beperkingen afgeleid van twee primaire cognitieve theorieën:
- Structure-Mapping Theory (SMT): Beperkingen omvatten één-op-één mapping, parallelle connectiviteit, systematiciteit (voorkeur voor onderling verbonden relationele structuren) en inferentiële projectie.
- Categorization Theory of Metaphor (CTM): Beperkingen omvatten categorisatie (het interpreteren van metaforen als klasse-insluitingsuitspraken) en eigenschapselectie (het overdragen van opvallende kenmerken).
  Modellen worden gescoord op basis van of ze deze mechanismen structureel implementeren ( $s_i=1$ ) of slechts functioneel ( $s_i=0$ ), gewogen naar de theoretische belangrijkheid van elke beperking.
Generaliteit (GM): Deze dimensie beoordeelt de breedte van cognitieve functies die een model kan simuleren, gebaseerd op de Cattell-Horn-Carroll (CHC) taxonomie van menselijke cognitieve vaardigheden. De auteurs evalueren modellen over vijf domeinen: Kwantitatieve Kennis, Fluid Redeneren, Visuele Verwerking, Taal/Verbaal Kennis, en Sensorische/Motorische Vaardigheden. Scores worden toegekend op basis van volledige dekking (1), gedeeltelijke dekking (0,5) of afwezigheid (0), met een specifiek wegingsschema dat de belangrijkheid van Sensorische/Motorische vaardigheden in belichaamde cognitie benadrukt.
Prestatie-match (PMM): Deze dimensie kwantificeert de uitlijning tussen modelgedrag en menselijk gedrag, waarbij niet alleen nauwkeurigheid maar ook foutpatronen en reactietijden worden overwogen. De score is een gewogen som van:
- Accuracy Delta: De afwijking van de menselijke basisprestatie.
- Foutpatronen: Of het model de verdeling van menselijke fouten nabootst (bijvoorbeeld het falen op dezelfde moeilijke items).
- Reactietijden: De gelijkenis in uitvoeringslatentie vergeleken met menselijke reactietijden.

Belangrijkste Bijdragen

Formele Operationalisatie: Het artikel biedt een rigoureuze wiskundige operationalisatie van de MCG, waarbij kwalitatieve theoretische onderscheidingen worden omgezet in kwantitatieve scores ($FSRM$, $GM$, $PMM$) die directe vergelijking van uiteenlopende AI-architecturen mogelijk maken.
Unificerend Cognitief Plausibiliteitsmetriek (CPM): De auteurs introduceren een samengestelde score, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$ , die de drie dimensies integreert. Zij stellen een wegingsschema voor ( $\lambda=0,5, \mu=0,25, \nu=0,25$ ) dat structurele fideliteit prioriteert, met het argument dat verklarende kracht in de cognitiewetenschap primair afhangt van de uitlijning van interne mechanismen met menselijke theorie.
Systematische Comparatieve Analyse: Het kader wordt toegepast op vier distincte klassen van systemen:
- SME (Structure-Mapping Engine) & CogSketch: Symbolische systemen gebaseerd op SMT.
- METCL: Een logisch gebaseerd model voor metafoorgeneratie gebaseerd op CTM.
- LLM's: Inclusief GPT-3.5, GPT-4 en GPT-4o.

Resultaten
De evaluatie levert distincte profielen op voor elk systeem:

SME en CogSketch: Bereiken de hoogste Structurele Scores ( $FSR'_M \approx 0,606$ ) vanwege hun expliciete implementatie van SMT-beperkingen (één-op-één mapping, systematiciteit). Zij tonen ook de hoogste Prestatie-match ( $PMM \approx 0,923$ ) op Raven's Progressive Matrices, waarbij menselijke nauwkeurigheid en foutpatronen worden gerepliceerd. Echter, zij scoren zeer laag op Generaliteit ( $GM \approx 0,063–0,125$ ) aangezien zij geen vaardigheden bezitten in kwantitatief redeneren, taalverwerking en sensorisch-motorische taken.
METCL: Bezit een intermediaire positie. Het scoort gemiddeld op Structurele Fideliteit ( $FSR'_M \approx 0,407$ ) door CTM-beperkingen (categorisatie, eigenschapselectie) te implementeren, maar mist SMT-gebaseerde structurele beperkingen. Zijn Generaliteit is beperkt ( $GM \approx 0,125$ ), en Prestatie-match is gemiddeld ( $PMM \approx 0,714$ ).
LLM's: Vertonen de hoogste Generaliteit ( $GM \approx 0,500–0,800$ ), waarbij kwantitatieve, fluid, visuele en linguïstische domeinen worden gedekt. Echter, zij tonen zeer lage Structurele Fideliteit ( $FSR'_M \approx 0,109$ ), en falen om SMT-beperkingen zoals systematiciteit of één-op-één mapping op een mechanistische manier te implementeren. Hun Prestatie-match is gemengd ( $PMM \approx 0,578$ ), vaak met hoge nauwkeurigheid maar afwijkende foutpatronen (bijvoorbeeld het falen op taken met veel distractors waar mensen slagen) en het ontbreken van temporele uitlijnende data.

Onder het voorgestelde niet-gelijke wegingsschema (met prioriteit voor structurele plausibiliteit) rangschikken CogSketch en SME het hoogst in algehele cognitieve plausibiliteit. Onder een gelijke wegingsschema overschrijden LLM's METCL vanwege hun superieure generaliteit, een resultaat dat de auteurs als "paradoxaal" beschrijven gezien het ontbreken van cognitief geïnspireerde beperkingen bij LLM's.

Betekenis en Aanspraken
Het artikel stelt dat de MCG een "blauwdruk" biedt voor een generaliseerbare, reproduceerbare vergelijking van AI-systemen op basis van hun biologische of cognitieve plausibiliteit, in plaats van slechts hun functionele output.

Verklarende Kracht: De auteurs betogen dat de Functioneel/Structurele Ratio de kritieke dimensie is voor de cognitiewetenschap, omdat deze beoordeelt of het succes van een model is gebaseerd op mechanismen die relevant zijn voor het fenomeen (bijvoorbeeld relationele mapping) in plaats van statistische generalisatie.
Onderscheid met Behaviorisme: Het kader beoogt "vernieuwde behaviorisme" te vermijden door systemen te straffen die menselijke prestaties bereiken via niet-menselijke interne processen.
Schaalbaarheid: De methodologie wordt gepresenteerd als een schaalbaar hulpmiddel voor het beoordelen van huidige en toekomstige AI-generaties, en biedt een gemeenschappelijke meettaal voor symbolische, sub-symbolische en hybride architecturen.
Beperkingen: De auteurs erkennen bescheiden beperkingen, waaronder de ongelijke beschikbaarheid van benchmarkdata (LLM's worden getest op meer datasets dan SME/CogSketch), het ontbreken van reactietijdata voor sommige systemen, en het feit dat beperkingsgewichten momenteel gebaseerd zijn op theoretische relevantie in plaats van datagedreven afleiding. Zij suggereren dat toekomstig werk zich moet richten op het uitbreiden van datasets en het verfijnen van wegingsschema's om de generaliseerbaarheid van het kader verder te vergroten.