🤖 AI

Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Dieser Beitrag wendet das Minimal Cognitive Grid-Framework an, um die kognitive Plausibilität führender rechnerischer Modelle von Analogie und Metapher, einschließlich SME, CogSketch, METCL und LLMs, systematisch zu bewerten und zu rangieren, und zwar mittels eines formalisierten quantitativen Ansatzes, der auf dem Verhältnis von Funktion zu Struktur, der Allgemeingültigkeit und der Leistungsübereinstimmung basiert.

Ursprüngliche Autoren: Alessio Donvito, Antonio Lieto

Veröffentlicht 2026-05-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alessio Donvito, Antonio Lieto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Richter bei einer Talentshow, bei der die Kandidaten jedoch keine Sänger oder Tänzer sind, sondern Computerprogramme, die versuchen, wie menschliche Denker zu agieren. Konkret versuchen sie, Rätsel zu lösen, die Analogien (wie „A ist zu B wie C ist zu D") und Metaphern (wie „Mein Job ist ein Gefängnis") beinhalten.

Die Autoren dieses Papiers, Alessio Donvito und Antonio Lieto, entwickelten ein spezielles Bewertungssystem namens Minimal Cognitive Grid (MCG). Betrachten Sie dieses Gitter als einen dreibeinigen Hocker. Damit ein Computer bequem auf dem Hocker sitzen und als „kognitiv plausibles" Modell gelten kann (was bedeutet, dass es wie ein Mensch denkt und nicht nur so aussieht), muss es auf allen drei Beinen im Gleichgewicht sein.

Hier ist die Funktionsweise der drei Beine, erläutert durch einfache Analogien:

Bein 1: Der Bauplan-Abgleich (Funktionaler/Struktureller Anteil)

Die Frage: Baut der Computer seine Antwort auf die gleiche Weise wie ein menschliches Gehirn, oder erzielt er die richtige Antwort einfach durch Magie?

Die Analogie: Stellen Sie sich zwei Personen vor, die versuchen, ein Vogelhaus zu bauen.
- Person A (Das Strukturmodell): Verwendet Holz, Nägel und einen Hammer und folgt exakt denselben Schritten wie ein Zimmermann. Sie mag langsam sein, aber ihr Prozess ist menschlich.
- Person B (Das Funktionsmodell): Verwendet einen 3D-Drucker oder einen Laserschneider. Sie erhält dasselbe Vogelhaus, aber die innere Maschine ist völlig anders als die Hände eines Menschen.
Die Behauptung des Papiers: Die Autoren argumentieren, dass ein Computer, um ein gutes Modell dafür zu sein, wie wir denken, den Ansatz mit „Holz und Nägeln" (strukturell) verwenden muss.
- SME und CogSketch: Diese sind wie die Zimmerleute. Sie verwenden spezifische Regeln (wie „eine Sache bildet auf eine andere ab"), die nachahmen, wie Menschen Analogien herstellen. Hier erzielen sie hohe Punktzahlen.
- LLMs (wie GPT-4): Diese sind wie die 3D-Drucker. Sie sind hervorragend darin, das Vogelhaus zu fertigen (die richtige Antwort zu erhalten), aber sie tun dies, indem sie Muster aus einer riesigen Bibliothek von Büchern erraten, nicht indem sie menschlich ähnliche logische Schritte befolgen. Hier erzielen sie sehr niedrige Punktzahlen, da ihre „innere Mechanik" dem menschlichen Denken fremd ist.
- METCL: Dies ist ein Zimmermann in der Mitte. Es verwendet einen anderen Satz von Bauplänen (mit Fokus auf Kategorisierung statt Abbildung), daher erzielt es mittlere Punktzahlen.

Bein 2: Das Schweizer Taschenmesser (Allgemeingültigkeit)

Die Frage: Kann der Computer viele verschiedene Arten des Denkens bewältigen, oder ist es ein Ein-Dimensional-Tier?

Die Analogie:
- Der Spezialist: Ein Schachgroßmeister, der einen anderen Großmeister schlagen kann, aber nicht selbst die Schuhe zubinden oder ein Ei kochen kann.
- Der Generalist: Jemand, der Schach spielen, kochen, Auto fahren und Matheprobleme lösen kann.
Die Behauptung des Papiers: Die Autoren untersuchen, ob diese Systeme Mathematik, visuelle Rätsel, Sprache und sogar körperliche Bewegung (sensorisch-motorische Fähigkeiten) bewältigen können.
- LLMs: Dies sind die ultimativen Generalisten. Sie können lesen, schreiben, Mathe rechnen und Bilder betrachten. Hier erzielen sie die höchsten Punktzahlen.
- SME und CogSketch: Dies sind die Spezialisten. Sie sind großartig bei spezifischen Logikrätseln (wie visuellen Mustern), können aber kaum Mathe oder komplexe Sätze verstehen. Hier erzielen sie niedrige Punktzahlen.
- METCL: Auch ein Spezialist, der sich hauptsächlich auf Sprachmetaphern konzentriert.

Bein 3: Der Spiegel-Test (Leistungs-Abgleich)

Die Frage: Wenn der Computer einen Fehler macht, macht er dann die gleiche Art von Fehler, die ein Mensch machen würde?

Die Analogie: Stellen Sie sich vor, Sie schreiben einen Test.
- Wenn Sie eine Frage falsch beantworten, weil Sie das Konzept missverstanden haben, ist das ein „menschlicher" Fehler.
- Wenn Sie sie falsch beantworten, weil der Computer einen Fehler hatte oder zufällig geraten hat, ist das ein „maschineller" Fehler.
- Das Ziel ist es zu sehen, ob die „Fehlfunktionen" des Computers menschlicher Verwirrung ähneln.
Die Behauptung des Papiers:
- SME und CogSketch: Sie sind darin hervorragend. Wenn sie ein visuelles Rätsel versagen (wie die Raven's Progressive Matrices), scheitern sie an exakt denselben schwierigen Rätseln, mit denen Menschen kämpfen. Sie benötigen sogar eine ähnliche Zeitspanne zum Nachdenken. Sie erzielen sehr hohe Punktzahlen.
- LLMs: Sie erhalten oft die richtige Antwort, aber wenn sie scheitern, sehen ihre Fehler anders aus als die von Menschen. Sie könnten durch eine leichte Änderung der Wortwahl verwirrt werden, die einen Menschen nicht aus dem Konzept bringen würde. Hier erzielen sie niedrigere Punktzahlen.

Die Endtabelle

Die Autoren kombinieren diese drei Punktzahlen, um zu sehen, wer den Titel „Kognitive Plausibilität" gewinnt. Sie entschieden, dass Bein 1 (Der Bauplan) am wichtigsten ist, da das Hauptziel darin besteht zu verstehen, wie Menschen denken, und nicht nur, die richtige Antwort zu erhalten.

Der Gewinner (unter strengen Regeln): CogSketch und SME. Obwohl sie „Ein-Dimensional-Tiere" sind (geringe Allgemeingültigkeit), denken sie wie Menschen. Sie sind die besten Modelle zur Untersuchung des menschlichen Geistes.
Der Zweitplatzierte: METCL. Es sitzt in der Mitte, tut einige menschlich ähnliche Dinge, aber nicht so umfassend wie die beiden Spitzenreiter.
Die „Magische" Box: LLMs (GPT-4, etc.). Sie sind unglaublich intelligent und vielseitig (hohe Allgemeingültigkeit), aber sie denken nicht wie Menschen. Wenn Sie ein Werkzeug zur Problemlösung wollen, sind sie großartig. Aber wenn Sie ein Modell wollen, das erklärt, warum Menschen so denken, wie sie es tun, sagt das Papier, dass sie nicht die beste Wahl sind.

Die große Erkenntnis

Das Papier kommt zu dem Schluss, dass „intelligent" zu sein (die richtige Antwort zu erhalten) etwas anderes ist als „kognitiv plausibel" zu sein (wie ein Mensch zu denken).

LLMs sind wie ein Super-Schauspieler, der ein Skript perfekt auswendig lernen und exakt wie ein Mensch klingen kann, aber die Emotionen nicht wirklich fühlt.
SME/CogSketch sind wie ein Methoden-Schauspieler, der die Emotionen tatsächlich fühlt und durch die Logik der Figur denkt, auch wenn er nicht so viele Zeilen auswendig lernen kann.

Die Autoren haben dieses Gitter entwickelt, um Wissenschaftlern zu helfen, zu entscheiden, welches Computerprogramm der beste „Methoden-Schauspieler" für die Untersuchung des menschlichen Geistes ist. Sie stellten fest, dass zwar die „Super-Schauspieler" (LLMs) beeindruckend sind, aber die „Methoden-Schauspieler" (SME/CogSketch) immer noch der Goldstandard für das Verständnis der Mechanik des menschlichen Denkens sind.

Technisches Fazit: Strukturelle Rangfolge der kognitiven Plausibilität rechnerischer Modelle von Analogien und Metaphern mittels des Minimalen Kognitiven Gitters

Problemstellung
Die Erstellung und Interpretation von Analogien und Metaphern sind grundlegend für die menschliche semantische Kompetenz. Obwohl zahlreiche rechnerische Modelle vorgeschlagen wurden, um diese Fähigkeiten zu replizieren, fehlt es an systematischen, quantitativen Rahmenwerken zur Bewertung ihrer kognitiven Plausibilität – insbesondere des Ausmaßes, in dem ihre internen Mechanismen mit menschlichen kognitiven Prozessen übereinstimmen, anstatt lediglich funktional äquivalente Ausgaben zu produzieren. Aktuelle Systeme der Künstlichen Intelligenz, insbesondere Large Language Models (LLMs), erzielen oft hohe Leistungen bei Analogieaufgaben, operieren jedoch über Mechanismen (z. B. statistische Mustererkennung), die sich grundlegend von der menschlichen Kognition unterscheiden. Der Artikel adressiert die Notwendigkeit einer standardisierten Metrik, um zwischen „funktionalen" Artefakten (die die Ausgabe imitieren) und „strukturellen" Modellen (die interne kognitive Mechanismen imitieren) zu unterscheiden und damit deren Erklärungskraft in der Kognitionswissenschaft zu bewerten.

Methodik: Das Minimale Kognitive Gitter (MCG)
Die Autoren wenden das von Lieto (2021) vorgeschlagene Minimale Kognitive Gitter (MCG) formal operationalisiert an, ein Rahmenwerk zur Rangfolge künstlicher Systeme basierend auf ihrer strukturellen Genauigkeit im Verhältnis zu biologischen oder kognitiven Zielvorgaben. Die Methodik umfasst eine quantitative Bewertung über drei distincte Dimensionen:

Funktionaler/Struktureller Quotient (FSR): Diese Dimension bewertet das Gleichgewicht zwischen funktionaler Replikation (Übereinstimmung der Ausgabe) und struktureller Implementierung (Übereinstimmung des Mechanismus). Die Autoren definieren eine Metrik, $FSRM$, basierend auf einer Reihe struktureller Einschränkungen, die aus zwei primären kognitiven Theorien abgeleitet sind:
- Struktur-Mapping-Theorie (SMT): Einschränkungen umfassen eine-zu-eine-Mapping, parallele Konnektivität, Systematik (Präferenz für vernetzte relationale Strukturen) und inferentielle Projektion.
- Kategorisierungstheorie der Metapher (CTM): Einschränkungen umfassen Kategorisierung (Interpretation von Metaphern als Klassen-Einschluss-Aussagen) und Eigenschaftsauswahl (Übertragung salienter Merkmale).
  Modelle werden bewertet, basierend darauf, ob sie diese Mechanismen strukturell ( $s_i=1$ ) oder lediglich funktional ( $s_i=0$ ) implementieren, gewichtet nach der theoretischen Bedeutung jeder Einschränkung.
Generalität (GM): Diese Dimension bewertet die Breite der kognitiven Funktionen, die ein Modell simulieren kann, basierend auf der Cattell-Horn-Carroll (CHC)-Taxonomie menschlicher kognitiver Fähigkeiten. Die Autoren bewerten Modelle über fünf Domänen: Quantitatives Wissen, Fluides Reasoning, Visuelle Verarbeitung, Sprache/Verbales Wissen und Sensorische/Motorische Fähigkeiten. Scores werden basierend auf vollständiger Abdeckung (1), teilweiser Abdeckung (0,5) oder Abwesenheit (0) zugewiesen, mit einem spezifischen Gewichtungsschema, das die Bedeutung sensorisch-motorischer Fähigkeiten in der verkörperten Kognition betont.
Leistungsübereinstimmung (PMM): Diese Dimension quantifiziert die Übereinstimmung zwischen Modellverhalten und menschlichem Verhalten unter Berücksichtigung nicht nur der Genauigkeit, sondern auch von Fehlermustern und Reaktionszeiten. Der Score ist eine gewichtete Summe aus:
- Accuracy Delta: Die Abweichung von der menschlichen Basisleistung.
- Fehlermuster: Ob das Modell die Verteilung menschlicher Fehler repliziert (z. B. Versagen bei denselben schwierigen Items).
- Reaktionszeiten: Die Ähnlichkeit der Ausführungsverzögerung im Vergleich zu menschlichen Reaktionszeiten.

Hauptbeiträge

Formale Operationalisierung: Der Artikel liefert eine rigorose mathematische Operationalisierung des MCG und transformiert qualitative theoretische Unterscheidungen in quantitative Scores ($FSRM$, $GM$, $PMM$), die einen direkten Vergleich unterschiedlicher KI-Architekturen ermöglichen.
Einheitliche Metrik der kognitiven Plausibilität (CPM): Die Autoren führen einen zusammengesetzten Score ein, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$ , der die drei Dimensionen integriert. Sie schlagen ein Gewichtungsschema vor ( $\lambda=0,5, \mu=0,25, \nu=0,25$ ), das strukturelle Fidelity priorisiert und argumentiert, dass die Erklärungskraft in der Kognitionswissenschaft primär von der Übereinstimmung interner Mechanismen mit menschlicher Theorie abhängt.
Systematische vergleichende Analyse: Der Rahmen wird auf vier distincte Klassen von Systemen angewendet:
- SME (Structure-Mapping Engine) & CogSketch: Symbolische Systeme basierend auf SMT.
- METCL: Ein logikbasiertes Modell zur Metapherengenerierung basierend auf CTM.
- LLMs: Einschließlich GPT-3.5, GPT-4 und GPT-4o.

Ergebnisse
Die Evaluation ergibt distincte Profile für jedes System:

SME und CogSketch: Erzielen die höchsten Strukturellen Scores ( $FSR'_M \approx 0,606$ ) aufgrund ihrer expliziten Implementierung von SMT-Einschränkungen (eine-zu-eine-Mapping, Systematik). Sie zeigen zudem die höchste Leistungsübereinstimmung ( $PMM \approx 0,923$ ) bei Raven's Progressive Matrices und replizieren menschliche Genauigkeit und Fehlermuster. Allerdings erzielen sie sehr niedrige Scores bei der Generalität ( $GM \approx 0,063–0,125$ ), da ihnen Fähigkeiten im quantitativen Reasoning, in der Sprachverarbeitung und bei sensorisch-motorischen Aufgaben fehlen.
METCL: Nimmt eine intermediäre Position ein. Es erzielt moderate Scores bei der Strukturellen Fidelity ( $FSR'_M \approx 0,407$ ) durch Implementierung von CTM-Einschränkungen (Kategorisierung, Eigenschaftsauswahl), fehlt es jedoch an SMT-basierten strukturellen Einschränkungen. Seine Generalität ist begrenzt ( $GM \approx 0,125$ ), und die Leistungsübereinstimmung ist moderat ( $PMM \approx 0,714$ ).
LLMs: Zeigen die höchste Generalität ( $GM \approx 0,500–0,800$ ) und decken quantitative, fluide, visuelle und linguistische Domänen ab. Allerdings zeigen sie eine sehr niedrige Strukturelle Fidelity ( $FSR'_M \approx 0,109$ ) und versagen darin, SMT-Einschränkungen wie Systematik oder eine-zu-eine-Mapping im mechanistischen Sinne zu implementieren. Ihre Leistungsübereinstimmung ist gemischt ( $PMM \approx 0,578$ ), oft mit hoher Genauigkeit, aber divergierenden Fehlermustern (z. B. Versagen bei Aufgaben mit vielen Distraktoren, bei denen Menschen erfolgreich sind) und fehlenden Daten zur zeitlichen Übereinstimmung.

Unter dem vorgeschlagenen ungleichen Gewichtungsschema (Priorisierung struktureller Plausibilität) rangieren CogSketch und SME in der Gesamtkognition plausibilität am höchsten. Unter einem gleichen Gewichtungsschema übertreffen LLMs METCL aufgrund ihrer überlegenen Generalität, ein Ergebnis, das die Autoren angesichts des Mangels an kognitiv inspirierten Einschränkungen bei LLMs als „paradox" beschreiben.

Bedeutung und Behauptungen
Der Artikel behauptet, dass das MCG einen „Bauplan" für einen generalisierbaren, reproduzierbaren Vergleich von KI-Systemen basierend auf ihrer biologischen oder kognitiven Plausibilität und nicht nur ihrer funktionalen Ausgabe bietet.

Erklärungskraft: Die Autoren argumentieren, dass der Funktionale/Strukturelle Quotient die kritische Dimension für die Kognitionswissenschaft ist, da er bewertet, ob der Erfolg eines Modells auf Mechanismen basiert, die für das Phänomen relevant sind (z. B. relationales Mapping) und nicht auf statistischer Generalisierung.
Unterscheidung vom Behaviorismus: Der Rahmen zielt darauf ab, einen „erneuerten Behaviorismus" zu vermeiden, indem Systeme bestraft werden, die menschliche Leistungsniveaus durch nicht-menschähnliche interne Prozesse erreichen.
Skalierbarkeit: Die Methodik wird als skalierbares Werkzeug zur Bewertung aktueller und zukünftiger KI-Generationen präsentiert und bietet eine gemeinsame Messsprache über symbolische, subsymbolische und hybride Architekturen hinweg.
Limitationen: Die Autoren bescheiden räumen Limitationen ein, darunter die ungleiche Verfügbarkeit von Benchmark-Daten (LLMs werden an mehr Datensätzen getestet als SME/CogSketch), das Fehlen von Reaktionszeitdaten für einige Systeme und die Tatsache, dass Gewichtungsfaktoren derzeit auf theoretischer Relevanz und nicht auf datengesteuerter Herleitung basieren. Sie schlagen vor, dass zukünftige Arbeiten sich auf die Erweiterung von Datensätzen und die Verfeinerung der Gewichtungsschemata konzentrieren sollten, um die Generalisierbarkeit des Rahmens weiter zu erweitern.