Evaluating Developmental Cognition Capabilities of LLMs
Dieser Beitrag stellt den Developmental Sentence Completion Test (DSCT) vor, um die Fähigkeit von LLMs zu bewerten, auf der Grundlage von Robert Kegans Theorie entwicklungsbedingte kognitive Stufen zu erkennen, und kommt zu dem Ergebnis, dass Modelle zwar die intendierten Stufen in simulierten Personas präzise identifizieren und in ihren eigenen Outputs konsistente Entwicklungsmuster aufweisen, ihre Übereinstimmung mit realen menschlichen Antworten jedoch nur moderat ist, was unterstreicht, dass die primäre Herausforderung für stufenbewusste KI in der Verfügbarkeit entwicklungsbedingter Signale im erfragten Text liegt und nicht allein in der Klassifikatorgenauigkeit.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Wie „denken" wir über das Denken nach?
Stellen Sie sich vor, Sie sprechen mit einem sehr intelligenten Roboter. Normalerweise versuchen wir, dem Roboter zu vermitteln, was Sie wollen (Ihre Ziele) oder was Sie wissen (Ihre Fakten). Doch dieses Papier stellt eine andere Frage: Wie machen Sie sich eigentlich die Welt verständlich?
Die Autoren nutzen eine psychologische Theorie von Robert Kegan, um dies zu untersuchen. Betrachten Sie Kegans Theorie wie eine Leiter des „Sinnstiftens".
- Untere Sprossen: Sie sehen die Welt als eine Reihe von Regeln oder als das, was andere von Ihnen erwarten. (z. B. „Ich tue dies, weil mein Chef es gesagt hat.")
- Höhere Sprossen: Sie bauen einen eigenen inneren Kompass auf und können einen Schritt zurücktreten, um Ihre eigenen Überzeugungen zu betrachten. (z. B. „Ich tue dies, weil ich die Situation analysiert habe und entschieden habe, dass sie mit meinen eigenen Werten übereinstimmt, selbst wenn mein Chef anderer Meinung ist.")
Das Papier versucht herauszufinden, ob KI erkennen kann, auf welcher „Sprosse" der Leiter eine Person steht, indem sie einfach ihren Text liest.
Das Problem: Die alten Tests waren zu schwerfällig
Traditionell mussten Psychologen, um herauszufinden, wo sich jemand auf dieser Leiter befindet, lange, tiefgründige Interviews führen (wie eine 90-minütige Therapiesitzung). Es ist wie der Versuch, einen Wal zu wiegen, indem man ihn hebt; es ist zu schwer und zu langsam, um dies für Tausende von Menschen oder zum Testen von KI zu tun.
Es gibt auch kürzere Tests (Satzergänzungen), doch diese sind oft veraltet, privat (man muss sie kaufen) oder stellen sehr persönliche Fragen zu Sex und Familie, die sich aufdringlich anfühlen.
Die Lösung: Der „DSCT" (Ein neuer, leichterer Test)
Die Autoren entwickelten einen neuen, 20-Fragen-Test namens Developmental Sentence Completion Test (DSCT).
- Die Analogie: Stellen Sie sich ein „Lückentext"-Spiel vor. Anstatt zu fragen „Was ist Ihre Lieblingsfarbe?", fragt es Dinge wie: „Wenn ein Versprechen gebrochen wird, fühle ich mich..." oder „Wenn eine Person zwischen zwei guten Optionen wählen muss, ...".
- Das Ziel: Die Antworten werden nicht als „richtig" oder „falsch" bewertet. Sie werden nach der Struktur des Denkens bewertet. Klingt die Antwort so, als würde jemand der Menge folgen, oder als hätte jemand ein eigenes inneres System?
Die drei Experimente: Der „Geschmackstest"
Die Forscher führten drei verschiedene „Geschmackstests" durch, um zu sehen, ob KI diese Antworten korrekt lesen kann.
1. Der „Roboter, der als Mensch agiert"-Test (Simulierte Personas)
- Der Aufbau: Sie baten eine superintelligente KI, verschiedene Arten von Menschen zu imitieren (vom „Regelbefolger" bis zum „unabhängigen Denker") und den Test auszufüllen.
- Das Ergebnis: Die KI-Klassifizierer (die „Bewerter") waren erstaunlich gut darin. Wenn die KI genau wusste, welche Persona sie spielen sollte, konnten die anderen KIs den „Denkstil" mit nahezu perfekter Genauigkeit erraten.
- Die Metapher: Es ist wie ein Schauspieler, der ein Skript perfekt vorliest. Die anderen Schauspieler (die Bewerter) konnten leicht genau erkennen, welche Rolle gespielt wurde.
2. Der „Echter Mensch"-Test
- Der Aufbau: Sie gaben den Test 83 echten Menschen. Dann baten sie sowohl menschliche Experten als auch die KI, die Antworten zu bewerten.
- Das Ergebnis: Dies war unübersichtlicher. Die KI und die menschlichen Experten stimmten nur etwa die Hälfte der Zeit über die genaue „Sprosse" überein, aber sie stimmten viel häufiger über das allgemeine Umfeld überein (z. B. beide sagten „irgendwo zwischen Sprosse 3 und 4").
- Die Metapher: Echte Menschen sind unübersichtlich. Manchmal schreiben sie kurze Antworten, manchmal lange, und manchmal widersprechen sie sich selbst. Es ist wie der Versuch, die Stimmung einer Person zu erraten, indem man eine Textnachricht liest, die sie gesendet hat, während sie zu spät kommt; es ist schwieriger als das Lesen eines Skripts. Die KI war etwas konservativer (sparsamer) als die menschlichen Experten und vergab selten eine „hohe Sprosse", es sei denn, sie war sich sicher.
3. Der „KI spricht mit sich selbst"-Test (Standardantworten)
- Der Aufbau: Sie baten die KI-Modelle, den Test zu machen, ohne zu tun, als wären sie jemand anderes. Sie antworteten einfach als sie selbst.
- Das Ergebnis: Die neueren, größeren KI-Modelle gaben Antworten, die so klangen, als stünden sie auf einer höheren Sprosse der Leiter als die kleineren, älteren Modelle.
- Die Metapher: Stellen Sie sich vor, Sie bitten ein Kleinkind und einen College-Studenten, denselben „Lückentext"-Test auszufüllen. Die Antworten des College-Studenten klingen natürlich komplexer und selbstreflektierter. Das Papier fand heraus, dass KI-Modelle, je größer und neuer sie werden, ihre „Standardstimme" so verwenden, dass sie mehr wie ein selbstreflektierter Erwachsener klingt.
Die wichtigsten Erkenntnisse
- KI ist gut darin, Muster zu erkennen, aber das Signal ist entscheidend: Wenn der Text sauber und strukturiert ist (wie beim simulierten Test), ist die KI hervorragend darin, den „Denkstil" herauszufinden. Wenn der Text unübersichtlich ist (wie bei echten menschlichen Antworten), ist es schwieriger, aber immer noch möglich, eine allgemeine Vorstellung zu bekommen.
- KI „denkt" nicht wie ein Mensch: Das Papier betont sorgfältig, dass KI tatsächlich keine Entwicklungsstufe hat. Es ist nur so, dass die Worte, die die KI generiert, so klingen, als kämen sie aus einer bestimmten Stufe.
- Die „Stimme" der KI ist wichtig: Größere, neuere KI-Modelle neigen dazu, so zu sprechen, dass es mehr nach „selbstverfasst" klingt (höher auf der Leiter). Dies könnte bedeuten, dass sie menschliche Benutzer anders interpretieren als kleinere Modelle.
Was dies für die Zukunft bedeutet (laut dem Papier)
Das Papier schlägt vor, dass KI, um wirklich personalisiert zu sein, nicht nur lernen sollte, was Sie mögen (z. B. „Ich mag Science-Fiction-Filme"). Sie sollte versuchen zu verstehen, wie Sie denken (z. B. „Brauchen Sie, dass ich Ihnen die Regeln gebe, oder möchten Sie, dass ich Ihre Ideen herausfordere?").
Die Autoren warnen jedoch davor, dass wir dies nicht einfach aus einem zufälligen Chat erraten können. Wir brauchen strukturierte Wege, um zu fragen (wie bei diesem Test), um eine zuverlässige Einschätzung zu erhalten. Man kann die „Denkleiter" einer Person nicht nur durch einen flüchtigen Blick auf eine kurze Textnachricht erkennen; man braucht ein echtes Gespräch, um die Struktur zu sehen.
Kurz gesagt: Das Papier hat einen neuen, kürzeren Test entwickelt, um zu messen, wie Menschen sich die Welt verständlich machen. Sie fanden heraus, dass KI diesen Test gut lesen kann, besonders wenn die Antworten klar sind, aber echte menschliche Antworten sind unübersichtlich. Außerdem „wachsen" die KI-Modelle selbst in ihrem Schreibstil heran und klingen mit zunehmender Größe komplexer.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.