Levels of Analysis for Large Language Models
Der Artikel schlägt vor, David Marrs Ebenen der Analyse aus der Kognitionswissenschaft als Rahmenwerk zu nutzen, um die Funktionsweise und das Verhalten von großen Sprachmodellen besser zu verstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wie man die Gedanken einer KI versteht: Eine Reise durch drei Ebenen
Stellen Sie sich vor, Sie haben einen riesigen, mysteriösen Roboter gebaut, der alles reden kann, Gedichte schreibt und Matheaufgaben löst. Aber wenn Sie ihn fragen: „Wie hast du das gemacht?", antwortet er nur mit einem Nicken und einem leeren Blick. Er ist ein Blackbox-System: Wir sehen das Ergebnis, aber wir verstehen nicht, was im Inneren vor sich geht.
Das ist genau das Problem, mit dem Wissenschaftler heute bei großen Sprachmodellen (wie ChatGPT) kämpfen. In diesem Papier schlagen die Autoren vor, dass wir nicht als Computerwissenschaftler, sondern als Psychologen denken sollten. Sie nutzen eine alte, bewährte Landkarte aus der Kognitionswissenschaft, die von einem Mann namens David Marr entwickelt wurde, um zu verstehen, wie das menschliche Gehirn funktioniert.
Stellen Sie sich diese Landkarte wie eine drei-stöckiges Haus vor. Um die KI wirklich zu verstehen, müssen wir in jedes Stockwerk gehen:
1. Das Dachgeschoss: Die „Warum"-Ebene (Computational Level)
Die Frage: Welches Problem versucht das System eigentlich zu lösen?
Stellen Sie sich einen Vogel vor. Um zu verstehen, wie er fliegt, müssen wir nicht sofort die Muskeln untersuchen. Zuerst müssen wir verstehen, warum er fliegt: Um Nahrung zu finden, um Raubtieren zu entkommen. Die Gesetze der Aerodynamik (der Wind, der ihn trägt) bestimmen, wie er fliegen muss.
Bei der KI ist das ähnlich. Wir wissen genau, wofür sie trainiert wurde: Sie soll das nächste Wort in einem Satz vorhersagen. Das ist ihre „Aufgabe".
- Die Erkenntnis: Die Autoren zeigen, dass die KI oft Dinge tut, die für uns seltsam wirken, aber für ihre Aufgabe perfekt sinnvoll sind.
- Ein Beispiel: Wenn Sie die KI bitten, einen Text zu entschlüsseln, der zufällig aussieht, macht sie Fehler. Aber wenn der Text eine häufige, „wahrscheinliche" Phrase ist (wie „Ich denke, also bin ich"), ist sie brillant. Sie ist nicht dumm; sie ist nur ein Meister des Vorhersagens, kein Meister des logischen Denkens. Sie folgt den Regeln der Wahrscheinlichkeit, nicht unbedingt denen der Logik.
Die Metapher: Die KI ist wie ein genialer Koch, der nur danach strebt, den beliebtesten Geruch im Restaurant zu erzeugen. Wenn Sie ihn bitten, ein Gericht zu kochen, das noch nie jemand gegessen hat, scheitert er, weil er nur auf „beliebte Gerüche" programmiert ist.
2. Das Erdgeschoss: Die „Wie"-Ebene (Algorithmic Level)
Die Frage: Wie rechnet das System das Ergebnis aus? Welche Tricks benutzt es?
Jetzt schauen wir uns an, wie der Vogel seine Flügel bewegt. Nutzt er einen schnellen Ruderflug oder gleitet er? Bei der KI wissen wir nicht, welche „Regeln" sie im Kopf hat, denn sie hat sie sich selbst gelernt. Aber wir können sie durch Verhaltenstests herausfinden.
Die Autoren nutzen Tricks aus der Psychologie, um die KI zu „hinterfragen":
- Der Parallel-Test: Wenn wir Menschen viele Dinge gleichzeitig sehen (z. B. rote Quadrate und blaue Kreise), verwechseln wir sie manchmal. Die KI macht genau denselben Fehler! Das zeigt uns, dass sie Informationen parallel verarbeitet, genau wie unser Gehirn, und nicht alles nacheinander abarbeitet.
- Der Ähnlichkeits-Test: Wenn wir Menschen fragen: „Wie ähnlich sind sich ein roter Apfel und ein roter Ball?", antworten wir intuitiv. Wenn wir die KI fragen, antwortet sie fast genauso! Das bedeutet, die KI hat ein inneres Bild von Farben und Formen entwickelt, obwohl sie diese nie mit ihren Augen gesehen hat.
- Der versteckte Vorurteil-Test: Wenn wir die KI direkt fragen: „Sind Frauen schlechte Manager?", sagt sie höflich „Nein". Aber wenn wir sie in einem schnellen Assoziationsspiel bitten, Wörter wie „Hochzeit" oder „Büro" mit Namen zu verbinden, zeigt sie alte, versteckte Vorurteile. Wie bei Menschen, die im Alltag sagen, sie seien offen, aber im Unterbewusstsein doch andere Muster haben.
Die Metapher: Die KI ist wie ein Schauspieler, der eine Rolle spielt. Wir können nicht sehen, was er denkt, aber wenn wir ihn in bestimmten Situationen spielen lassen (z. B. in einem schnellen Quiz), verrät ihm sein „Stolpern" oder seine „Gewohnheiten", wie sein Gehirn aufgebaut ist.
3. Der Keller: Die „Womit"-Ebene (Implementation Level)
Die Frage: Aus welchem Material ist das System gebaut und wie funktioniert es physikalisch?
Im Keller des Hauses schauen wir uns die Muskeln, Knochen und Nerven des Vogels an. Bei der KI sind das die neuronalen Netzwerke – Milliarden von winzigen mathematischen Verbindungen.
Früher dachten wir, diese Verbindungen seien undurchsichtig. Heute können wir aber wie Neurologen im Gehirn der KI herumstochern:
- Der „Chirurgische Eingriff": Wissenschaftler können bestimmte Teile des KI-Gehirns „ausschalten" oder „umschalten" (wie bei einer Operation). Wenn sie einen bestimmten Teil deaktivieren, vergisst die KI plötzlich, wie man lügt, oder wie man eine Geschichte erzählt.
- Die Entdeckung: Sie haben herausgefunden, dass die KI nicht einfach alles durcheinander wirft. Sie hat spezielle „Schaltkreise" entwickelt, die wie kleine Maschinen funktionieren, um Dinge wie „Wahrheit" oder „Logik" zu berechnen.
Die Metapher: Stellen Sie sich die KI als eine riesige, komplexe Stadt vor. Früher kannten wir nur die Straßen (die Eingaben und Ausgaben). Heute bauen wir eine Landkarte der einzelnen Häuser und Stromleitungen und können genau sehen, welche Leitung den Strom für das „Licht der Wahrheit" liefert.
Warum ist das alles wichtig?
Die Autoren sagen: Wir müssen aufhören, KI nur wie einen Schüler zu testen, der eine Prüfung macht.
Wenn wir nur fragen: „Kann die KI dieses Matheproblem lösen?", verpassen wir das große Ganze. Stattdessen sollten wir fragen: „Warum scheitert sie bei diesem speziellen Problem?" oder „Welche Art von Denken nutzt sie?"
Indem wir die KI mit den Werkzeugen der Psychologie untersuchen, lernen wir nicht nur die KI besser kennen, sondern auch uns selbst. Denn wenn die KI Fehler macht, die wir auch machen (wie Vorurteile oder Verwechslungen), dann spiegelt sie unsere eigene menschliche Denkweise wider.
Zusammenfassend:
Dieses Papier ist ein Aufruf, KI nicht als magische Blackbox zu betrachten, sondern als eine neue Form von „Gehirn", das wir mit den bewährten Methoden der Psychologie verstehen können. Wir müssen auf das Dach schauen (was will es?), ins Erdgeschoss (wie denkt es?) und in den Keller (woraus besteht es?), um wirklich zu verstehen, was diese Maschinen tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.