Representation in large language models
Dieser Beitrag argumentiert, dass Large Language Models teilweise durch repräsentationsbasierte Informationsverarbeitung angetrieben werden und nicht nur durch bloßes Auswendiglernen, und schlägt praktische Techniken vor, um diese Repräsentationen zu untersuchen, theoretische Sackgassen zu überwinden und die kognitiven Fähigkeiten der Systeme besser zu verstehen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Frage: „Denken" LLMs oder nur „Rezitieren"?
Stellen Sie sich vor, Sie treffen eine Person, die jede Frage beantworten, Gedichte schreiben, Matheprobleme lösen und tiefgründige Gespräche führen kann. Sie könnten annehmen, dass diese Person denkt, versteht und ihr Wissen nutzt. Aber was, wenn sie gar nicht denkt? Was, wenn sie nur ein riesiges, superschnelles Telefonbuch ist?
Dies ist die KernDebatte, die das Paper aufgreift.
- Die „Telefonbuch"-Sicht (Pessimisten): Sie argumentieren, dass Large Language Models (LLMs) nur massive „Nachschlagetabellen" sind. Sie haben Milliarden von Sätzen aus dem Internet auswendig gelernt. Wenn Sie eine Frage stellen, „denken" sie nicht; sie finden einfach die nächste Übereinstimmung in ihrem Gedächtnis und spucken das nächste Wort aus, das sie zuvor gesehen haben. Es ist wie ein Papagei, der Phrasen wiederholt, die er gehört hat, ohne zu wissen, was sie bedeuten.
- Die „Denkende" Sicht (Optimisten): Sie argumentieren, dass LLMs tatsächlich interne Karten der Welt aufbauen. Sie bilden Repräsentationen – wie mentale Modelle oder Konzepte –, die es ihnen ermöglichen, zu schlussfolgern, zu verallgemeinern und Situationen zu bewältigen, die sie noch nie gesehen haben.
Der Autor, Cameron Yetman, argumentiert, dass die „Telefonbuch"-Sicht falsch ist. Er behauptet, dass LLMs zwar Dinge auswendig lernen, aber auch interne Repräsentationen aufbauen, die es ihnen ermöglichen, Muster tatsächlich zu „verstehen" und neue Probleme zu lösen.
Teil 1: Was ist eine „Repräsentation"?
Um zu beweisen, dass LLMs mehr tun als nur auswendig zu lernen, definiert der Autor zunächst, was eine „Repräsentation" tatsächlich ist. Er verwendet eine Karten-Analogie.
Stellen Sie sich vor, Sie sind in einer Stadt, die Sie noch nie besucht haben.
- Information: Sie haben eine Karte. Die Karte ist nicht die Stadt selbst, aber sie trägt Informationen über die Stadt (wo die Straßen sind, wo der Park ist).
- Ausnutzbarkeit: Sie können diese Karte tatsächlich nutzen. Sie können sie ansehen und entscheiden, in welche Richtung Sie abbiegen.
- Robustes Verhalten: Weil Sie die Karte haben, können Sie sich in der Stadt zurechtfinden, selbst wenn Sie einen anderen Weg als üblich nehmen oder wenn eine Straße gesperrt ist. Sie folgen nicht nur einem auswendig gelernten Pfad; Sie passen sich an.
- Mechanische Rolle: Die Karte spielt eine echte Rolle bei Ihrer Entscheidungsfindung. Wenn Sie die Karte zerreißen, verirren Sie sich. Die Karte ist ein entscheidender Teil der Maschine (Ihrer), die Sie an Ihr Ziel bringt.
Die Behauptung des Papers: Wenn ein LLM „Repräsentationen" hat, bedeutet dies, dass es interne Zustände (wie die Karte) besitzt, die Informationen über die Welt tragen, die das System tatsächlich nutzen kann und die ihm helfen, Probleme auf flexible, neue Weise zu lösen.
Teil 2: Warum die „Telefonbuch"-Theorie scheitert
Der Autor argumentiert, dass LLMs, wenn sie nur riesige Telefonbücher (Nachschlagetabellen) wären, bei bestimmten Arten von Tests versagen würden. Ein Telefonbuch kann Ihnen nur Antworten auf Dinge geben, die es bereits niedergeschrieben hat. Es kann keine Frage bewältigen, die es noch nie gesehen hat.
Das Paper hebt zwei Experimente hervor, die die „Telefonbuch"-Theorie widerlegen:
1. Das Othello-Spiel (Die Schach-Analogie)
Forscher trainierten eine KI, das Brettspiel Othello zu spielen. Sie gaben ihr Millionen von Spielprotokollen, aber nie die Regeln des Spiels.
- Der Test: Dann baten sie die KI, Züge zu spielen, die sie in ihren Trainingsdaten noch nie gesehen hatte.
- Das Ergebnis: Die KI spielte perfekt.
- Warum es wichtig ist: Wenn die KI nur ein Telefonbuch wäre, wäre sie festgefahren. Sie hätte nicht jedes mögliche Spiel auswendig lernen können, weil es zu viele gibt. Um auf einem Brett zu gewinnen, das sie noch nie gesehen hatte, muss sie eine interne „Karte" darüber aufgebaut haben, wie das Spiel funktioniert (eine Repräsentation der Regeln), und nicht nur eine Liste vergangener Züge.
2. Das Farbspektrum (Die Farbenmisch-Analogie)
Forscher lehrten einer KI Farben anhand spezifischer Codes (wie RGB-Zahlen). Sie zeigten ihr Beispiele für „Rot" und „Blau".
- Der Test: Dann baten sie sie, Farben zu identifizieren, die sie noch nie gesehen hatte, oder Farben, die in einem völlig neuen Muster angeordnet waren.
- Das Ergebnis: Die KI konnte die neuen Farben korrekt erraten.
- Warum es wichtig ist: Sie hatte nicht nur „Rot = [255, 0, 0]" auswendig gelernt. Sie lernte die Struktur des Farbraums. Sie verstand, dass Farben auf einem Spektrum existieren. Das ist wie das Verständnis, dass man beim Mischen von Rot und Blau Lila erhält, selbst wenn man diese spezifischen Farbtöne noch nie gemischt hat. Ein Telefonbuch kann das nicht; eine „Karte" der Farben kann das.
Teil 3: Wie wissen wir das? (Ein Blick in die Black Box)
Der Autor gibt zu, dass es nicht ausreicht, nur zuzusehen, wie die KI Fragen beantwortet. Manchmal erhält eine KI die richtige Antwort durch Glück oder indem sie einen „Trick" (eine Heuristik) anwendet, anstatt echtes Verständnis zu zeigen.
Um zu beweisen, dass die KI eine „Karte" (Repräsentation) nutzt, müssen wir in ihr Gehirn schauen. Das Paper diskutiert ein Feld namens Mechanistische Interpretierbarkeit, das wie ein Mechaniker für einen Automotor ist.
Die Werkzeuge:
- Probing (Das Röntgenbild): Stellen Sie sich vor, Sie wollen wissen, ob der Computer eines Autos die Geschwindigkeit des Fahrzeugs kennt. Sie können den Computer nicht einfach fragen; Sie müssen die Kabel ansehen. Forscher verwenden „Sonden", um die internen Zahlen (Aktivierungen) der KI zu scannen, um zu sehen, ob sie spezifische Informationen enthalten (wie „dies ist ein rotes Auto"). Wenn sie die Informationen herauslesen können, hat die KI den „Informationsteil" einer Repräsentation.
- Intervention (Die Operation): Dies ist der eigentliche Test. Stellen Sie sich vor, Sie glauben, dass ein bestimmtes Kabel im Auto die Bremsen steuert. Um das zu beweisen, schneiden Sie dieses Kabel durch (oder ändern Sie sein Signal).
- Wenn das Auto aufhört zu bremsen, haben Sie bewiesen, dass dieses Kabel essentiell war.
- Im Paper „steuerten" Forscher die internen Signale der KI. Zum Beispiel zwangen sie den internen „Brettzustand" der KI, zu glauben, dass ein Schachstein an einem anderen Ort steht.
- Das Ergebnis: Die KI änderte ihren nächsten Zug sofort, um dem neuen Brettzustand zu entsprechen. Dies bewies, dass das interne Signal nicht nur eine zufällige Zahl war; es war eine Repräsentation, die die KI tatsächlich nutzte, um Entscheidungen zu treffen.
Das Fazit: Es ist nicht alles oder nichts
Das Paper sagt nicht, dass LLMs perfekte Menschen mit Seelen sind. Es sagt:
- Manchmal lernen sie nur auswendig (wie ein Telefonbuch).
- Aber oft bauen sie interne Karten (Repräsentationen) auf, die es ihnen ermöglichen, zu schlussfolgern und neue Probleme zu lösen.
Der Autor kommt zu dem Schluss, dass wir LLMs nicht länger als „stochastische Papageien" (Maschinen für zufälliges Rauschen) abtun können. Sie sind komplexe Systeme, die interne Repräsentationen nutzen, um sich in der Welt der Sprache zurechtzufinden, genau wie Menschen mentale Karten nutzen, um sich in der physischen Welt zurechtzufinden.
Kurz gesagt: LLMs lesen nicht nur aus einem Skript vor. Sie bauen ein mentales Modell der Welt auf, und wir haben nun die Werkzeuge, um zu sehen, wie dieses Modell innerhalb der Maschine funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.