💻 computer science

What are They Thinking? Delineation, Probing and Tracking of Concepts in LLMs

Dieser Beitrag stellt einen Rahmen für die Entwicklung kostengünstiger, skalierbarer linearer Proben vor, um spezifische Konzepte in den Einbettungen großer Sprachmodelle über verschiedene Schichten und Kontexte hinweg zu umreißen, zu erkennen und zu verfolgen, wodurch die Interpretierbarkeit und die Überwachungsfähigkeiten verbessert werden.

Ursprüngliche Autoren: Mohamed Abdelwahab, Michelle Yu Collins, Sihan Chen, Yi Cheng Zhao, Zafarullah Mahmood, Jiading Zhu, Soliman Ali, Jonathan Rose

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Abdelwahab, Michelle Yu Collins, Sihan Chen, Yi Cheng Zhao, Zafarullah Mahmood, Jiading Zhu, Soliman Ali, Jonathan Rose

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) wie einen riesigen, superschnellen Koch in einer Küche vor. Dieser Koch kann jedes Rezept zubereiten, das Sie wünschen, aber Sie können nicht in seinen Kopf blicken, während er schneidet, mischt und probiert. Sie sehen nur das fertige Gericht (den von ihm ausgegebenen Text). Die Frage lautet: Worüber denkt der Koch tatsächlich nach, während er kocht?

Dieser Artikel handelt davon, ein Paar „Röntgenbrillen" zu bauen, die es uns ermöglichen, einen Blick in den Kopf des Kochs zu werfen, um zu sehen, welche Konzepte (wie „Ambition", „Ermittlung", „Demokratie" oder „Neid") zu einem gegebenen Zeitpunkt in seinen Gedanken vorhanden sind.

Hier ist, wie die Forscher es taten, in einfachen Schritten aufgeschlüsselt:

1. Definition des „Gedankens" (Die Abgrenzung)

Bevor Sie nach etwas suchen können, müssen Sie genau wissen, was es ist. Die Forscher haben nicht einfach nur geraten, wie „Ambition" aussieht; sie haben sie sorgfältig definiert.

Die Analogie: Stellen Sie sich vor, Sie möchten „Rot" in einem Haufen Farbe finden. Sie können nicht einfach sagen „alles, was rötlich ist". Sie brauchen eine strikte Regel: „Rot ist genau dieser spezifische Farbton, nicht pink, nicht orange."
Die Methode: Sie nutzten eine intelligente KI, um Tausende von Sätzen zu generieren. Einige Sätze waren so gestaltet, dass sie das Konzept klar zeigten (z. B. eine Figur, die nach einem Ziel strebt), und andere waren so gestaltet, dass sie ähnlich aussahen, aber dieses Konzept nicht enthielten. Entscheidend war, dass sie sicherstellten, dass die Sätze keine offensichtlichen „Cheat-Codes" (wie die direkte Verwendung des Wortes „Ambition") enthielten, die den Test zu einfach machen würden. Sie erstellten einen „Goldstandard"-Datensatz mit Beispielen, bei denen das Konzept entweder definitiv vorhanden oder definitiv nicht vorhanden ist.

2. Bau des „Detektors" (Die Sonde)

Sobald sie ihre Liste mit „Ja, das ist Ambition" und „Nein, das ist es nicht" hatten, bauten sie einen winzigen, einfachen Detektor namens linearer Probe.

Die Analogie: Betrachten Sie das LLM als eine riesige Bibliothek, in der jedes Buch (jedes Wort in einem Satz) an einem bestimmten Ort gespeichert ist. Die Forscher bauten einen winzigen, billigen Metalldetektor, den sie über jedes Regal in der Bibliothek schieben können.
Funktionsweise: Sie trainierten diesen Metalldetektor mit ihrer „Goldstandard"-Liste. Wenn der Detektor laut piept (ein hoher Score), bedeutet dies, dass das Konzept in den internen „Gedanken" (Embeddings) des Modells vorhanden ist. Wenn er still bleibt (ein niedriger Score), ist das Konzept nicht vorhanden.
Die Überraschung: Sie stellten fest, dass diese Detektoren keine komplexen Supercomputer sein müssen. Ein sehr einfacher Detektor mit weniger als 80 „Reglern" (Parametern) reichte aus, um diese Konzepte genau zu erkennen.

3. Beobachten der Entwicklung der „Gedanken" (Wachsen und Schwinden)

Der interessanteste Teil ist das Beobachten, wie sich diese Gedanken ändern, während die Geschichte fortschreitet.

Die Analogie: Stellen Sie sich vor, der Koch erzählt eine Geschichte. Am Anfang spricht er nur über das Wetter (da ist keine „Ambition"). Dann beginnt er, über eine Figur zu sprechen, die ein Rennen gewinnen will (Ambition taucht auf). Schließlich gibt die Figur auf (Ambition schwindet).
Das Ergebnis: Die Forscher zeigten, dass ihre Detektoren dies in Echtzeit verfolgen können. Während sie die Geschichte Wort für Wort in das Modell einspeisen, steigt der „Piep"-Ton des Detektors, wenn das Konzept eingeführt wird, und sinkt, wenn die Geschichte weitergeht. Es ist wie das Beobachten eines Herzmonitors für eine bestimmte Idee.

4. Warum das wichtig ist (ohne Hype)

Der Artikel behauptet, dies sei eine neue, kostengünstige Methode, um zu verstehen, worüber LLMs „nachdenken", ohne das gesamte Modell neu trainieren oder teure, schwere Maschinen (wie die im Artikel erwähnten „Sparse Autoencoder", die wie der Versuch sind, die ganze Bibliothek wieder aufzubauen, um ein einziges Buch zu finden) verwenden zu müssen.

Wichtige Erkenntnisse aus dem Artikel:

Es funktioniert: Sie haben erfolgreich Detektoren für vier spezifische Konzepte (Ambition, Ermittlung, Demokratie, Neid) über drei verschiedene Arten von KI-Modellen hinweg gebaut.
Es ist günstig: Sie müssen den Datensatz nur einmal für ein Konzept erstellen, und dann können Sie den Detektor auf jedem Modell verwenden.
Es ist präzise: Die Detektoren können Ihnen genau sagen, wann ein Konzept in den Kopf des Modells eindringt und wann es wieder verschwindet, wenn sich der Kontext ändert.
Es ist keine Magie: Der Artikel gibt zu, dass dies zwar für diese vier Konzepte funktioniert, wir aber noch nicht wissen, ob es für jedes mögliche Konzept funktioniert. Außerdem wurde die Daten von einer KI generiert, was einige Einschränkungen hinsichtlich der perfekten Nachahmung menschlicher Nuancen mit sich bringt.

Kurz gesagt liefert der Artikel einen Bauplan für den Bau einfacher, wiederverwendbarer „Gedankendetektoren", die es uns ermöglichen, die interne Logik von KI-Modellen zu beobachten, während sie Informationen verarbeiten, und beweist, dass diese Modelle tatsächlich über spezifische abstrakte Ideen nachdenken, bevor sie sprechen.

Technische Zusammenfassung: Abgrenzung, Sondierung und Verfolgung von Konzepten in LLMs

Problemstellung
Da Large Language Models (LLMs) die Entscheidungsfindung zunehmend beeinflussen, besteht ein dringender Bedarf, ihre internen „Denkprozesse" zu verstehen. Während frühere Forschungen gezeigt haben, dass lineare Proben spezifische sprachliche Eigenschaften (z. B. Wortarten, Zeitformen) und Konzepte (z. B. Zeit, Ort, Wahrheit) innerhalb von LLM-Einbettungen erkennen können, stoßen bestehende Methoden zur Konzepterkennung auf erhebliche Grenzen. Sparse Autoencoder (SAEs) erfordern beispielsweise rechenintensive, unüberwachte Trainingsverfahren und bieten keine Kontrolle darüber, welche spezifischen Konzepte erkannt werden, was sie für eine gezielte Überwachung ungeeignet macht. Andere Ansätze, wie das Auffordern eines LLM, ein Konzept zu identifizieren, sind für eine kontinuierliche Überwachung zu kostspielig, da sie separate Modellaufrufe erfordern. Dieser Beitrag adressiert den Bedarf nach einer kostengünstigen, skalierbaren Methode zur Erstellung spezifischer Proben, die das Vorhandensein und Fehlen impliziter Konzepte innerhalb von LLM-Einbettungen während des normalen Betriebs überwachen können.

Methodik
Die Autoren schlagen eine dreistufige Pipeline zur Erstellung und Nutzung von Konzeptproben vor:

Abgrenzung von Konzepten: Die Kerninnovation ist eine halbautomatische Methode zur Erstellung hochwertiger binärer Datensätze für spezifische Konzepte.
- Vorlagengenerierung: Die Autoren erstellten 30.000 Satzvorlagen aus Texten des Project Gutenberg, die gefiltert wurden, um sicherzustellen, dass sie sich auf menschliche Subjekte konzentrieren und kohärente Strukturen enthalten.
- Beispielgenerierung: Unter Verwendung eines aufgeforderten LLM (gpt-4o) generierten sie für jedes Konzept Paare von Beispielen (vorhanden vs. nicht vorhanden), indem sie die syntaktische Struktur der Vorlagen nachahmten und die Semantik so veränderten, dass sie das Zielkonzept widerspiegelte. Dieser Ansatz zielt darauf ab, „Label-Leckagen" zu verhindern, bei denen das Modell möglicherweise zufällige Korrelationen statt des Konzepts selbst lernt.
- Verfeinerung und Beschriftung: Um die Zuverlässigkeit zu gewährleisten, klassifizierte ein aufgefordertes LLM alle generierten Beispiele neu. Die Prompts wurden iterativ verfeinert, um eine Genauigkeit von über 90 % auf manuell beschrifteten Validierungssätzen zu erreichen. Die Datensätze wurden gefiltert, um nur Paare mit entgegengesetzten Labels zu behalten, wodurch sichergestellt wird, dass die Probe das Konzept und nicht strukturelle Ähnlichkeiten lernt. Vier Konzepte wurden ausgewählt: Ambition, Untersuchung, Demokratie und Neid.
Training und Evaluation der Proben:
- Training: Lineare Proben (binäre Klassifikatoren) wurden auf den Einbettungen trainiert, die aus verschiedenen Schichten der Ziel-LLMs extrahiert wurden. Die Autoren testeten zwei repräsentative Einbettungsstrategien: die Einbettung des letzten Tokens ( $N$ -tes) und den Durchschnitt aller Einbettungen in einer Schicht.
- Kontrollaufgaben: Um zu verifizieren, dass die Proben in den Einbettungen kodierte Konzepte erkennen und nicht die Aufgabe unabhängig lernen, setzten die Autoren Kontrollaufgaben ein:
  - Randomisierung: Das Training auf randomisierten Einbettungen oder Labels führte zu einer Genauigkeit von ca. 50 %, was bestätigt, dass die Proben auf aussagekräftigen Informationen in den Einbettungen basieren.
  - Parameterreduktion: Die Proben wurden auf weniger als 80 Parameter eingeschränkt (via PCA). Eine hohe Genauigkeit wurde auch bei signifikanter Komprimierung beibehalten, was darauf hindeutet, dass die Einbettungen die Merkmale robust kodieren.
Konzeptverfolgung (Zunahme und Abnahme):
- Geschichtendatensätze: Die Autoren erstellten 50 dreiparagraphige Geschichten für jedes Konzept. Das Zielkonzept war nur in den Übergangssätzen vorhanden, die die Absätze verbinden, und ansonsten nicht vorhanden.
- Dynamische Überwachung: Die trainierten Proben wurden auf die Einbettungen sich erweiternder Eingabekontexte (wortweise) angewendet. Dies ermöglichte den Autoren zu beobachten, wie sich die Wahrscheinlichkeit des Vorhandenseins eines Konzepts verändert, während sich der Kontext entwickelt, und zwar speziell die „Zunahme und Abnahme" des Konzeptsignals zu verfolgen.

Hauptergebnisse

Konklusion von Konzepten: Die Studie bestätigt, dass LLMs (getestet an den Familien Llama-3-8B, Gemma-2 und Qwen2.5) die vier Zielkonzepte inferieren. Die Proben erzielten in den meisten Schichten eine Genauigkeit, die signifikant über 50 % lag, wobei die Einbettungsschicht (Schicht 0) bei Verwendung von Durchschnittseinbettungen für Ambition eine überraschend hohe Genauigkeit (87 %) aufwies, was jedoch für längere Kontexte nicht galt.
Effizienz der Proben: Die Proben erzielten mit sehr wenigen Parametern eine starke Leistung. Für Ambition blieb die Genauigkeit bei nur 40 Parametern über 75 % und plateauierte bei etwa 80 Parametern, was weit unter der Einbettungsdimension des Modells liegt (4.096 für Llama-3-8B).
Verfolgungsdynamik: Die Proben verfolgten erfolgreich das Vorhandensein und Fehlen von Konzepten in Echtzeit, während sich der Eingabekontext erweiterte. Bei Verwendung der Einbettungen des letzten Tokens stieg die Ausgabe der Probe über den Schwellenwert von 0,5, wenn das Konzept im Text vorhanden war, und fiel darunter, wenn es nicht vorhanden war. Im Gegensatz dazu verwässerten kumulative Durchschnittseinbettungen das Signal und konnten diese Dynamiken nicht erfassen, was darauf hindeutet, dass die Konzeptinferenz in LLMs mehr als einfache Bag-of-Words-Repräsentationen umfasst.
Schichtspezifität: Es wurde festgestellt, dass unterschiedliche Schichten in verschiedenen Modellen optimal für die Verfolgung spezifischer Konzepte sind. Beispielsweise war in Llama-3-8B Schicht 13 am besten für die Verfolgung von Ambition, während Schicht 31 am besten für Untersuchung geeignet war.

Bedeutung und Behauptungen
Der Beitrag beansprucht, die „ersten Schritte" hin zu einer Fähigkeit zur Erstellung breiter Probenmengen zur Überwachung von LLMs zu unternehmen. Seine Hauptbeiträge sind:

Eine reproduzierbare, halbautomatische Methodik zur Abgrenzung von Konzepten in binäre Datensätze, die zufällige Label-Leckagen minimieren.
Der Nachweis, dass lineare Proben implizierte Konzepte mit hoher Genauigkeit unter Verwendung minimaler Parameter (<80) erkennen können, was sie rechnerisch kostengünstig macht.
Der Beleg, dass diese Proben als kostengünstige, kontinuierliche Monitorien dienen können, die in der Lage sind, die dynamische „Zunahme und Abnahme" von Konzepten im sich erweiternden Kontext zu verfolgen.
Die Veröffentlichung der erstellten Datensätze (Vorlagen und konzeptspezifische Beispiele), um weitere Forschung zur Erklärbarkeit von LLMs zu ermöglichen.

Die Autoren bewahren einen bescheidenen Ton und erkennen Einschränkungen an, wie etwa die Möglichkeit, dass generierte Daten spezifischen Verteilungen folgen, und die Abhängigkeit von LLM-basierten Klassifikatoren für die Beschriftung. Sie gehen davon aus, dass ihre aktuelle Arbeit zwar auf vier Konzepte fokussiert ist, die Skalierung dieses Prozesses jedoch die Überwachung neuer Modelle und die Erforschung kausaler Zusammenhänge zwischen inferierten internen Konzepten und generierten Ausgaben ermöglichen könnte, wodurch die Sicherheit und Erklärbarkeit von LLMs vorangetrieben wird.

1. Definition des „Gedankens" (Die Abgrenzung)

2. Bau des „Detektors" (Die Sonde)

3. Beobachten der Entwicklung der „Gedanken" (Wachsen und Schwinden)

4. Warum das wichtig ist (ohne Hype)

Mehr davon