A Circuit for In-Context Learning
Diese Arbeit identifiziert und validiert kausal einen spezifischen, konservierten neuronalen Schaltkreis in Transformer-Modellen, der das In-Context-Learning für die Few-Shot-Satzklassifizierung ermöglicht, indem er einen gesteuerten assoziativen Gedächtnismechanismus implementiert, bei dem Köpfe in den mittleren Schichten Label-Klassen-Zuordnungen speichern und Köpfe in den oberen Schichten diese basierend auf Abfrage-Übereinstimmungen abrufen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Sprachmodell wie eine riesige Bibliothek menschlichen Wissens vor, die auf Milliarden von Sätzen trainiert wurde. Wenn Sie ihm eine Frage stellen, antwortet es normalerweise basierend auf dem, was es auswendig gelernt hat. Aber es kann einen besonderen Trick anwenden, der sich „In-Context Learning“ nennt. Wenn Sie dem Modell unmittelbar vor Ihrer Frage einige Beispiele für eine neue Aufgabe zeigen – etwa indem Sie ihm ein Dutzend Sätze zeigt, die mit erfundenen Labels gepaart sind – kann es das Muster sofort lernen und auf Ihren neuen Satz anwenden, ohne jemals seine internen Gewichte zu ändern oder neu trainiert zu werden. Es begreift die Regel in einem einzigen Moment des Lesens. Jahrelang wussten Wissenschaftler, dass dies geschieht, aber sie wussten nicht, wie die Maschine dies tatsächlich macht. Sie konnten das Ergebnis sehen, aber die Zahnräder, die sich in der dunklen Box drehten, blieben ein Mysterium.
Ein Team von Forschern hat nun diese Box geöffnet und die genaue Mechanik hinter dieser Fähigkeit kartiert. Durch die Untersuchung von drei verschiedenen großen Sprachmodellen entdeckten sie, dass das Modell eine Regel nicht im traditionellen Sinne „lernt“. Stattdessen baut es ein temporäres Gedächtnis innerhalb des Prompts selbst auf, indem es einen spezifischen Satz von Attention-Heads verwendet – spezialisierte Verarbeitungseinheiten innerhalb des Netzwerks –, die als Schreiber, Leser und Gatekeeper fungieren. Sie fanden heraus, dass das Modell die Beispiele, die Sie ihm geben, als ein Key-Value-Speichersystem behandelt. Wenn Sie einen Satz gefolgt von einem Label zeigen, schreibt das Modell die Identität dieses Labels in einen spezifischen Slot seines Speichers, während es gleichzeitig einen „Key“ schreibt, der die Art des Satzes beschreibt, den es gerade gesehen hat. Später, wenn das Modell auf die endgültige Frage stößt, berechnet es einen Code für diese Frage und nutzt diesen, um in seinem temporären Speicher zu suchen, wobei es den Typ der Frage gegen die zuvor gespeicherten Keys abgleicht, um das korrekte Label abzurufen.
Die Forscher verfolgten diesen Prozess Schritt für Schritt und nutzten eine Methode, die es ihnen ermöglichte, die internen Aktivitäten des Modells zwischen verschiedenen Prompts auszutauschen, um zu sehen, welche Teile essenziell waren. Sie fanden heraus, dass etwa zwanzig Heads in den mittleren Schichten als Schreiber fungieren, die die Klasse jedes Demonstrationssatzes aufnehmen und sie in den Speicher-Slot des folgenden Labels deponieren. Dann fungieren etwa neunzig Heads in den oberen Schichten als Leser. Diese Leser scannen den Speicher und suchen nach Slots, in denen der gespeicherte Key mit der Klasse der aktuellen Frage übereinstimmt. Wenn sie eine Übereinstimmung finden, kopieren sie das Label aus diesem Slot in die endgültige Antwort. Dieser Abrufmechanismus ist jedoch nicht immer aktiv. Die Forscher entdeckten ein „Gate“, das entscheidet, ob der Speicher überhaupt gelesen werden soll. Dieses Gate prüft, ob ein Label in den Beispielen mehr als einmal aufgetreten ist. Wenn ein Label wiederholt wird, öffnet sich das Gate und erlaubt den Lesern, den Speicher zu durchsuchen. Wenn kein Label wiederholt wird, bleibt das Gate geschlossen, und das Modell kehrt dazu zurück, die Beispiele zu ignorieren – ein Verhalten, das verhindert, dass es wahllos rät, wenn kein klares Muster existiert.
Um sicherzustellen, dass das Modell korrekt antwortet, fungiert ein weiterer Satz von etwa zwei Dutzend Heads als „Bremsen“. Diese Heads arbeiten gegen das zuletzt gesehene Label, um zu verhindern, dass das Modell einfach das letzte Beispiel kopiert, das es gelesen hat – ein häufiger Bias, der als Recency bekannt ist. Oh\ne diese Bremsen würde das Modell oft das Muster ignorieren und einfach das letzte gesehene Label wiederholen. Die Forscher fanden auch heraus, dass das Modell auf einen „Sink“ angewiesen ist, eine Standardposition, an die die Aufmerksamkeit geht, wenn es nichts Spezifisches zu fokussieren gibt. Das Gate funktioniert dadurch, dass es die Anziehungskraft auf diesen Sink verringert, was die Leser dazu zwingt, in den tatsächlichen Speicher-Slots zu suchen.
Was diese Entdeckung besonders robust macht, ist, dass die Forscher das Verhalten nicht nur beobachtet, sondern es durch das Kappen von Verbindungen bewiesen haben. Als sie die Schreiber blockierten, konnte das Modell keine Keys speichern. Als sie die Leser blockierten, konnte es sie nicht finden. Als sie das Gate entfernten, versuchte das Modell, den Speicher zu lesen, selbst wenn kein Muster existierte, was zu Fehlern führte. Sie bauten sogar eine winzige, handcodierte Version dieses Schaltkreises von Grund auf neu, und sie funktionierte exakt wie vorhergesagt, was bestätigte, dass diese spezifischen Teile ausreichen, um die Aufgabe zu erfüllen. Die Studie zeigte auch, dass die spezifischen Heads, die diese Aufgaben übernehmen, zwischen verschiedenen Modellen leicht variieren, die Architektur des Schaltkreises jedoch insgesamt gleich bleibt.
Die überraschendste Erkenntnis betrifft die Handhabung der Größe der Aufgabe durch das Modell. Die Forstcher fanden heraus, dass das Modell sich nicht auf einen einzelnen leistungsstarken Head verlässt, der die gesamte Arbeit erledigt. Stattdessen wird die Aufgabe unter vielen Heads aufgeteilt, die zusammenarbeiten. Kein einzelner Reader-Head ist stark genug, um die endgültige Antwort allein zu produzieren; das Modell benötigt den kombinierten Output von Dutzenden von ihnen, um eine sichere Vorhersage zu generieren. Dies erklärt, warum das Modell solch große Populationen von Heads für diese Aufgabe verwendet. Darüber hinaus zeigte die Studie, dass Modelle mit zunehmender Größe keine neuen Teile erfinden, um das Problem zu lösen, sondern stattdessen einfach die bestehenden Populationen stärken. Die „Bremsen“, die das Modell daran hindern, durch das jüngste Beispiel voreingenommen zu sein, werden in größeren Modellen stärker, wesdem Grund sind größere Modelle besser darin, dem Muster in den Beispielen zu folgen, anstatt sich auf ihr eigenes vortrainiertes Wissen darüber zu verlassen, was die Wörter normalerweise bedeuten.
Diese Arbeit verändert unser Verständnis davon, wie Künstliche Intelligenz aus dem Kontext lernt. Sie legt nahe, dass das Modell nicht magisch Regeln ableitet oder komplexe mathematische Updates durchführt. Stattdessen führt es einen hoch organisierten, mechanischen Nachschlag aus. Es schreibt Informationen in einen temporären Speicher, prüft, ob ein Muster existiert, und ruft dann die Antwort basierend auf diesem Muster ab. Die Forscher zeigten, dass dieser Mechanismus über verschiedene Modellgrößen hinweg konsistent ist und sogar bestehen bleibt, wenn das Modell für andere Aufgaben feinjustiert wird. Die Fähigkeit, aus wenigen Beispielen zu lernen, ist keine mysteriöse emergente Eigenschaft, sondern ein konkreter, rückverfolgbarer Schaltkreis, der aus identifizierbaren Komponenten besteht, die gemessen, manipuliert und verstanden werden können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.