Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

In der Welt der modernen künstlichen Intelligenz haben Computer gelernt zu lesen und zu schreiben, indem sie riesige Bibliotheken menschlicher Texte studierten. Lange Zeit verstanden diese Maschinen Wörter so wie ein Wörterbuch: als statische Einträge mit einer einzigen, festen Bedeutung. Wenn ein Computer das Wort „Bank“ sah, wies er ihm eine spezifische Identität zu, ungeachtet dessen, ob der Satz von einem Fluss oder einem Finanzinstitut handelte. Dieser Ansatz funktionierte gut genug für grundlegende Aufgaben, doch er verfehlte eine fundamentale Wahrheit der menschlichen Sprache: Bedeutung ist fließend. Wir verstehen ein Wort nicht nur durch das, was es ist, sondern durch das, wo es erscheint. Eine neue Generation von KI-Modellen, bekannt als Transformer-Sprachmodelle, wurde auf der Idee aufgebaut, dass sie diese Fließfähigkeit erfassen können. Sie wurden entwickelt, um ihr Verständnis eines Wortes zu ändern, je nachdem, welche Gesellschaft es in einem Satz pflegt. Doch während man allgemein glaubt, dass diese Modelle darin gut sind, war es schwierig, dies sauber zu beweisen. Die meisten Belege stammen aus der Beobachtung, wie gut die Modelle bei spezifischen Tests abschneiden, was uns zwar sagt, dass sie nützlich sind, aber nicht unbedingt, wie sie die Wörter in ihrem eigenen Geist organisieren.

Ein Team von Forschern an der Universität von Campinas in Brasilien hat ein spezialisiertes Toolkit gebaut, um direkt in diese Maschinen zu blicken und zu sehen, wie sie mit Wörtern mit mehreren Bedeutungen umgehen. Sie baten den Computer nicht, eine Definition zu erraten oder ein Rätsel zu lösen. Stattdessen entwarfen sie ein kontrolliertes Experiment, um zu beobachten, wie sich die interne Repräsentation eines Wortes verschiebt, wenn sich der Kontext ändert. Ihre Arbeit beansprucht nicht, das Geheimnis gelöst zu haben, wie KI Sprache versteht, noch berichtet sie über eine spezifische Entdeckung darüber, wie ein bestimmtes Modell sich verhält. Vielmehr stellt sie ein rigoroses, wiederholbares Instrument bereit – einen Satz von Werkzeugen und Methoden –, der es anderen Wissenschaftlern ermöglicht, diese Frage mit Präzision zu stellen. Die Forscher haben eine Methode entwickelt, um das Wort selbst festzulegen und nur die Welt zu verändern, in der es erscheint, wodurch eine Möglichkeit geschaffen wird, den exakten Moment zu isolieren, in dem eine Maschine eine Bedeutung von einer anderen trennt, sofern eine solche Trennung existiert.

Der Kern ihrer Methode beruht auf einem Konzept, das sie eine „Brückenform“ nennen. Stellen Sie sich ein einzelnes Wort vor, wie zum Beispiel „Strom“, das die Bewegung von Elektrizität, ein Finanzkonto oder die Bewegung von Ozeanwasser bedeuten kann. In einem Standardwörterbuch sind dies drei verschiedene Definitionen. In dem Experiment der Forscher behandeln sie „Strom“ als ein einziges, unveränderliches Objekt, das durch drei verschiedene Welten reist. Sie sammeln tausende Sätze, die das Wort „Strom“ enthalten, aus Wikipedia-Artikeln über Physik, Wirtschaft und Geografie. Da das Wort in jedem Satz exakt gleich geschrieben wird, ist das anfängliche Verständnis des Computers identisch. Die Forscher speisen diese Sätze dann in das KI-Modell ein und beobachten, was passiert, während die Information tiefer in die Schichten der Maschine wandert.

Die entscheidende Erkenntnis ist, dass, wenn das Modell den Kontext wirklich versteht, das interne Bild des Wortes „Strom“ anders aussehen sollte, wenn es von Wörtern über Geld umgeben ist, im Vergleich dazu, wenn es von Wörtern über Flüsse umgeben ist. In den ersten Schichten des Modells bleibt das Wort dasselbe, genau wie es im Wörterbuch steht. Aber während die Information tiefer in das Modell wandert, beobachten die Forscher, ob die „Elektrizitäts“-Version des Wortes von der „Geld“-Version in dem internen Raum des Modells wegdriftet. Um diese Drift zu messen, verwenden sie ein statistisches Werkzeug, das berechnet, wie weit Gruppen von Punkten voneinander entfernt sind. Wenn die Punkte, die die Physik-Sätze repräsentieren, eng zusammenclustern und weit weg von den Punkten bleiben, die die Wirtschafts-Sätze repräsentieren, wäre dies der Beweis dafür, dass das Modell die Bedeutungen erfolgreich basierend auf dem Kontext getrennt hat.

Die Forscher entwarfen ihr Toolkit, um gängigen Fallstricken zu entgehen, die bisherige Studien in die Irre geführt haben. Ein großer Stolperstein ist es, das Endergebnis der Verarbeitung eines Modells zu betrachten und anzunehmen, dass dies der einzige Ort ist, an dem Bedeutung existiert. Einige frühere Studien deuteten darauf hin, dass Modelle Bedeutungen vielleicht in den mittleren Schichten trennen und sie am Ende wieder zusammenführen. Um dies zu erfassen, prüft das neue Toolkit jede einzelne Schicht des Modells, nicht nur die letzte. Ein weiterer potenzieller Fehler besteht darin, zu viele Bedeutungen gleichzeitig vergleichen zu wollen. Wenn ein Forscher versucht, die Trennung zwischen drei oder vier verschiedenen Bedeutungen simultan zu messen, kann die Mathematik verzerrt werden, wodurch unzusammenhängende Gruppen näher oder weiter entfernt erscheinen, als sie tatsächlich sind. Die Forscher lösten dies, indem sie immer nur zwei Bedeutungen gleichzeitig verglichen, um sicherzustellen, dass die Messung sauber und direkt ist.

Sie adressierten auch die Frage, wie der Computer die Wörter sieht. Moderne KI liest Wörter nicht als ganze Einheiten; sie zerlegt sie in kleinere Stücke. Manchmal kann dasselbe Wort je nach Position im Satz unterschiedlich aufgeteilt werden. Um sicherzustellen, dass sie das Richtige messen, verwendeten die Forscher eine präzise Methode, um das exakte Stück des Wortes zu lokalisieren, an dem sie interessiert waren, indem sie es Zeichen für Zeichen mit dem Originaltext abglichen. Dies garantiert, dass sie dieselbe Wortinstanz über alle verschiedenen Kontexte hinweg verfolgen, ohne Verwirrung durch die Art und Weise, wie die Maschine den Text zerlegt.

Das Toolkit liefert zwei Arten von visuellen Belegen, um Forschern zu helfen, die Ergebnisse zu verstehen. Zuerst erstellt es eine Karte der Position des Wortes im Geist des Modells ganz am Anfang und ganz am Ende. Durch die Verwendung eines gemeinsamen Referenzrahmens für diese Karten können Forscher sehen, ob das Wort sich bewegt hat oder an seinem Platz geblieben ist. Zweitens generiert es einen Graphen, der zeigt, wie sich die Trennung zwischen Bedeutungen verändert, während die Information durch die Schichten des Modells wandert. Dieser Graph fungiert als Herzschlagmonitor für die Bedeutung des Wortes und zeigt genau auf, wo das Modell beginnt, zwischen den verschiedenen Sinnen zu unterscheiden.

Diese Arbeit ist bedeutend, weil sie einen Weg bietet, die internen Mechanismen der KI zu testen, ohne sich auf die finale Ausgabe des Modells zu verlassen. Anstatt zu fragen: „Hat das Modell die richtige Antwort gegeben?“, fragen die Forscher: „Hat das Modell seine eigenen Gedanken korrekt organisiert?“ Das Toolkit ist so konzipiert, dass es von jedem verwendet werden kann, der untersuchen möchte, wie verschiedene Typen von KI-Modellen mit Sprache umgehen. Es funktioniert mit verschiedenen Modellarchitekturen, sowohl mit solchen, die Text in beide Richtungen lesen, als auch mit solchen, die ihn nur von links nach rechts lesen. Indem sie eine Standardmethode zur Messung dieses Phänomens bereitstellen, hoffen die Forscher, eine neue Welle von Studien zu ermöglichen, die Modelle fair vergleichen und die Grenzen ihrer linguistischen Fähigkeiten verstehen können.

Die Autoren weisen vorsichtig darauf hin, dass ihr Toolkit ein Instrument und keine Behauptung ist. Sie behaupten nicht, dass ihre spezifischen Tests eine universelle Wahrheit darüber enthüllt haben, wie alle KI-Modelle funktionieren, noch präsentieren oder interpretieren sie die empirischen Ergebnisse des Einsatzes ihres Toolkits auf ein spezifisches Modell oder ein spezifisches Wortset. Die Ergebnisse beim Einsatz dieses Toolkits hängen vom spezifisch getesteten Modell und den gewählten Wörtern ab. Was die Forscher bereitgestellt haben, ist ein Instrument, das eine Dokumentation eines Instruments und keine Entdeckung darstellt. Sie haben eine Brücke zwischen der abstrakten Idee des „kontextuellen Verständnisses“ und einer konkreten, messbaren Realität gebaut. Indem sie das Wort konstant halten und die Welt darum herum variieren, haben sie ein klares Fenster hinein geschaffen, wie diese komplexen Maschinen lernen, zwischen dem Fluss und der Bank zu unterscheiden.