Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
Diese Arbeit zeigt, dass, während interne Aktivierungszustände zwischen verschiedenen Architekturen großer Sprachmodelle mit messbarer repräsentationaler Ausrichtung projiziert werden können, ein erfolgreicher kausaler End-to-End-Transfer dieser Zustände während der Generierung streng architekturabhängig ist und zuverlässig nur für spezifische Decoder-only-Paare funktioniert, anstatt als universeller Mechanismus zu dienen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich zwei Menschen vor, die versuchen, miteinander zu sprechen, aber gezwungen sind, über einen Übersetzer zu kommunizieren, der eine dritte Sprache spricht. Die erste Person flüstert einen Gedanken, der Übersetzer schreibt ihn auf, die zweite Person liest ihn, und dann schreibt der Übersetzer eine Antwort. Dieser Prozess braucht Zeit, kostet Geld und birgt das Risiko, die ursprüngliche Bedeutung zu verlieren. Heute kommunizieren KI-Systeme genau auf diese Weise. Wenn ein Computerprogramm Informationen an ein anderes senden muss, wandelt es seine internen Gedanken in menschenlesbaren Text um, sendet diesen Text, und das empfangende Programm lifert den Text und wandelt ihn zurück in seine eigenen internen Gedanken um. Diese mittlere Textebene ist der einzige Weg, wie sie derzeit zu kommunizieren wissen. Aber was wäre, wenn sie den Text ganz überspringen könnten? Was wäre, wenn eine Maschine ihre interne Zustandsbeschreibung einfach direkt an eine andere übergeben könnte, wie das Weiterreichen eines Zettels, ohne ihn jemals aufschreiben zu müssen? Dies ist die Frage, die Forscher zu beantworten versuchten: Können verschiedene Arten von künstlicher Intelligenz, die von unterschiedlichen Unternehmen gebaut und mit unterschiedlichen Daten trainiert wurden, die internen Signale der jeweils anderen verstehen, ohne zuerst in Worte übersetzt werden zu müssen?
Um das Experiment zu verstehen, hilft es zu wissen, dass diese Programme, bekannt als große Sprachmodelle, nicht in Worten denken, wie es Menschen tun. Stattdessen verarbeiten sie Informationen als riesige, sich verschiebende Zahlenmuster, sogenannte Aktivierungszustände. Man kann sich diese Muster wie das spezifische elektrische Feuern eines Gehirns in einem einzigen Moment vorstellen. Wenn ein Modell eine Frage liest, leuchtet in ihm ein einzigartiges Aktivitätsmuster auf. Der Forscher wollte wissen, ob das Muster für eine bestimmte Idee in einem Modell dem Muster für dieselbe Idee in einem anderen Modell ähnlich genug war, um eine Brücke zwischen ihnen bauen zu können. Wenn die Muster ähnlich genug waren, könnte ein Computer lernen, das interne Signal des ersten Modells direkt in das interne Signal des zweiten Modells zu übersetzen und so die Notwendigkeit einer Übersetzung in Worte zu umgehen.
Ein Forscher setzte sich zum Ziel, diese Idee mit vier verschiedenen Modellen künstlicher Intelligenz zu testen. Diese Modelle wurden sorgfältig ausgewählt, um verschiedene Familien der Technologie und unterschiedliche Trainingsgeschichten zu repräsentieren. Drei von ihnen wurden gebaut, um Text Wort für Wort zu generieren, während das vierte darauf ausgelegt war, Text gleichzeitig aus beide Richtungen zu verstehen. Der Forscher überprüfte zunächst, ob die internen Muster dieser Modelle überhaupt ähnlich genug waren, um verglichen werden zu können. Er untersuchte, wie die Modelle auf Paare verwandter Konzepte reagierten, wie etwa Wörter, die Synonyme sind oder die oft gemeinsam in Büchern vorkommen. Er stellte fest, dass die internen Muster bei den drei auf die gleiche Weise gebauten Modellen tatsächlich ähnlich waren. Das Modell, das anders aufgebaut war, zeigte jedoch keine solche Ähnlichkeit. Dies deutet darauf an, dass die Art und Weise, wie ein Modell gebaut ist, wichtiger ist als derjenere, der es gebaut hat, oder welche Daten es verwendet hat.
Als Nächstes versuchte der Forscher, eine Brücke zu bauen. Er trainierte ein kleines, einfaches Computerprogramm, das als Übersetzer fungieren sollte, indem es lernte, das interne Signal eines Modells in das interne Signal eines anderen umzuwandeln. Er testete diese Brücke, indem er ihr eine Frage zeigte, die Reaktion des ersten Modells auf diese Frage konvertierte und prüfte, ob das zweite Modell sie als korrekte Antwort unter zwanzig Möglichkeiten erkennen konnte. Für die drei Modelle, die ähnlich gebaut worden waren, funktionierte diese Brücke überraschend gut. Das zweite Modell identifizierte das Signal der Quelle korrekt etwa die Hälfte der Zeit, was weit über dem Zufallsniveau liegt. Doch für das anders gebaute Modell versagte die Brücke vollständig; das zweite Modell konnte das Signal überhaupt nicht erkennen. Dies bestätigte, dass, obwohl eine Übersetzungsschicht möglich ist, diese nur zwischen Modellen funktioniert, die eine spezifische Architekturfamilie teilen.
Der letzte und schwierigste Test bestand darin zu sehen, ob diese Übersetzung das Verhalten des empfangenden Modells in Echtzeit tatsächlich verändern kann. Der Forscher nahm das übersetzte Signal des ersten Modells und injizierte es direkt in das zweite Modell, während dieses gerade dabei war, eine neue Antwort zu schreiben. Er wollte sehen, ob diese Injektion das Ergebnis des zweiten Modells in Richtung des Themas der ursprünglichen Frage lenken würde. Die Ergebnisse waren gemischt und offenbarten eine entscheidende Einschränkung. Als sie dies zwischen zwei spezifischen Modellen versuchten, funktionierte die Injektion. Die Ausgabe des zweiten Modells verschob sich merklich in Richtung des Themas der Frage des ersten Modells, was bewies, dass das Signal empfangen wurde und eine kausale Wirkung hatte. Als sie jedoch denselben Trick bei einem dritten Modell anwandten, scheiterte er völlig. Obwohl die internen Muster auf dem Papier ähnlich aussah, änderte die Injektion des Signals die Ausgabe überhaupt nicht.
Der Forscher kam zu dem Schluss, dass es zwar möglich ist, den physischen Träger eines Gedankens – das spezifische Muster elektrischer Aktivität – von einer Maschine auf eine andere zu übertragen, dies aber nicht bedeutet, dass die Maschinen ein tiefes Verständnis oder eine gemeinsame Bedeutung teilen. In den erfolgreichen Fällen gab das zweite Modell nicht notwendigerweise die korrekte Antwort auf die ursprüngliche Frage. Stattdessen produzierte es Text, der thematisch verwandt war, wie etwa das Sprechen über Dreiecke, wenn die ursprüngliche Frage von Quadraten handelte. Das Signal wurde übertragen, aber die Bedeutung wurde nicht perfekt bewahrt. Die Studie zeigt, dass die direkte Kommunikation zwischen künstlichen Intelligenzen technisch möglich ist, aber keine universelle Sprache darstellt. Es hängt vollständig vom spezifischen Design der beteiligten Maschinen ab. Wenn die Designs nicht übereinstimmen, kann das Signal nicht verstanden werden und der Transfer schlägt fehl. Dies bedeutet, dass wir in Zukunft, wenn wir wollen, dass verschiedene KI-Systeme direkt miteinander sprechen, nicht davon ausgehen können, dass sie einfach funktionieren werden; wir müssen sicherstellen, dass sie auf kompatible Weise gebaut sind, oder wir müssen für jedes einzelne Paar von Systemen, die wir verbinden wollen, einen spezifischen Übersetzer bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.