What Makes Two Language Models Think Alike?
Dieses Paper führt eine neuartige Methode zur Abbildung neuronaler Aktivität auf interpretierbare linguistische Merkmale ein, um zu zeigen, dass Ähnlichkeiten zwischen 43 diversen Sprachmodellen primär durch deren Veröffentlichungsdatum und Modellfamilie sowie nicht durch Skalierung oder Architekturklasse getrieben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen Raum voller verschiedener Köche. Einige sind in der französischen Küche ausgebildet, andere in der japanischen, und manche sind Autodidakten. Sie alle haben denselben Job: das nächste Zutat in einem Rezept vorherzusagen.
Die große Frage, die die Forscher stellten, war: Denken diese Köche tatsächlich auf die gleiche Weise über Zutaten nach?
Wenn ein Koch zum Beispiel einen Satz sieht wie „Die Katze jagte die Maus“, konzentriert er sich dann darauf, dass es eine Geschichte über Tiere ist (Syntax), oder konzentriert er sich nur auf die spezifischen Wörter „Katze“ und „Maus“ (Vokabular)?
Die alte Methode: Die Messung der „Form“
Früher versuchten Wissenschaftler, diese Köche (KI-Modelle) zu vergleichen, indem sie die „Form“ ihrer internen Gedanken betrachteten. Stellen Sie sich vor, man macht ein Foto davon, wie jeder Koch seine Zutaten auf einer Arbeitsplatte anordnet. Wenn die Fotos geometrisch ähnlich aussehen, nahmen die Wissenschaftler an, dass die Köche ähnlich denken.
Aber das hatte ein Problem: Es war wie eine Black Box. Es konnte einem sagen, dass zwei Köche ihre Zutaten ähnlich anordneten, aber es konnte nicht erklären, warum. Vielleicht gruppierten beide nach Farbe, oder vielleicht gruppierten sie nach Gewicht. Die alte Methode konnte das „Warum“ nicht erklären.
Die neue Methode: Die „linguistische Signatur“
Dieses Paper stellt einen einfacheren Weg vor, um in die Köpfe der Köche zu blicken. Anstatt nur auf die Form der Anordnung zu schauen, fragen sie: „Wie sehr zählt jede spezifische Regel für diesen Koch?“
Sie entwickelten ein Werkzeug namens Metric-Learning Encoding Model (MLEM). Denken Sie an dieses Werkzeug als einen Übersetzer, der die chaotischen, komplexen internen Gedanken des Kochs in einen einfachen Zeugnisbericht von linguistischen Merkmalen umwandelt.
Dieser Zeugnisbericht listet Dinge auf wie:
- Tempus: Geht der Satz über die Vergangenheit oder die Zukunft?
- Subjekt: Handelt der Satz von einer Person oder von vielen?
- Satzstruktur: Ist es ein einfacher Satz oder ein komplexer Satz mit einem „Relativsatz“ (wie „Der Mann, der einen Hut trägt...“)?
Das Werkzeug misst, wie stark sich die internen Gedanken des Kochs ändern, wenn sich diese Regeln ändern. Wenn die Gedanken des Kochs wild springen, wenn man von der Vergangenheitsform zur Zukunftsform wechselt, dann hat dieses Merkmal einen hohen Wert auf seinem Zeugnisbericht. Dieser Zeugnisbericht wird als „linguistische Signatur“ bezeichnet.
Das Experiment: 43 Köche, 10 Familien
Die Forscher testeten 43 verschiedene KI-Modelle (die „Köche“). Diese Modelle stammten aus verschiedenen „Familien“ (wie der Llama-Familie, der GPT-Familie oder der Mamba-Familie) und hatten unterschiedliche Größen (von winzig bis riesig) sowie unterschiedliche Architekturen (verschiedene Arten, das Gehirn aufzubauen).
Sie verglichen die linguistischen Signaturen eines jeden Modells mit der jedes anderen Modells.
Die große Entdeckung: Es geht um „Familie“ und „Ära“, nicht um Größe
Die Ergebnisse waren überraschend. Die Forscher fanden heraus, dass nicht die Größe der Modelle entscheidet, was sie ähnlich denken lässt, sondern wer ihre Eltern sind und wann sie geboren wurden.
- Die Familie zählt am meisten: Modelle aus derselben Familie (z. B. alle „Llama“-Modelle) hatten sehr ähnliche Signaturen, selbst wenn eines winzig und das andere riesig war. Sie wurden mit denselben „Trainingsrezepten“ und architektonischen Blaupausen aufgezogen, weshalb sie dieselben linguistischen Regeln priorisieren.
- Das Veröffentlichungsdatum zählt: Das Datum, an dem ein Modell veröffentlicht wurde, war der stärkste Prädiktor für die Ähnlichkeit. Das ist so, als würde man sagen: „Köche, die im Jahr 2024 trainiert wurden, denken ähnlicher als Köche aus dem Jahr 2020.“ Dies liegt daran, dass sich die gesamte Branche gemeinsam mit der Zeit weiterentwickelt (neuere Aktivierungsfunktionen, bessere Trainingsdaten usw.).
- Größe diktiert nicht den Stil: Ein Modell einfach größer zu machen (mehr Parameter hinzuzufügen), führte nicht dazu, dass es plötzlich anfing, wie ein völlig anderer Typ von Modell zu denken. Ein kleines Modell und ein gigantisches Modell aus derselben Familie teilten immer noch dieselben „linguistischen Prioritäten“.
Die „Schleife“ des Denkens
Die Forscher beobachteten auch, wie sich diese Signaturen veränderten, während die Information durch die Schichten des Modells wanderte (wie eine Nachricht, die bei einem Staffellauf weitergegeben wird).
Sie fanden heraus, dass Modelle aus derselben Familie dem gleichen Pfad folgen. Sie beginnen mit einem bestimmten Fokus, erreichen einen Höhepunkt der Komplexität in der Mitte der Schichten und kehren am Ende zu einem einfacheren Fokus zurück. Es ist wie eine Schleife. Dies deutet darauf hin, dass die Modelle – auch wenn sie unterschiedlich groß sind – das Problem der Sprache auf die gleichen „Tanzschritte“ lösen.
Das Fazrazit
Kurz gesagt: Dieses Paper argumentt, dass wir nicht nur schauen sollten, wie „groß“ oder „komplex“ eine KI ist, um zu verstehen, wie sie denkt. Stattdessen sollten wir auf ihre linguistische Signatur schauen – ein Profil dessen, welche Regeln für sie am wichtigsten sind.
Die Studie zeigt, dass Architektur und Skalierung weniger wichtig sind als die „Familie“ und die „Generation“ des Modells. Zwei Modelle können unterschiedlich gebaut sein und unterschiedliche Größen haben, aber wenn sie aus derselben Familie und Ära stammen, werden sie wahrscheinlich dieselben linguistischen Merkmale priorisieren, was sie „ähnlich denken“ lässt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.