Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
Durch die Analyse von 29 Sprachen über fünf Modellfamilien hinweg zeigt diese Studie, dass multilinguale große Sprachmodelle teilweise gemeinsam genutzte Rechenschaltkreise für die Subjekt-Verb-Kongruenz verwenden, wobei der Grad des sprachübergreifenden Überlapps in Sprachen zunimmt, die morphologische Inflektion offen ausdrücken.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne Computer, die in vielen Sprachen lesen und schreiben können, sind bemerkenswert geschickt geworden und können oft in einem Dutzend Sprachen übersetzen oder Fragen beantworten – mit nur einem einzigen Gehirn. Doch trotz all ihrer Fließendheit verstehen Wissenschaftler nicht vollständig, wie diese Systeme im Inneren funktionieren. Ein zentrales Rätsel ist, ob ein mehrsprachiger Computer einen universellen Satz von Regeln verwendet, um die Grammatik für jede Sprache zu handhaben, oder ob er für jede einzelne eine eigene, einzigartige Maschine aufbaut. Diese Frage ist wichtig, denn wenn die Maschine die gleiche interne Mechanik für verschiedene Sprachen nutzt, dann könnten Erkenntnisse, die durch das Studium einer Sprache gewonnen wurden, uns helfen, alle von ihnen zu verstehen. Wenn sie jedoch separate Motoren baut, dann könnte uns das, was wir über Englisch lernen, nichts darüber sagen, wie sie Spanisch oder Chinesisch verarbeitet. Das spezifische Rätsel, das diese Forschung angeht, ist, wie diese Modelle mit der Subjekt-Verb-Kongruenz umgehen, jener grammatikalischen Regel, die erzwingt, dass sich die Form eines Verbs ändert, um mit der Person übereinzustimmen, die die Handlung ausführt, wie etwa die Änderung von „walk“ zu „walks“, wenn das Subjekt „he“ ist.
Um dies zu lösen, untersuchten Forscher, wie fünf verschiedene Familien von Open-Source-Sprachmodellen diese grammatikalische Regel über neunundzwanzig Sprachen hinweg verarbeiten. Sie konzentrierten sich auf einen spezifischen Moment im Denkprozess des Computers: den Bruchteil einer Sekunde, bevor er den letzten Buchstaben oder das letzte Wort eines Verbs vorhersagt. Durch den Einsatz einer Technik, bei der die internen Signale eines korrekten Satzes in einen leicht veränderten, falschen Satz überträgt, konnte das Team genau bestimmen, welche Teile des Netzwerks des Computers für das korrekte Verständnis der Grammatik verantwortlich waren. Sie testeten diese Methode an Sprachen, die ihre Verben stark verändern, wie Spanisch, Sprachen, die sie gar nicht verändern, wie Chinesisch, und Englisch, das seine Verben nur in wenigen spezifischen Fällen ändert.
Die Untersuchung ergab, dass diese Modelle sich nicht auf völlig separate Motoren für jede Sprache verlassen, aber auch nicht einen einzigen, identischen Motor für alle verwenden. Stattdessen scheinen sie einen gemeinsamen Satz interner Pfade wiederzuverwenden, aber nur, wenn die Aufgabe es erfordert. Als die Forscher sich Sprachen ansah, in denen das Verb sichtbar angepasst werden muss, um zum Subjekt zu passen, fanden sie, dass dieselben spezifischen Teile des Netzwerks des Computers in fast allen diesen Sprachen aktiv waren. Diese gemeinsamen Pfade waren am konsistentesten, wenn der Computer die exakte Differenz zwischen zwei Verbformen rekonstruieren musste, wie etwa die Unterscheidung zwischen „I walk“ und „he walks“. In diesen Momenten schienen die Modelle auf eine gemeinsame, geteilte Schaltung zurückzugreifen, um die grammatikalische Berechnung durchzuführen.
Dieses Teilen ist jedoch nicht einheitlich. Als die Forscher sich Sprachen ansah, in denen das Verb sich überhaupt nicht verändert, sahen die internen Pfade sehr unterschiedlich aus. Der Computer schien für diese Sprachen keine gleiche, gemeinsame Mechanik zu verwenden. Noch aussagekräftiger war das Verhalten von Englisch. Da Englisch seine Verben nur in der dritten Person Singular ändert, sah die interne Verdrahtung des Computers die meiste Zeit anders aus als bei den Sprachen, die ihre Verben stark konjugieren. Aber in dem Moment, in dem der Computer diese spezifische „he walks“-Form produzieren musste, verschob sich seine interne Aktivität so, dass sie fast exakt den Mustern entsprach, die man in Sprachen sieht, die ihre Verben ständig verändern. Dies deutet darauf darauf hin, dass der Computer nicht entscheidet, einen gemeinsamen Motor basierend auf der Sprache selbst zu verwenden, sondern basierend auf der spezifischen grammatikalischen Operation, die er in diesem Moment ausführt.
Die Studie untersuchte auch, wie diese gemeinsamen Teile des Netzwerks tatsächlich agieren. Sie fanden heraus, dass die spezifischen Komponenten, die für die Kongruenz in verschiedenen Sprachen verantwortlich sind, auf dieselben Teile des Satzes achten. Wenn ein Modell über die Form eines Verbs entscheidet, richten diese gemeinsamen Komponenten ihre Aufmerksamkeit auf das Subjektpronomen und das Verb selbst, unabhängig davon, ob es sich um Spanisch, Französisch oder den spezifischen Fall in Englisch handelt. Dies deutet darauf hin, dass die Überschneidung nicht nur ein Zufall des Ortes ist; die gemeinsamen Teile führen tatsächlich dieselbe Aufgabe aus, nämlich die Information über das Subjekt zum Verb zu leiten.
Letztendlich legen die Ergebnisse nahe, dass mehrsprachige Computer nicht einfach separate Regeln für jede Sprache auswendig lernen, noch dass sie ein einziges, starres System für alles verwenden. Sie scheinen eine flexible Architektur zu besitzen, die gemeinsame interne Strukturen wiederverwendet, wann immer eine Sprache die gleiche grammatikalische Operation erfordert, um sie sichtbar auszuführen. Der Grad, in dem diese Strukturen geteilt werden, hängt weniger von der Identität der Sprache ab, sondern vielmehr davon, ob die Sprache den Computer dazu zwingt, diese grammatikalische Differenz explizit zu berechnen und darzustellen. Dies liefert ein klareres Bild davon, wie künstliche Intelligenz lernt, die komplexen, vielfältigen Regeln der menschlichen Grammatik zu handhaben, indem es zeigt, dass sie ihr Verständnis dadurch aufbaut, dass sie funktionale Werkzeuge wiederverwendet, anstatt für jede neue Sprache völlig neue zu konstruieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.