Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs
Diese Arbeit zeigt auf, dass die arithmetische Berechnung in LLMs auf einem gemeinsamen, forminvarianten Satz von „heuristischen Neuronen“ über symbolische, natürliche Sprache und Code-Formate hinweg beruht, wodurch offenbart wird, dass formatübergreifende Fehler auf Aktivierungszuständen und nicht auf unterschiedlichen internen Schaltkreisen beruhen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter das Rechnen beizubringen. Sie würden vielleicht denken, dass der Roboter, wenn er lernt, Zahlen mit einer einfachen Gleichung wie „4 + 5 = 9“ zu addieren, automatisch auch in der Lage wäre, dasselbe Problem zu lösen, wenn man ihm eine Geschichte erzählt („Tom hat 4 Äpfel, Alice gibt ihm 5...“) oder ihn bittet, ein Computerprogramm dafür zu schreiben. Aber hier ist die Wendung: Diese Roboter, bekannt als Large Language Models (LLMs), sind überraschend launisch. Sie können die Antwort in einer Geschichte richtig geben, aber kläglich scheitern, wenn man sie nach dem Code fragt, obwohl es sich um exakt dieselbe Mathematik handelt. Dies ist nicht nur ein kleiner Fehler; es ist ein Rätsel darüber, wie diese Modelle in ihren digitalen Gehirnen „denken“.
Um dies zu verstehen, müssen wir unter die Motorhaube schauen. Betrachten Sie ein LLM nicht als ein einziges riesiges Gehirn, sondern als eine gewaltige Stadt aus winzigen Arbeitern, den sogenannten „Neuronen“. Wenn das Modell ein Problem löst, leuchten bestimmte Gruppen dieser Arbeiter auf, um die schwere Arbeit zu erledigen. Wissenschaftler nennen dies „mechanistische Interpretierbarkeit“ – im Grunde die Rückentwicklung der Maschine, um zu sehen, welche spezifischen Zahnräder sich drehen, damit sie funktioniert. Die große Frage, die Forscher gestellt haben, lautet: Wenn der Roboter vom Rechnen mit Symbolen zum Rechnen mit Worten oder Code wechselt, rekrutiert er dann ein ganz neues Team von Arbeitern? Oder ist es dasselbe Team von Arbeitern, das nur verwirrt ist, weil die Anweisungen anders aussehen?
Diese Arbeit setzt sich zum Ziel, dieses Rätsel zu lösen, indem sie den Fall des Robotergehirns wie einen Detektivfall behandelt. Die Forscher nahmen drei verschiedene Versionen desselben mathematischen Problems – eine als Standardgleichung, eine als Python-Computerprogramm und eine als natürliches Sprachwortproblem – und beobachteten, welche Neuronen in drei verschiedenen Llama-3-Modellen aufleuchteten. Sie fanden heraus, dass der Roboter nicht für verschiedene Formate unterschiedliche Teams einsetzt. Stattdessen gibt es eine winzige, kompakte „Kerncrew“ von etwa 50 bis 100 Neuronen pro Schicht, die die eigentliche Mathematik erledigt, egal wie man die Frage stellt.
Hier ist der aufregendste Teil ihrer Entdeckung: Wenn der Roboter scheitert, ein Problem in einem Format (wie Code) zu lösen, aber in einem anderen (wie einem Wortproblem) Erfolg hat, liegt das nicht daran, dass ihm die richtigen Werkzeuge fehlen. Es ist schlichtweg so, dass die „Kerncrew“ nicht das richtige Signal erhält, um mit der Arbeit zu beginnen. Die Forscher bewiesen dies durch eine digitale „Gehirntransplantation“. Sie nahmen die Aktivierungssignale des erfolgreichen Wortproblem-Durchlaufs und fügten sie auf den gescheiterten Code-Durchlauf ein. Plötzlich löste der festgefahrene Roboter das Code-Problem plötzlich in mehr als 97 % der Fälle korrekt für Addition und Subtraktion!
Dies deutet darauf an, dass das Scheitern des Roboters nicht auf einen Mangel an Wissen oder einen defekten Schaltkreis zurückzuführen ist; es ist einfach ein Fall davon, dass die richtigen Neuronen in der falschen Stimmung sind. Die Studie zeigt, dass diese „arithmetischen Heuristik-Neuronen“ „forminvariant“ sind, was bedeutet, dass sie dieselben zuverlässigen Arbeiter sind, unabhängig davon, ob die Mathematik als Symbole, Geschichten oder Code präsentiert wird. Sie gehören konsistent zu denselben „Familien“ von Strategien, wie etwa dem Prüfen, ob Zahlen in einem bestimmten Bereich liegen, oder dem Suchen nach bestimmten Mustern. Während der Roboter also so wirken mag, als sei er durch verschiedene Arten, dieselbe Frage zu stellen, verwirrt, ist sein interner Mathematikmotor tatsächlich bemerkenswert konsistent und robust und wartet nur auf den richtigen Funken, um die Arbeit zu erledigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.