Unforgettable Generalization in Language Models
Diese Arbeit untersucht, wie Sprachmodelle reagieren, wenn sie durch das Fine-Tuning auf randomisierten Labels Fähigkeiten „verlernen“, wobei sie aufzeigt, dass die Generalisierung des Vergessens höchst unvorhersehbar und aufgabenabhängig ist, da sie trotz oberflächlich zufälliger Ausgaben oft nicht über spezifische Trainingsbeispiele hinausgeht, während die zugrunde liegenden Aufgabenfähigkeiten durch erfolgreiches Linear Probing als intakt nachgewiesen werden können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der fast alles im Internet gelesen hat. Er kann Gedichte schreiben, Matheaufgaben lösen und Ihnen erklären, warum der Himmel blau ist. Aber manchmal lernt dieser Roboter Dinge, die er eigentlich nicht wissen sollte, oder er wird zu gut in einem bestimmten Trick, den Sie ihm wieder „entlehren“ wollen. Dies ist die Welt des „Machine Unlearning“ (Maschinelles Entlernen), ein Zweig der KI-Forschung, der eine knifflige Frage stellt: Können wir einen Roboter wirklich etwas vergessen lassen?
Um das Experiment zu verstehen, müssen Sie zwei Dinge wissen. Erstens werden diese Roboter (genannt Large Language Models) trainiert, indem sie Unmengen an Text lesen, und dann durch spezifische Beispiele „feinjustiert“ (fine-tuned), um in einer bestimmten Aufgabe besser zu werden, wie zum Beispiel beim Beantworten von Wissenschaftsfragen. Zweitens ist eine gängige Methode, um sie etwas vergessen zu lassen, darin bestehend, ihnen dieselben Fragen erneut zu zeigen, aber mit völlig durcheinandergewürfelten oder erfundenen Antworten. Die Idee ist: Wenn man den Roboter genug mit falschen Antworten verwirrt, gibt er dieses Thema vielleicht ganz auf. Das große Rätsel, dem Forscher nachjagen, ist: Breitet sich diese Verwirrung aus? Wenn man den Roboten über eine spezifische Frage verwirrt, vergisst er dann, wie man alle ähnlichen Fragen beantwortet, oder wird er nur über dieses eine spezifische Beispiel verwirrt?
Das große „Entlernen“-Experiment
In dieser Arbeit beschlossen die Forscher Eric Zhang, Leshem Choshen und Jacob Andreas vom MIT, ein Spiel des „Entlernens“ mit einem riesigen Sprachmodell namens Llama2 zu spielen. Sie behandelten das Modell wie einen Schüler, der gerade eine Prüfung mit Bestnote bestanden hatte, und versuchten dann, ihn das Material vergessen zu lassen, indem sie ihn mit zufälligen, unsinnigen Antworten neu unterrichteten. Sie wollten sehen, ob der Schüler das ganze Fachthema vergessen würde oder nur die spezifischen Übungsaufgaben, die ihm gezeigt wurden.
Die große Überraschung: Es kommt auf das Thema an
Die Forscher testeten dies an 21 verschiedenen Arten von Aufgaben, die von „physischem Gemeinschaftssinn“ (wie etwa herauszufinden, welches Objekt schwerer ist) bis hin zu „Entailment“ (der Entscheidung, ob ein Satz logisch aus einem anderen folgt) reichten. Die Ergebnisse waren wild und unvorhersehbar.
Manchmal funktionierte das Vergessen perfekt. Wenn sie versuchten, das Modell dazu zu bringen, das Entailment Classification (ein Logikrätsel über Sätze) zu vergessen, wurde das Modell leer. Es begann, völlig zufällige, nutzlose Antworten auf neue Fragen zu geben, die es zuvor noch nie gesehen hatte. Es war, als hätte der Roboter die Fähigkeit verloren, diese spezifische Art von Logik überhaupt noch anzuwenden.
Doch ein andermal war das Vergessen ein totaler Fehlschlag. Wenn sie versuchten, das Modell dazu zu bringen, physischen Gemeinschaftssinn (wie etwa wie die Schwerkraft funktioniert) oder Wissenschaftsfragen zu vergessen, war das Modell hartnäckig. Selbst nachdem sie es mit zufälligen, falschen Antworten trainiert hatten, beantwortete es immer noch neue Wissenschaftsfragen korrekt! Es war wie ein Schüler, der gezwungen wurde, die falschen Antworten für eine bestimmte Übungsprüfung auswendig zu lernen, aber als die echte Prüfung kam, wusste er immer noch die richtigen Antworten. Das Modell schien die spezifischen Beispiele vergessen zu haben, auf denen es trainiert wurde, behielt aber sein allgemeines Wissen bei sich.
Es geht nicht darum, wie schwer die Prüfung ist
Man könnte denken, dass das Modell nur leichte Dinge vergisst und schwere Dinge behält. Die Forscher prüften dies, und es stellt sich heraus, dass das nicht stimmt. Sie fanden heraus, dass die Schwierigkeit der Aufgabe nicht vorhersagte, ob das Modell vergessen würde. Zum Beispiel war das Modell tatsächlich besser darin, die Antworten auf die „schwierigen“ ARC Challenge-Fragen zu behalten als auf die „leichten“ ARC Easy-Fragen, obwohl beide Wissenschaftsfragen waren. Die Schwierigkeit der Frage spielte keine Rolle; die Art der Frage war entscheidend.
Die geheimen Hinweise: Konfidenz und „Gehirn-Variabilität“
Was macht also eine Fähigkeit leicht oder schwer zu vergessen? Die Forscher fanden zwei Hinweise, die in den internen Datenrepräsentationen (dem „Gehirn“) des Modells verborgen waren:
- Konfidenz (Selbstvertrauen): Wenn das Modell sich vor Beginn des Entlern-Experiments bereits sehr unsicher über die Antwort war, war es einfacher, es vergessen zu lassen. Wenn das Modell selbstbewusst war, hielt es die Information fester fest.
- Gehirn-Variabilität: Dies ist ein wenig so, als würde man beobachten, wie sehr die Gedanken des Modells „wackeln“. Wenn die internen „Gedanken“ (Repräsentationen) des Modells für eine Aufgabe überall herumwirbelten (hohe Variabilität), war es schwieriger, sie zu löschen. Wenn die Gedanken sehr konsistent und ähnlich waren (niedrige Variabilität), war das Modell leichter zu „entlernen“.
Das „oberflächliche“ Vergessen
Hier ist der wohl verblüffendste Teil. Selbst wenn das Modell den Anschein erweckt hatte, eine Fähigkeit erfolgreich vergessen zu haben – indem es allen gegenüber zufällige Antworten gab –, fanden die Forscher heraus, dass die Information gar nicht wirklich weg war. Sie bauten ein einfendes Werkzeug namens „Linear Probe“ (denken Sie an einen kleinen, spezialisierten Detektor) und untersuchten die internen Gehirnwellen des Modells.
Überraschenderweise konnte dieser Detektor die korrekten Antworten immer noch perfekt lesen, obwohl das Modell selbst so tat, als wüsste es gar nichts. Es ist wie ein Schüler, der vorgibt, verwirrt zu sein und im Unterricht zufällige Antworten gibt, aber wenn man in seine Notizen schaut, stehen die korrekten Antworten dort noch in perfekter Handschrift geschrieben. Das „Vergessen“ war nur ein oberflächlicher Akt; das tiefe Wissen war immer noch da und wartete darauf, gefunden zu werden.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass der Versuch, ein Modell durch bloßes erneutes Training mit Zufallsantworten dazu zu bringen, spezifische Fähigkeiten zu vergessen, ein Glücksspiel ist. Es funktioniert für manche Aufgaben (wie Logikrätsel), aber scheitert bei anderen (wie Wissenschaft und Gemeinschaftssinn). Zudem ist die Information, selbst wenn es so aussieht, als hätte es funktioniert, nicht wirklich gelöscht; sie ist nur hinter einer Schicht der Verwirrung verborgen. Die Forscher legen nahe, dass wir viel mehr darüber verstehen müssen, wie diese Modelle lernen und Informationen speichern, bevor wir zuverlässig das vergessen lassen können, was wir nicht wissen wollen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.