🤖 machine learning

Beyond Hard Writes and Rigid Preservation: Soft Recursive Least-Squares for Lifelong LLM Editing

Das Papier stellt RLSEdit vor, ein Framework für rekursive Kleinste-Quadrate-Verfahren zur lebenslangen Bearbeitung von LLMs, das Aktualisierungen als Online-quadratische Optimierung mit weichen Nebenbedingungen formuliert, um das Dilemma zwischen Plastizität und Stabilität effektiv auszugleichen, und damit eine stabile sequenzielle Bearbeitung von bis zu 10.000 Fakten unter Beibehaltung allgemeiner Fähigkeiten ermöglicht.

Ursprüngliche Autoren: Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinyu Wang, Sicheng Lyu, Yu Gu, Jerry Huang, Peng Lu, Yufei Cui, Xiao-Wen Chang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, gut informierte Bibliothekarin (ein Large Language Model), die eine riesige Bibliothek an Fakten auswendig gelernt hat. Eines Tages stellen Sie fest, dass einige Bücher veraltete Informationen enthalten. Sie müssen sie aktualisieren, ohne die gesamte Bibliothek zu entsorgen und von Grund auf neu zu bauen – das wäre zu teuer und zu langsam.

Dies ist das Problem des Modell-Editierens: Spezifische Fakten in einer KI zu korrigieren, ohne das gesamte System neu zu trainieren.

Das Problem: Das Dilemma zwischen „Überschreiben" und „Steifheit"

Die Studie argumentiert, dass aktuelle Methoden zur Aktualisierung dieser Bibliothekarinnen wie ein Vorschlaghammer oder ein starrer Käfig wirken, und keines von beiden funktioniert gut, wenn Sie im Laufe der Zeit Tausende von Updates vornehmen müssen.

Das „harte Schreiben" (Der Vorschlaghammer): Einige Methoden zertrümmern einfach die alte Tatsache und schreiben die neue darauf.
- Die Analogie: Stellen Sie sich vor, Sie schreiben in ein Notizbuch. Jedes Mal, wenn Sie eine neue Tatsache erhalten, kritzeln Sie über die alte. Wenn Sie dies 10.000 Mal tun, wird Ihr Notizbuch zu einem chaotischen Gekritzel. Die neuen Fakten könnten versehentlich alte, nicht zusammenhängende Fakten auslöschen, die Sie nicht berühren wollten. Die Bibliothekarin beginnt, Dinge zu vergessen, die sie gestern noch perfekt kannte.
Die „starre Bewahrung" (Der starre Käfig): Andere Methoden versuchen, sehr vorsichtig zu sein und erlauben Änderungen nur in sehr spezifischen, vorab genehmigten Richtungen.
- Die Analogie: Stellen Sie sich vor, die Bibliothekarin ist in einem Käfig eingesperrt, der sich nur für bestimmte Updates öffnet. Während dies einige Dinge schützt, ist der Käfig zu starr. Er könnte verhindern, dass die Bibliothekarin natürliche neue Dinge lernt, oder er könnte versehentlich „schlechte" Änderungen durch die Lücken gleiten lassen, weil der Käfig nicht für jeden möglichen neuen Fakt ausgelegt war.

Die Lösung: RLSEdit (Der „weiche, rekursive" Ansatz)

Die Autoren schlagen eine neue Methode namens RLSEdit vor. Anstatt eines Vorschlaghammers oder eines Käfigs behandeln sie den Editierprozess wie das Ausbalancieren einer Waage oder das Stimmen eines Radios.

So funktioniert es, unter Verwendung einfacher Metaphern:

1. Die „weiche" Einschränkung (Das Gummiband)

Anstatt die Bibliothekarin zu zwingen, sich genau so zu verändern oder gar nicht, verwendet RLSEdit „weiche" Regeln.

Die Analogie: Stellen Sie sich vor, die Bibliothekarin ist durch ein starkes, dehnbares Gummiband an ihr ursprüngliches Ich gebunden. Wenn Sie sie bitten, eine neue Tatsache zu lernen, kann sie sich dehnen, um sie zu erreichen, aber das Band zieht sie sanft zurück, damit sie nicht zu weit von dem entfernt wandert, wer sie ursprünglich war. Dies verhindert, dass sie ihre Kernpersönlichkeit oder ihr allgemeines Wissen vergisst.

2. Der „Anker" (Der Nordstern)

Die Methode verwendet auch einen spezifischen „Anker" (eine Reihe von Fakten, die die Bibliothekarin definitiv korrekt behalten muss).

Die Analogie: Stellen Sie sich vor, die Bibliothekarin hat einen Kompass (den Anker), der immer nach „Norden" zeigt (die ursprünglichen, korrekten Fakten). Selbst wenn sie sich dehnt, um neue Dinge zu lernen, sorgt der Kompass dafür, dass sie sich nicht verirrt oder im Kreis dreht.

3. Die „rekursive" Magie (Der magische Taschenrechner)

Die größte Innovation liegt darin, wie sie die Mathematik durchführen. Normalerweise muss ein Computer, wenn Sie ein Modell 10.000 Mal aktualisieren, auf alle 10.000 vorherigen Updates zurückblicken, um zu entscheiden, was als Nächstes zu tun ist. Dies wird immer langsamer, wie eine Bibliothekarin, die versucht, sich an jedes einzelne Gespräch zu erinnern, das sie je geführt hat, bevor sie eine neue Frage beantwortet.

Die Analogie: RLSEdit verwendet einen „magischen Taschenrechner" (basierend auf etwas, das als Woodbury-Identität bekannt ist). Anstatt jedes Mal das gesamte Geschichtsbuch neu zu lesen, betrachtet es nur das aktuelle Update und eine winzige Zusammenfassung der Vergangenheit.
Das Ergebnis: Egal, ob Sie das 10. oder das 10.000. Update vornehmen, es dauert die gleiche Zeit. Es ist wie eine Bibliothekarin, die ihre Wissensbasis sofort aktualisieren kann, ohne langsamer zu werden, während die Bibliothek wächst.

Was haben sie herausgefunden?

Die Forscher testeten dies an zwei beliebten KI-Modellen (Llama-3 und Qwen2.5) und ließen sie 10.000 neue Fakten hintereinander lernen.

Erfolgsrate: RLSEdit war viel besser darin, sich tatsächlich an die neuen Fakten zu erinnern, die es gelernt hatte, im Vergleich zu anderen Methoden.
Kein „katastrophales Vergessen": Während andere Methoden begannen, alte Fakten zu vergessen oder sich über grundlegende Logik (wie Mathematik oder Programmierung) zu verwirren, nachdem einige tausend Updates durchgeführt worden waren, blieb RLSEdit stabil.
Allgemeine Intelligenz: Die Bibliothekarin verlor ihre Fähigkeit, Gedichte zu schreiben, mathematische Probleme zu lösen oder Code zu verstehen, auch nach 10.000 Änderungen nicht. Andere Methoden machten die Bibliothekarin im Laufe der Zeit in diesen allgemeinen Bereichen „dümmer".

Auf den Punkt gebracht

Denken Sie an RLSEdit als ein intelligentes, flexibles Speichersystem. Es ermöglicht einer KI, kontinuierlich neue Dinge zu lernen, ohne:

Ihre alten Erinnerungen zu löschen (wie ein Vorschlaghammer es tun würde).
Stecken zu bleiben oder starr zu werden (wie ein Käfig es tun würde).
Langsamer und langsamer zu werden, je mehr sie lernt (wie ein Mensch, der versucht, sich an jedes Detail seines Lebens zu erinnern).

Es hält die KI scharf, stabil und bereit für den langen Weg des kontinuierlichen Lernens.

Technische Zusammenfassung: Weiche rekursive Kleinste-Quadrate für lebenslanges LLM-Editing (RLSEdit)

1. Problemstellung

Große Sprachmodelle (LLMs), die in realen Szenarien eingesetzt werden, enthalten unvermeidlich veraltete oder falsche Kenntnisse. Während Modell-Editing es ermöglicht, spezifische Fakten ohne vollständiges Nachtrainieren zu aktualisieren, umfasst der praktische Einsatz lange sequenzielle Editierströme. Dies erzeugt ein „Plastizitäts-Stabilitäts-Dilemma":

Rückwirkendes Vergessen von Edits: Wiederholte „harte Schreibvorgänge" (z. B. Locate-then-Edit-Methoden) akkumulieren Interferenzen, wodurch zukünftige Edits Wissen aus früheren Edits überschreiben oder verschlechtern.
Verschlechterung der allgemeinen Fähigkeiten: Starre Erhaltungszwänge (z. B. Nullraum-Editoren) können zwar explizit eingeschränkte Richtungen schützen, versagen jedoch darin, die Verschlechterung unbeschränkter allgemeiner Fähigkeiten (Schlussfolgern, Programmieren) oder die Beibehaltung früherer Fakten zu verhindern, sobald der Editierstrom wächst.

Bestehende Methoden haben Schwierigkeiten, die Notwendigkeit, eingehende Informationen zu memorieren, mit der Bewahrung sowohl früherer Edits als auch der allgemeinen Fähigkeiten des Modells über Tausende von Updates hinweg in Einklang zu bringen.

2. Methodik: RLSEdit

Die Autoren schlagen RLSEdit vor, einen rekursiven Kleinste-Quadrate-Editor, der für lange sequenzielle Editierungen konzipiert ist. Die Methode fasst Editing als online reguliertes Kleinste-Quadrate-Problem mit weichen Zwängen neu, anstatt mit harten Zwängen.

2.1 Formulierung

Die Methode zielt auf eine einzelne lineare Abbildung $W$ (z. B. eine Attention-Projektion) innerhalb einer Transformer-Schicht ab. Für eine Sequenz von Edits $t=1 \dots T$ , wobei jeder Edit Schlüssel-Wert-Paare $(K_t, V_t)$ bereitstellt, lautet das Ziel zum Zeitpunkt $t$ , das optimale Gewicht $W^*_t$ zu finden, das minimiert:

$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$

Wobei:

Anpassungsterm: $\sum \|K_i W - V_i\|_F^2$ den Fehler aller bisher beobachteten Edits akkumuliert.
Regularisierung der Parameterdrift ( $\lambda$ ): Straft Abweichungen von den initialen vortrainierten Gewichten $W_0$ .
Regularisierung der Ankerabbildung ( $\mu$ ): Straft Abweichungen von einer festgelegten Ankerabbildung $(K_0, V_0)$ , die einen Satz von zu erhaltenden Zwängen darstellt (z. B. Hintergrundwissen).

Diese Formulierung erzeugt ein Regime „weicher Zwänge", das zwischen hartem Schreiben und harter Erhaltung interpoliert.

2.2 Effiziente Online-Rekursion

Das direkte Lösen des Kleinste-Quadrate-Problems bei jedem Schritt ist rechenintensiv ( $O(d^3)$ ). RLSEdit nutzt die Woodbury-Matrix-Identität, um eine effiziente rekursive Aktualisierung abzuleiten.

Zustandserhaltung: Der Algorithmus erhält die inverse Kovarianzmatrix $C_t = (A_t^\top A_t)^{-1}$ und den Kreuzterm $T_t = A_t^\top B_t$ .
Aktualisierungsmechanismus: Anstatt einer vollständigen Faktorisierung beinhaltet die Aktualisierung das Lösen eines kleinen $u_t \times u_t$ -Systems (wobei $u_t$ die Batch-Größe des aktuellen Edits ist), das typischerweise viel kleiner als die Modelldimension $d_k$ ist.
Komplexität: Die Kosten pro Edit betragen $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$ , was sich zu $O(d_k^2 u_t)$ vereinfacht, wenn $u_t \ll d_k$ . Entscheidend ist, dass diese Kosten unabhängig von der Länge des Verlaufs $t$ sind, im Gegensatz zu Methoden, die dichte Matrixoperationen über den akkumulierten Verlauf erfordern.

2.3 Theoretische Analyse

Die Arbeit liefert Abweichungsschranken, die zeigen, dass $\lambda$ die globale Parameterabweichung von $W_0$ kontrolliert, während $\mu$ die Abweichung der Ankerabbildung steuert. Darüber hinaus zeigt eine asymptotische Charakterisierung, dass sich unter langen Editierströmen mit stabilen empirischen zweiten Momenten der Schätzer gegen einen eindeutigen Minimierer eines regulierten Grenzrisikos konvergiert.

3. Hauptbeiträge

Formulierung weicher Zwänge: Die Autoren formulieren lebenslanges Editing als online regulierte Kleinste-Quadrate mit expliziten Kontrollen für Parameterabweichung und Ankerabweichung und bieten eine weiche Alternative zu hartem Schreiben und harter Erhaltung.
Verlaufsunabhängige Komplexität: Sie leiten eine Woodbury-basierte Online-Aktualisierung ab, bei der die rechnerischen Kosten pro Edit nicht mit der Anzahl vergangener Edits skalieren, was eine stabile Skalierung auf lange Editierströme ermöglicht.
Theoretische Garantien: Die Arbeit liefert Abweichungsschranken und eine asymptotische Charakterisierung des Trade-offs zwischen Adhärenz und Erhaltung im Regime vieler Edits.
Empirische Validierung: Umfassende Evaluierungen an Llama-3- und Qwen2.5-Modellen zeigen, dass die Methode stabil auf 10.000 Edits skaliert.

4. Experimentelle Ergebnisse

Experimente wurden an Llama-3-8B und Qwen2.5-7B mit 10.000 sequenziellen Edits (Batch-Größe 100) durchgeführt.

Erfolg beim Editing (CounterFact & ZsRE):
- Bei Llama-3 erzielte RLSEdit die besten Scores über alle fünf Metriken hinweg (Effektivität, Generalisierung, Spezifität, Flüssigkeit, Konsistenz) und übertraf Baselines wie AlphaEdit, ROME und MEMIT deutlich. Beispielsweise erreichte die Effektivität 89,94 % im Vergleich zu 74,76 % für den zweitbesten (FT).
- Bei Qwen2.5 erzielte RLSEdit die höchste Effektivität (94,45 %) und Flüssigkeit, blieb bei anderen Metriken mit AlphaEdit konkurrenzfähig und übertraf ROME und MEMIT deutlich.
- Bei ZsRE erreichte RLSEdit 81,20 % Effektivität und übertraf AlphaEdit (70,04 %) sowie andere.
Erhaltung allgemeiner Fähigkeiten:
- Evaluiert an GLUE, MMLU, GSM8K, HumanEval und MBPP.
- RLSEdit bewahrte konsistent allgemeine Fähigkeiten (Schlussfolgern, Programmieren, Sprachverständnis) während der gesamten 10k-Edit-Trajektorie.
- Im Gegensatz dazu zeigten Baselines wie ROME, MEMIT und FT eine signifikante Verschlechterung. AlphaEdit performte zunächst gut, verschlechterte sich jedoch nach einer großen Anzahl von Edits merklich.
- Fallstudie: Bei HumanEval Task 0 degenerierten AlphaEdit und MEMIT bis zu 8k–10k Edits in Grenzfehler, semantische Bugs oder unverständliche/leere Ausgaben, während RLSEdit über alle Checkpoints hinweg eine korrekte Implementierung beibehielt.
Beibehaltung früher Edits:
- Bei der Neubewertung der ersten 500, 1k, 2k und 4k Edits nach insgesamt 10k Edits erzielte RLSEdit konsistent die höchsten Erhaltungswerte und zeigte eine überlegene Resistenz gegen rückwirkendes Vergessen.
Effizienz:
- RLSEdit war bei Updates über verschiedene Batch-Größen und Modell-Backbones hinweg 1,37×–1,79× schneller als AlphaEdit, was die theoretische Komplexitätsanalyse validiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass RLSEdit einen praktischen Ansatz für kontinuierliches Modell-Editing bietet, indem es das in langen sequenziellen Strömen inhärente Plastizitäts-Stabilitäts-Dilemma löst. Indem Editing als Optimierungsproblem mit weichen Zwängen behandelt wird, vermeidet es die Akkumulation von Interferenzen bei Hard-Write-Methoden und die Starrheit von Nullraum-Methoden.

Die Autoren betonen, dass ihre Methode Folgendes ermöglicht:

Skalierbarkeit: Stabile Leistung bis zu 10.000 Edits ohne Erhöhung der rechnerischen Kosten pro Edit.
Ganzheitliche Stabilität: Gleichzeitige Verbesserung beim Editing-Erfolg, der Beibehaltung früher Edits und der Erhaltung allgemeiner Modellfähigkeiten.
Theoretische Fundierung: Eine klare Charakterisierung des Trade-offs zwischen dem Erlernen neuer Fakten und der Bewahrung bestehenden Wissens durch die Regularisierungsparameter $\lambda$ und $\mu$ .

Die Arbeit schließt bescheiden, indem sie feststellt, dass die aktuellen Experimente sich auf 7B–8B-Backbones konzentrieren und die Evaluierung größerer Modelle sowie weiterer Fehlerfälle eine wichtige Richtung für zukünftige Arbeiten bleibt.