💬 NLP

Conflict-Resolving and Sharpness-Aware Minimization for Generalized Knowledge Editing with Multiple Updates

Das Papier schlägt CoRSA vor, ein parametereffizientes Trainingsframework, das Wissenskonflikte löst und die Verlustkrümmung minimiert, um die Generalisierung, Stabilität und Aktualisierungseffizienz von großen Sprachmodellen, die mehrfachen Wissenseditierungen unterzogen werden, signifikant zu verbessern.

Ursprüngliche Autoren: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

Veröffentlicht 2026-02-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Duy Nguyen, Hanqi Xiao, Archiki Prasad, Elias Stengel-Eskin, Hyunji Lee, Mohit Bansal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar (das Large Language Model), der sich viel auskennt. Aber manchmal verändert sich die Welt. Vielleicht übernimmt ein neuer CEO ein Unternehmen oder ein Sportteam tauscht einen Spieler aus. Sie müssen das Gedächtnis des Bibliothekars aktualisieren, ohne ihn zu entlassen und einen neuen einzustellen (was zu teuer und zu langsam wäre).

Dieses Paper stellt eine neue Methode namens CORSA vor, um das Gedächtnis dieses Bibliothekars effizient und präzise zu aktualisieren. So funktioniert es, erklärt anhand einfacher Analogien:

Das Problem: Der „sture“ Bibliothekar

Wenn Sie versuchen, dem Bibliothekar einen neuen Fakt beizubringen, gehen bei aktuellen Methoden oft drei Dinge schief:

Das „Paraphrasierungs“-Problem: Wenn Sie dem Bibliothekar sagen: „Der CEO ist Andy Jassy“, erinnert er sich vielleicht nur an diesen exakten Satz. Wenn Sie dann fragen: „Wer leitet Amazon?“, sagt er vielleicht immer noch den alten CEO, Jeff Bezos. Er hat nicht wirklich das Konzept gelernt, sondern nur die spezifischen Wörter.
Das „Rückfall“-Problem: Wenn Sie das Gedächtnis des Bibliothekars einmal aktualisieren und später eine weitere Aktualisierung vornehmen, könnte die erste Aktualisierung gelöscht werden oder die alte, falsche Information könnte wieder auftauchen. Es ist, als würde man auf ein Whiteboard schreiben, wobei die Tinte nicht trocknet; die alte Tinte scheint wieder durch.
Das „Konflikt“-Problem: Der Bibliothekar hat starke Erinnerungen an die alten Fakten. Wenn Sie versuchen, diese zu überschreiben, kämpft die alte Erinnerung dagegen an, was zu Verwirrung oder „Halluzinationen“ führt, bei denen der Bibliothekar eine Mischung aus alten und neuen Informationen liefert.

Die Lösung: CORSA

Die Autoren haben CORSA (Conflict-Resolving and Sharpness-Aware Minimization) entwickelt. Betrachten Sie dies als ein spezielles Trainingsregime für den Bibliothekar, das die drei Probleme mit zwei Haupttricks löst:

1. Der „Flaches-Tal“-Trick (Sharpness-Aware Minimization)

Stellen Sie sich vor, das Wissen des Bibliothekars ist eine Landschaft aus Hügeln und Tälern.

Alte Methode: Wenn sie einen neuen Fakt lernen, landen sie vielleicht in einem winzigen, scharfen „Spitzenwert“ auf der Karte. Dieser sieht perfekt aus, aber wenn man sie leicht anstößt (indem man eine Frage anders stellt), fallen sie von der Spitze herunter und vergessen alles.
CORSAs Trick: CORSA zwingt den Bibliothekar, ein breites, flaches Tal statt einer scharfen Spitze zu finden. In einem flachen Tal bleibt der Bibliothekar auch dann am selben Ort, wenn man ihn leicht anstößt (indem man eine Frage anders stellt). Dies macht das neue Wissen stabil und hilft ihm, auf verschiedene Arten der Fragestellung zu generalisieren.

2. Der „Kampf gegen den Geist“-Trick (Conflict-Resolving)

Stellen Sie sich vor, der alte Fakt ist ein Geist, der den Bibliothekar heimsucht.

Alte Methode: Das Standardtraining versucht, den neuen Fakt zu lehren, macht aber gleichzeitig den Geist im Hintergrund lauter. Der Bibliothekar lernt den neuen Fakt, flüstert aber immer noch den alten im Hintergrund.
CORSAs Trick: CORSA nutzt eine duale Strategie. Es lehrt den neuen Fakt und sagt dem Bibliothekar gleichzeitig: „Ignoriere diesen alten Geist!“ Es drängt die alte Antwort explizit weg und zieht die neue Antwort näher heran. Dies schafft eine klare Lücke zwischen den beiden und stellt sicher, dass der alte Fakt später nicht wieder hineinschleicht.

Wie es mit mehreren Aktualisierungen umgeht

Das Paper testet, was passiert, wenn man das Gedächtnis des Bibliothekars viele Male aktualisiert (zum Beispiel, um einen CEO zu verfolgen, der jedes Jahr den Job wechselt).

Andere Methoden: Sie verhalten sich wie ein Schwamm, der gesättigt ist. Nach einigen Aktualisierungen kann der Schwamm kein neues Wasser mehr aufnehmen oder er presst das alte Wasser wieder heraus (Vergessen).
CORSA: Es verhält sich wie ein modulares Notizbuch. Da es jene „flachen Täler“ gefunden und die „Geister“ weggedrängt hat, kann es neue Seiten hinzufügen, ohne die alten herauszureißen. Es erinnert sich an den neuen CEO, ohne den alten zu vergessen, und es kommt nicht in Verwirrung, wenn der CEO sich erneut ändert.

Die Ergebnisse

Die Autoren haben dies an realen Fakten getestet (wie wer der CEO von Amazon ist) und sogar an Code (die Aktualisierung der Funktionsweise eines Computerprogramms).

Besseres Gedächtnis: CORSA war viel besser darin, die neuen Fakten zu behalten, wenn man auf unterschiedliche Weise danach fragte (Generalisierung).
Weniger Vergessen: Wenn sie das Modell immer wieder aktualisierten, vergaß CORSA im Vergleich zu anderen Methoden viel weniger unbezogene Informationen.
Code-Fähigkeiten: Es funktionierte sogar bei der Behebung von Programmierfehlern (Bugs) – eine Aufgabe, bei der bisherige Methoden scheiterten, weil Code zu komplex für einfaches „Fakt-Austauschen“ ist.

Zusammenfassend

CORSA ist eine intelligentere Art, das Gehirn einer KI zu aktualisieren. Anstatt nur alte Daten zu „überschreiben“, findet es einen stabilen, flachen Ort im Geist der KI, um die neuen Informationen zu speichern, und unterdrückt aktiv die alten, widersprüchlichen Erinnerungen. Dies macht die KI zuverlässiger, weniger anfällig für Vergessen und besser darin, neue Informationen im Laufe der Zeit zu verarbeiten.

Technisches Resümee: CORSA für generalisierte Wissensaktualisierung

1. Problemformulierung

Große Sprachmodelle (LLMs) verlassen sich auf internes parametrisches Wissen, das im Laufe der Zeit veraltet. Während ein vollständiges Retraining rechentechnisch prohibitiv ist, stehen bestehende Methoden zur Wissensaktualisierung (Knowledge Editing) vor drei kritischen Einschränkungen, wenn sie auf mehrere Aktualisierungen angewendet werden:

Mangelnde Generalisierung: Aktualisierungen versagen oft bei der Generalisierung über die spezifische Formulierung der Trainingsbeispiele hinaus auf diverse Eingabeformen (z. B. Paraphrasen oder syntaktische Variationen).
Instabilität bei multiplen Aktualisierungen: Methoden haben Schwierigkeiten, kontinuierliche Revisionen zu unterstützen (z. B. das mehrfache Aktualisieren desselben Faktums oder das Injizieren neuer Fakten), ohne ein katastrophales Vergessen nicht verwandter Informationen zu verursachen.
Wissenskonflikte: Starke Priors aus dem Pre-training führen oft dazu, dass das Modell trotz Aktualisierungen zu veralteten Informationen zurückkehrt, oder neue Aktualisierungen aktivieren unbeabsichtigt altes Wissen.

Derzeitige Ansätze, wie direktes Modell-Editing (z. B. MEMIT) oder parametereffizientes Fine-Tuning (z. B. LoRA mit Standard-SFT), adressieren typischerweise nur ein oder zwei dieser Anforderungen, scheitern aber daran, alle drei gleichzeitig zu lösen. Methoden zur Wissensaktualisierung sind oft instabil unter kontinuierlichen Aktualisierungen, während Standard-Fine-Tuning häufig mit dem Vorwissen interferiert, was zu einer Rückkehr zum Ursprung oder zu falschen Ausgaben führt.

2. Methodik: CORSA

Die Autoren schlagen CORSA (Conflict-Resolving and Sharpness-Aware Minimization) vor, ein Trainingsframework, das für die Wissensaktualisierung mittels LoRA-Adapter entwickelt wurde. Die Methode zielt auf die Stabilität und Generalisierung der Adapterparameter $\phi$ ab, indem sie zwei theoretische Bedingungen adressiert, die aus der Geometrie der Verlustlandschaft (Loss Landscape) abgeleitet sind:

Erhöhung der Post-Update-Margin ( $\gamma$ ): Sicherstellung, dass das Modell neues Wissen ( $y^+$ ) gegenüber altem Wissen ( $y^-$ ) bevorzugt.
Reduzierung der lokalen Schärfe (Local Sharpness $\kappa$ ): Finden von flacheren Regionen in der Verlustlandschaft, um die Stabilität gegen zukünftige Parameterperturbationen zu verbessern.

CORSA integriert drei Kernmechanismen:

A. Unterdrückung widersprüchlichen Wissens (DPO)

Standardmäßiges Supervised Fine-Tuning (SFT) auf neuem Wissen ( $D_{new}$ ) scheitert oft daran, die Wahrscheinlichkeit von altem Wissen ( $D_{old}$ ) ausreichend zu unterdrücken, was zu Konflikten führt. Um die Margin zwischen neuem und altem Wissen explizit zu maximieren, kombiniert CORSA SFT mit Direct Preference Optimization (DPO).

Zielsetzung: Die Verlustfunktion $L_{Update}$ ist definiert als:
$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$
Mechanismus: $L_{SFT}$ minimiert die negative Log-Likelihood des neuen Targets. $L_{DPO}$ maximiert die Log-Likelihood-Margin zwischen dem neuen Target $y^+$ und dem veralteten Target $y^-$ für denselben Input $x$ . Dies erzwingt explizit eine Trennung zwischen neuem und priorisiertem Wissen.

B. Sharpness-Aware Minimization (SAM)

Um die Generalisierung und Stabilität zu erhöhen, verwendet CORSA SAM, um die Schärfe der Verlustlandschaft zu minimieren.

Zielsetzung: Anstatt den Verlust an einem einzelnen Punkt zu minimieren, minimiert SAM den Worst-Case-Verlust innerhalb einer Nachbarschaft mit dem Radius $\rho$ :
$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$
Mechanismus: Der Algorithmus approximiert die Worst-Case-Perturbation $\epsilon^*$ mithilfe eines einzelnen Aufstiegsschritts basierend auf dem Gradienten. Die Modellparameter werden dann unter Verwendung des Gradienten am perturbierten Punkt $\phi + \epsilon^*$ aktualisiert. Dies zwingt den Optimierer, flachere Minima zu finden, was theoretisch mit besserer Generalisierung und Stabilität gegenüber zukünftigen Aktualisierungen korreliert.

C. Gradientenkonflikt-Lösung (PCGrad)

Die Autoren beobachten, dass die Gradienten aus SFT- und DPO-Zielsetzungen kollidieren können und die direkte Anwendung von SAM auf deren gewichtete Summe suboptimal sein kann.

Mechanismus: CORSA nutzt PCGrad (Projecting Conflicting Gradients), um Interferenzen aufzulösen. Bevor die SAM-Perturbation und der finale Update-Schritt berechnet werden, werden die Gradienten aus SFT ( $g_{SFT}$ ) und DPO ( $g_{DPO}$ ) projiziert, um Komponenten zu entfernen, die einander entgegenwirken (d. h. wo das Skalarprodukt negativ ist).
Integration: PCGrad wird in beiden Phasen von SAM angewendet:
1. Zur Konstruktion der Perturbationsrichtung $\epsilon^*$ .
2. Zur Bestimmung der finalen Abstiegrichtung vom perturbierten Punkt aus.
  Dies stellt sicher, dass der Schärfe-bewusste Schritt sowohl die Adaptions- (SFT) als auch die Präferenz-Trennungsebene (DPO) respektiert.

3. Wichtigste Beiträge

Ganzheitliches Framework: CORSA ist die erste Methode, die gleichzeitig Generalisierung über diverse Inputs, Stabilität unter multiplen Aktualisierungen und die Lösung von Wissenskonflikten in einem einzigen parametereffizienten Framework adressiert.
Theoretische Erkenntnis: Die Arbeit stellt eine Verbindung zwischen der Stabilität von Wissensaktualisierungen und der Krümmung der Verlustlandschaft her und zeigt auf, dass die Minimierung der Schärfe (via SAM) implizit die Margin-Krümmung regularisiert und somit die Rückkehr zum alten Zustand verhindert.
Neuartige Integration: Die Arbeit führt eine spezifische Kombination aus SFT, DPO, SAM und PCGrad ein, die auf die einzigartige Gradientendynamik der Wissensaktualisierung zugeschnitten ist, bei der sich Adaptions- und Unterdrückungsziele oft widersprechen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CORSA auf drei Benchmarks für faktisches Wissen (CounterFact, ZsRE, MQuAKE) und einem Benchmark für den Code-Bereich (CodeUpdateArena) unter Verwendung der Modelle Llama-3.1-8B und Qwen-3-4B.

Generalisierung: CORSA erzielte erhebliche Gewinne bei der Generalisierung im Vergleich zu Baselines. Auf Qwen-3-4B verbesserte es die durchschnittliche Generalisierung um 12,42 % gegenüber LoRA und um 10 % gegenüber Modell-Editing-Methoden (MEMIT).
Stabilität bei kontinuierlichen Aktualisierungen: In Szenarien mit multiplen Revisionen (z. B. Aktualisierung von Fakten über die Zeit oder Injizieren von neuem Wissen) reduzierte CORSA das katastrophale Vergessen signifikant. Im Vergleich zu LoRA reduzierte es das Vergessen in Settings für kontinuierliche Revisionen um 27,82 %.
Konfliktlösung: CORSA unterdrückte veraltetes Wissen effektiv. Auf CounterFact reduzierte es die "Old Knowledge Retention" auf 1,28 %, verglichen mit 9,81 % bei LoRA. In kontinuierlichen Update-Szenarien minimierte es die "Old Knowledge Activation" (Reversion) auf 3,71 % bei Llama-3.1-8B, was signifikant niedriger ist als bei den Baselines.
Transfer in den Code-Bereich: CORSA generalisierte erfolgreich auf den Code-Bereich (API-Updates) und übertraf die stärkste Baseline (F-Learning) um 5,48 % in der Pass@5 Update-Effektivität, während allgemeine Programmierfähigkeiten erhalten blieben.
Skalierbarkeit: Die Methode zeigte konsistente Leistungsverbesserungen über verschiedene Modellgrößen hinweg (4B, 8B, 14B), was darauf hindeutet, dass die Trainingszielsetzung fundamentale Vorteile für die Update-Stabilität unabhängig von der Skalierung bietet.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CORSA einen bedeutenden Schritt darstellt, um Wissensaktualisierung für den realen Einsatz praktikabel zu machen, in dem Modelle häufige, stabile und generalisierbare Updates benötigen. Durch die explizite Adressierung der geometrischen Eigenschaften der Verlustlandschaft (Schärfe) und der semantischen Konflikte zwischen altem und neuem Wissen (Margin) überwindet CORSA das "Trilemma" aus Generalisierung, Stabilität und Konfliktlösung, das vorangegangene Arbeiten begrenzt hat.

Die Autoren betonen, dass ihr Ansatz nicht auf komplexem externem Memory-Routing oder Data Replay basiert, was architektonischen Overhead einführt. Stattdessen bettet es das Wissen durch eine fundierte Optimierungszielsetzung direkt in den LoRA-Adapter ein. Die Ergebnisse legen nahe, dass die Minimierung der Verlustkrümmung ein kritischer, jedoch bisher wenig erforschter Faktor für die Erzielung robuster Wissensaktualisierungen in LLMs ist. Die Arbeit kommt zu dem Schluss, dass die Verbesserung von Generalisierung, Stabilität und Konfliktlösung ein notwendiger Schritt ist, um unbeabsichtigte Nebenwirkungen (wie Halluzinationen) zu mildern und die Risiken beim Einsatz aktualisierbarer LLMs zu reduzieren.