HiEdit: Lifelong Model Editing with Hierarchical Reinforcement Learning

1. Problemstellung

Herausforderung beim lebenslangen Modell-Editing (LME):
Große Sprachmodelle (LLMs) enthalten Wissen, das mit der Zeit veraltet oder ungenau wird. Das Neutrainieren ganzer Modelle ist zu kostspielig. Lifelong Model Editing (LME) zielt darauf ab, dieses Wissen sequentiell zu aktualisieren, ohne die Leistung auf allgemeinen Eingaben oder bereits bearbeitetem Wissen zu beeinträchtigen.

Limitierungen bestehender Ansätze:
Bisherige Methoden folgen meist einem „Locating-then-Editing"-Paradigma, bei dem Parameterstörungen (Perturbationen) auf einen statischen und dichten Satz von Schichten angewendet werden, unabhängig von der spezifischen zu bearbeitenden Wissensinstanz.

• Fehlende Spezifität: Unterschiedliches Wissen wird in verschiedenen Schichten des Modells gespeichert. Das Ignorieren dieser Schicht-spezifischen Unterschiede führt zu einer Übermodifikation von Parametern.
• Katastrophales Vergessen: Durch das ständige Ändern irrelevanter Schichten kommt es zu einer Verschlechterung der allgemeinen Fähigkeiten und des Vergessens früherer Bearbeitungen (catastrophic forgetting), besonders bei langen Sequenzen von tausenden Bearbeitungen.

2. Methodik: HiEdit

HiEdit ist ein Framework, das Hierarchisches Bestärkendes Lernen (Hierarchical Reinforcement Learning, HRL) nutzt, um adaptive und lokalisierte Bearbeitungen zu ermöglichen.

Kernidee:
Das komplexe Editing-Problem wird in eine hierarchische Entscheidungsfindung zerlegt, die zwei Subaufgaben trennt:

1. Wo editieren? (Schichtauswahl)
2. Wie editieren? (Parameter-Update)

Architektur und Komponenten:

• Hierarchische Struktur:
  • High-Level Hypernetwork (Manager): Ein Policy-Netzwerk ($\pi_\phi$), das basierend auf der Eingabe (Wissensinstanz) eine Schichtauswahl-Maske generiert. Es entscheidet adaptiv, welche der $L$ potenziell relevanten Schichten für die aktuelle Bearbeitung aktiviert werden sollen.
  • Low-Level Hypernetwork (Worker): Ein Satz von Editier-Netzwerken ($H_\theta$), die nur für die vom High-Level ausgewählten Schichten Parameter-Updates generieren. Diese nutzen Low-Rank-Decomposition (ähnlich wie MEND oder MALMEN), um effiziente Updates zu berechnen.
• Differentiable Routing: Um das diskrete Problem der Schichtauswahl für das Training zu lösen, wird ein „Straight-Through Estimator" (Stop-Gradient-Operator) verwendet, der den Vorwärtsdurchlauf (Top-K-Auswahl) vom Rückwärtsdurchlauf entkoppelt, aber die Gradientenfluss ermöglicht.
• Intrinsische Belohnung (Intrinsic Reward):
  • Um Sparsity (Sparsamkeit) zu fördern, wird eine intrinsische Belohnung eingeführt.
  • Die Belohnung für das High-Level-Netzwerk ($r_{high}$) misst den relativen Vorteil einer partiellen Schicht-Aktualisierung im Vergleich zu einer vollständigen Schicht-Aktualisierung.
  • Formel: $r_{high,t} = r_{low}(st, \omega_t, at) - r_{low}(st, \mathbf{1}, at)$.
  • Dies incentiviert das Modell, das Editing-Ziel mit minimalen Parameteränderungen zu erreichen.

Trainingsprozess:
Das System wird als Hierarchischer Markov-Entscheidungsprozess (HMDP) modelliert. Beide Netzwerke (High- und Low-Level) werden gemeinsam optimiert, wobei die Belohnungen über die gesamte Editier-Trajektorie gesammelt werden, um langfristige Abhängigkeiten zu erfassen.

3. Hauptbeiträge

1. Neues Framework (HiEdit): Erstmals wird HRL für LME eingeführt, um den Aktionsraum der Parameter-Updates in eine strukturierte Hierarchie zu zerlegen. Dies ermöglicht dynamische, instanzbewusste Schichtauswahl.
2. Intrinsische Belohnungsmechanismus: Ein Mechanismus, der Sparsity belohnt, indem er den relativen Vorteil von partiellen Updates gegenüber Voll-Updates quantifiziert. Dies reduziert unnötige Eingriffe in das Modell.
3. Erweiterte Experimentelle Evaluation: Das Paper führt eine herausfordernde Evaluierung durch, die zeitnahe und langreichweitige sequentielle Bearbeitungen (bis zu 20.000 Schritte) simuliert, was über die in der Literatur üblichen Settings hinausgeht.

4. Ergebnisse

Die Experimente wurden auf den Modellen Llama-3-8B und Gemma-2-9B mit den Datensätzen ZsRE und CounterFact durchgeführt.

• Leistungssteigerung: HiEdit übertrifft den aktuellen State-of-the-Art (RLEdit) im Durchschnitt um 8,48 % (in Metriken wie Effizienz, Generalisierung, Spezifität und behaltenes bearbeitetes Wissen), obwohl pro Bearbeitung nur die Hälfte der Schichten gestört wird.
• Vermeidung von Vergessen: Während bestehende Methoden (wie RLEdit, AlphaEdit) nach ca. 5.000 sequentiellen Bearbeitungen einen signifikanten Leistungsabfall bei allgemeinen Fähigkeiten und früher bearbeitetem Wissen zeigen, behält HiEdit seine Leistung über 20.000 Bearbeitungen hinweg stabil.
• Interpretierbarkeit: Die Analyse zeigt, dass HiEdit für unterschiedliche Wissensdomänen (z. B. Musik vs. Krankheiten) unterschiedliche Schichten selektiert, was die Hypothese bestätigt, dass Wissen in spezifischen Schichten verteilt ist.
• Effizienz: HiEdit reduziert die Bearbeitungszeit und den Parameter-Overhead, da weniger Schichten pro Schritt aktualisiert werden müssen. Der zusätzliche High-Level-Overhead ist minimal (ca. 3 % der Low-Level-Parameter).

5. Bedeutung und Fazit

HiEdit adressiert ein fundamentales Problem des Lifelong Model Editing: die Ineffizienz und das katastrophale Vergessen durch starre, dichte Schicht-Updates. Durch die Einführung einer hierarchicalen, lernbaren Schichtauswahl und einer sparsamen Belohnungsfunktion gelingt es, neue Informationen präzise zu integrieren, ohne das bestehende Wissen zu zerstören.

Das Paper zeigt, dass die Annahme, Wissen sei in spezifischen Schichten lokalisiert, korrekt ist und dass adaptive, schicht-spezifische Updates notwendig sind, um LLMs über lange Zeiträume hinweg aktuell und leistungsfähig zu halten. HiEdit stellt einen wichtigen Schritt in Richtung robuster, skalierbarer und lebenslanger Anpassungsfähigkeit von Sprachmodellen dar.