SEAT: Sparse Entity-Aware Tuning for Knowledge Adaptation while Preserving Epistemic Abstention

1. Problemstellung

Die Anpassung von Large Language Models (LLMs) an neues Wissen durch Fine-Tuning ist essenziell, birgt jedoch ein kritisches Versagensrisiko: den Verlust der epistemischen Enthaltung (epistemic abstention).

• Das Phänomen: Basismodelle sind oft in der Lage, bei Fragen zu unbekannten Fakten korrekt zu antworten, dass ihnen das Wissen fehlt („Ich weiß das nicht"). Nach einem konventionellen Fine-Tuning auf neuen, disjunkten Datensätzen neigen diese Modelle jedoch dazu, dieses Verhalten zu verlieren und stattdessen selbstbewusste, aber erfundene Antworten (Halluzinationen) zu generieren.
• Die Gefahr: In hochriskanten Bereichen wie Medizin, Recht oder Unternehmenssuche ist diese Fähigkeit, Unsicherheit zuzugeben, ein kritischer Sicherheitsmechanismus gegen Halluzinationen.
• Die Ursache: Das Paper identifiziert, dass konventionelles Fine-Tuning nicht nur neues Wissen injiziert, sondern auch eine übermäßige Verschiebung (Drift) der Repräsentationen im Aktivierungsraum verursacht. Dies verwischt die Grenzen zwischen bekannten und unbekannten Eingaben, sodass das Modell nicht mehr unterscheiden kann, wann es abstinent bleiben sollte.
• Bestehende Lösungen: Herkömmliche Ansätze zur Wiederherstellung dieser Fähigkeit erfordern oft zusätzliche Alignments-Daten, explizite Boundary-Probing-Verfahren oder aufwendige Nachjustierungen (Re-Alignment), was in datenschutzsensiblen oder ressourcenbeschränkten Szenarien unpraktisch ist.

2. Methodik: SEAT (Sparse Entity-Aware Tuning)

Das Paper stellt SEAT vor, eine präventive Fine-Tuning-Methode, die den Verlust der Enthaltungsfähigkeit verhindert, ohne externe Alignments-Daten zu benötigen. SEAT kombiniert zwei Hauptkomponenten:

A. Sparse Updates (Sparsames Aktualisieren)

• Ziel: Begrenzung des globalen Repräsentationsdrifts.
• Mechanismus: Während des Trainings wird ein binärer Maskierungsvektor $m$ angewendet, der nur einen kleinen Teil der Modellparameter ($\alpha$) für Updates freigibt, während der Großteil eingefroren bleibt.
• Wirkung: Dies zwingt das Optimierungsalgorithmus, sich auf eine kleine Teilmenge der Parameter zu konzentrieren, was die globale Verschiebung der residualen Aktivierungen (Residual Stream Activations) auf unbekannten Eingaben minimiert, während dennoch genügend Kapazität für das Lernen neuer Fakten erhalten bleibt.

B. Entity-Perturbed Regularization (Entitäts-perturbierter Regularisierer)

• Ziel: Schärfung lokaler epistemischer Grenzen und Verhinderung von „Wissensüberlauf" (Knowledge Spillover).
• Mechanismus: Vor der Berechnung des Regularisierungsterms werden die Subjekt-Entitäten in den Trainingsdaten durch fiktive, zufällige Alternativen ersetzt, während der Kontext unverändert bleibt.
• Verlustfunktion: Es wird ein KL-Divergenz-Strafterm ($L_{KL}$) zwischen der Vorhersageverteilung des Basismodells und des Fine-tuned-Modells auf diesen perturbierten Eingaben berechnet.
• Wirkung: Dies bestraft das Modell, wenn es neu gelerntes Wissen fälschlicherweise auf semantisch oder token-basiert „nachbarliche" Entitäten verallgemeinert, die nicht im Trainingsset waren. Es zwingt das Modell, die Grenzen des gelernten Wissens scharf zu halten.

Gesamtverlustfunktion:
$$L_{SEAT} = L_{FT} + \gamma L_{KL}$$
Wobei $L_{FT}$ der Standard-Fine-Tuning-Verlust ist und $\gamma$ die Stärke der Regularisierung steuert.

3. Wichtige Beiträge

1. Identifikation eines neuen Versagensmodus: Das Paper hebt hervor, dass der Verlust der epistemischen Abstention bei unbekanntem Wissen eine spezifische Form des „katastrophischen Vergessens" darstellt, die oft übersehen wird, aber für die Sicherheit von LLMs entscheidend ist.
2. Hypothese zur Repräsentation: Es wird empirisch und theoretisch untermauert, dass der Verlust der Abstention mit einer übermäßigen Verschiebung der Aktivierungen im Residual-Stream korreliert. Die Methode zielt darauf ab, diese Verschiebung zu kontrollieren.
3. Praktische Lösung ohne externe Daten: SEAT benötigt keine zusätzlichen Alignments-Daten, keine expliziten Tests zur Bestimmung der Wissensgrenzen und kein separates Re-Alignment-Stage. Es funktioniert ausschließlich mit dem Fine-Tuning-Datensatz.
4. Robustheit und Effizienz: Die Methode ist leichtgewichtig und eignet sich für datenschutzsensitive Anpassungsszenarien.

4. Ergebnisse

Die Evaluation erfolgte auf Modellen wie Llama3-8B-Instruct und Qwen2.5-7B-Instruct mit synthetischen (PISTOL, TOFU) und realen (RWD) Datensätzen.

• Erhaltung der Enthaltung: SEAT übertrifft alle Baselines (einschließlich Full-FT, LoRA, EWC, CLoRA, R-Tuning und Experience Replay) signifikant.
  • Auf unverifizierbaren (unbekannten) Daten erreichte SEAT eine menschlich bewertete Enthaltungsrate (IDKHA) von 95,4 % bis 100 %.
  • Im Vergleich dazu sanken die Raten bei Standard-Fine-Tuning oft auf unter 5 %.
  • Die Verbesserung gegenüber der stärksten Baseline liegt zwischen 18 % und 101 %.
• Lernfähigkeit: SEAT behält eine nahezu perfekte Leistung beim Erlernen der Zielinformationen bei (FT-Score $\approx$ 1,0). Die Sparsamkeit behindert das Lernen neuer Fakten nicht.
• Kreuzvalidierung: Die Methode generalisiert gut auf andere Datensätze (z. B. Training auf PISTOL, Test auf TOFU) und zeigt, dass die Enthaltung selektiv ist (das Modell antwortet korrekt auf bekannte Fakten, verweigert aber unbekannte).
• Ablationsstudien:
  • Beide Komponenten (Sparse Updates und Entity Perturbation) sind essenziell. Ohne Entity Perturbation sinkt die Leistung trotz Sparsamkeit deutlich.
  • Die Wahl der Maskierung (zufällig vs. wichtigkeitsbasiert) hat einen Einfluss, aber die Kombination mit EP führt konsistent zu hohen Werten.
  • Eine Sparsamkeit von ca. 80 % (80 % der Parameter eingefroren) erwies sich als optimaler Kompromiss.
• Downstream-Nutzen: SEAT beeinträchtigt die allgemeinen Fähigkeiten des Modells (z. B. Mathematik, logisches Denken, Faktenwissen) nicht signifikant.

5. Bedeutung und Fazit

SEAT adressiert ein fundamentales Sicherheitsproblem bei der Anpassung von KI-Modellen: Wie lernt man neues Wissen, ohne die Fähigkeit zu verlieren, Unsicherheit zuzugeben?

• Paradigmenwechsel: Statt das Verhalten nachträglich zu reparieren (Re-Alignment), wird es präventiv während des Trainings geschützt.
• Sicherheitsaspekt: Die Methode ist besonders relevant für Anwendungen, in denen Halluzinationen katastrophale Folgen haben können.
• Zugänglichkeit: Da keine teuren Alignments-Datensätze benötigt werden, macht SEAT sichere Wissensanpassung auch für Organisationen mit begrenzten Ressourcen oder strengen Datenschutzanforderungen praktikabel.

Das Paper schließt damit, dass die Erhaltung der epistemischen Enthaltung ein Kernziel für die sichere Anpassung von LLMs sein sollte, und bietet mit SEAT einen einfachen, aber effektiven Weg dorthin.