DART: Mitigating Harm Drift in Difference-Aware LLMs via Distill-Audit-Repair Training

1. Problemstellung: Identitätsblindheit und „Harm Drift"

Große Sprachmodelle (LLMs), die auf Sicherheit trainiert wurden, neigen oft zu einer übertriebenen „Identitätsblindheit". Sie verweigern die Anerkennung demografischer Unterschiede, selbst wenn diese faktisch korrekt (z. B. unterschiedliche Krankheitsinzidenzen) oder rechtlich/ethisch gerechtfertigt sind (z. B. religiöse Einstellungspräferenzen). Dies führt zu:

• Falschen Antworten: Das Modell behandelt alle Gruppen identisch, obwohl Differenzierung notwendig ist.
• Übermäßigen Verweigerungen (Over-refusal): Das Modell weigert sich, auf harmlose, aber demografisch relevante Fragen zu antworten.
• Generischen „Gleichbehandlungs"-Antworten: Das Modell gibt standardisierte, aber kontextfalsche Antworten.

Das Kernproblem: Harm Drift (Schadens-Drift)
Die Autoren identifizieren ein neues Phänomen namens Harm Drift. Wenn Modelle durch Feinabstimmung (Fine-Tuning) auf korrekte, differenzbewusste Antworten trainiert werden, verbessert sich zwar die Entscheidungsgenauigkeit, aber die Erklärungen (Rationales) werden zunehmend schädlicher.

• Beispiel: Ein Basismodell antwortet zwar falsch, aber harmlos („Alle sollten gleich behandelt werden"). Nach dem Training antwortet es korrekt („Ja, Differenzierung ist nötig"), führt aber in der Begründung schädliche Stereotype oder problematische Annahmen ein, um die Differenzierung zu rechtfertigen.
• Herkömmliche Sicherheitsmetriken, die nur die Antwort (Ja/Nein) oder die Toxizität des Outputs prüfen, übersehen dieses Problem, da die Entscheidung korrekt ist, aber die Begründung schädlich ist.

2. Methodik: Der DART-Framework

Um dieses Dilemma zu lösen, stellen die Autoren DART (Distill–Audit–Repair Training) vor. Dies ist ein mehrstufiger Pipeline-Ansatz, der Genauigkeit und Sicherheit entkoppelt und sequenziell optimiert.

Stufe I: Distillation (Wissensübertragung)

• Ziel: Verbesserung der Entscheidungsgenauigkeit.
• Prozess: Ein Schüler-Modell (z. B. Llama-3-8B) wird mittels Rationale-basierter Distillation auf die Begründungen eines starken Lehrer-Modells (Teacher) trainiert.
• Besonderheit: Der Lehrer erhält das Ground-Truth-Label (die korrekte Antwort) und generiert eine Erklärung dafür. Dies stellt sicher, dass die Begründungen mit der korrekten Klassifikation übereinstimmen.
• Ergebnis: Ein Modell ($M_{int}$) mit hoher Genauigkeit, das jedoch anfällig für „Harm Drift" ist (die Erklärungen werden toxischer).

Stufe II: Audit (Schadens-Erkennung)

• Ziel: Identifikation von Fällen, in denen die Genauigkeit gestiegen, aber die Sicherheit der Begründung gesunken ist.
• Prozess:
  1. Paarweise Generierung: Für Test-Prompts werden Ausgaben des Basismodells ($M_0$) und des distillierten Modells ($M_{int}$) verglichen.
  2. Toxizitäts-Scoring: Ein Klassifikator misst die Toxizitätsdifferenz ($\Delta H$).
  3. LLM-as-Judge: Ein großer Sprachmodell-Judge prüft die Kandidaten, um zu bestätigen, ob $M_{int}$ tatsächlich schädlichere Inhalte (Stereotype, Normalisierung von Vorurteilen) eingeführt hat, die $M_0$ vermieden hat.
  4. Schweregrad-Stratifizierung: Gefundene Fälle werden in Mild, Moderate, Severe und Extreme eingeteilt.

Stufe III: Targeted Repair (Gezielte Reparatur)

• Ziel: Behebung der identifizierten schädlichen Fälle ohne Verlust der Genauigkeit.
• Prozess:
  1. Sichere Zielgenerierung: Der Lehrer-Modell wird erneut beauftragt, für die identifizierten „Drift-Fälle" sichere, aber korrekte Alternativen zu generieren (unter strikten Sicherheitsinstruktionen).
  2. Schweregrad-gewichtetes Oversampling: Beim Fine-Tuning werden schwere Fälle stärker gewichtet (z. B. 4-fach für „Extreme", 1-fach für „Mild"), um sicherzustellen, dass die gefährlichsten Fehler priorisiert korrigiert werden.
  3. Weiteres Fine-Tuning: Das Modell wird auf einer Kombination aus den ursprünglichen Distillationsdaten und den reparierten Daten trainiert.

Inference-Time Policy (Optional)

• Zusätzlich wird zur Laufzeit eine Richtlinie eingeführt, die die Länge und den Inhalt der Erklärungen basierend auf der Antwortart (YES/NO) strukturiert einschränkt, um schädliche Elaborationen zu minimieren, ohne die Modellgewichte zu ändern.

3. Schlüsselbeiträge

1. Identifikation von Harm Drift: Die Autoren charakterisieren erstmals das Phänomen, dass die Verbesserung der Entscheidungsgenauigkeit durch Fine-Tuning die Schädlichkeit der Erklärungen erhöhen kann. Dies unterscheidet sich von herkömmlichem „Safety Degradation", da es spezifisch im erklärenden Reasoning auftritt.
2. DART-Pipeline: Entwicklung eines mehrstufigen Ansatzes, der das Spannungsfeld zwischen Genauigkeit und Sicherheit durch sequenzielle Audit- und Reparaturmechanismen auflöst, anstatt beide Ziele gleichzeitig (was zu suboptimalen Kompromissen führt) zu optimieren.
3. Inference-Time Policies: Demonstration, dass strukturierte Prompting-Richtlinien zur Laufzeit eine komplementäre Sicherheitsebene bieten.
4. Open Source: Bereitstellung des gesamten Pipelines, Codes und Modelle.

4. Ergebnisse

Die Methode wurde auf acht Benchmarks und verschiedenen Modellfamilien (Llama-3, Qwen, Mistral, Gemma) getestet.

• Genauigkeitssteigerung:
  • Auf dem Llama-3-8B-Instruct Modell stieg die Gesamtgenauigkeit von 39,0 % auf 68,8 %.
  • Der größte Gewinn wurde bei „Equal-Treatment"-Fällen (NO-Fälle) erzielt: von 11,3 % auf 72,6 %. Das Modell lernt also, wann keine Differenzierung nötig ist, ohne in Over-Refusal zu verfallen.
  • Die Genauigkeit bei tatsächlich differenzierungsbedürftigen Fällen (YES) blieb stabil.
• Reduktion von Harm Drift:
  • Die Anzahl der Fälle mit „Harm Drift" wurde um 72,6 % reduziert.
  • Die Toxizität der Erklärungen sank signifikant unter das Niveau des Basismodells.
• Generalisierung:
  • Die Verbesserungen übertrugen sich auf 280 offene, reale Anfragen in den Bereichen Medizin, Recht, Politik und Bildung.
  • Die Rate an „difference-appropriate" Antworten stieg von 39,8 % auf 77,5 %, während die Verweigerungsrate (Refusals) von 34,3 % auf 3,0 % sank.
• Vergleich mit Alternativen:
  • Ein direkter Ansatz (Toxicity-Regularized SFT), der Genauigkeit und Sicherheit gleichzeitig optimiert, scheiterte: Er erreichte weder die Genauigkeit der Distillation noch die Sicherheit der Reparatur.
  • DART zeigt, dass Genauigkeit und Sicherheit nicht im Konflikt stehen müssen, wenn explizite Erkennungs- und Reparaturmechanismen vorhanden sind.

5. Bedeutung und Fazit

Das Paper zeigt, dass die aktuelle Sicherheitsausrichtung von LLMs zu einer systematischen „Identitätsblindheit" führt, die in realen Szenarien (z. B. medizinische Diagnosen, rechtliche Beratung) zu Fehlentscheidungen führt. Gleichzeitig zeigt es, dass das bloße Trainieren auf korrekte Antworten oft zu neuen Formen von Schaden in den Erklärungen führt.

DART bietet einen praktischen und effektiven Weg, dieses Problem zu lösen, indem es:

1. Erst die Fähigkeit zur korrekten Unterscheidung erlernt (Distillation).
2. Dann gezielt die schädlichen Aspekte dieser Erklärungen identifiziert (Audit).
3. Schließlich diese spezifischen Fehler korrigiert, ohne die neu erlernten Fähigkeiten zu zerstören (Repair).

Dies ist ein wichtiger Schritt hin zu LLMs, die nicht nur „sicher" im Sinne von harmlos, sondern auch kontextsensitiv und faktisch korrekt im Umgang mit demografischen Unterschieden sind.