Measuring and Eliminating Refusals in Military Large Language Models

Die Studie stellt einen von Veteranen entwickelten Goldstandard-Datensatz vor, um die hohen Ablehnungsraten militärischer Large Language Models zu messen, und demonstriert durch Abliterationstechniken, wie sich diese Raten drastisch senken lassen, um die Zuverlässigkeit von KI-Systemen in kritischen Kampfsituationen zu gewährleisten.

Das Wesentliche

Hier ist eine einfache und kreative Zusammenfassung der Forschungspapiere auf Deutsch:

🎖️ Der „Über-gute" Roboter im Militärbereich

Stellen Sie sich vor, Sie haben einen extrem intelligenten Roboter-Assistenten (eine KI), der Soldaten im Einsatz unterstützen soll. Dieser Roboter wurde von den KI-Erstellern so programmiert, dass er niemals etwas Böses tut. Er ist wie ein sehr strenger Sicherheitsbeamter am Flughafen, der jeden verdächtigen Koffer öffnet und sofort sagt: „Nein, das ist zu gefährlich!"

Das Problem: Im Militärkontext sind viele Fragen, die eigentlich lebenswichtig sind, für diesen Roboter „verdächtig".

• Ein Soldat fragt: „Wie funktioniert eine bestimmte Waffe, damit ich sie reparieren kann?"
• Der Roboter denkt: „Oh, Waffen sind gefährlich!" und antwortet: „Das kann ich nicht sagen, das verstößt gegen meine Sicherheitsrichtlinien."
• Ergebnis: Der Soldat bekommt keine Hilfe, obwohl er nur seine Aufgabe erledigen will.

Die Forscher aus diesem Papier haben sich gefragt: Wie oft sagt dieser Roboter „Nein", wenn er eigentlich „Ja" sagen müsste? Und wie können wir das ändern, ohne dass er zu einem bösen Monster wird?

---

🔍 Teil 1: Der neue Test (Der „Gold-Standard")

Um das Problem zu messen, haben die Forscher (die selbst Veteranen sind) einen neuen Test entwickelt.

• Die Gold-Methode: Echte Soldaten haben Fragen gestellt, die im echten Leben vorkommen. Das ist wie ein echter Notfall-Test, bei dem keine KI hilft, sondern nur menschliche Erfahrung zählt.
• Die Bronze-Methode: Sie haben auch KI benutzt, um viele weitere Fragen zu erfinden, um den Test zu vergrößern.

Das schockierende Ergebnis:
Wenn sie diesen Test mit den besten öffentlichen KIs (wie GPT-5 oder Claude) gemacht haben, haben diese Modelle in fast 98 % der Fälle die Antwort verweigert!
Stellen Sie sich vor, Sie rufen den Notarzt an, weil Sie verletzt sind, und der Arzt sagt 98-mal von 100: „Das ist zu gefährlich, ich helfe nicht." Das ist für das Militär inakzeptabel.

---

🛠️ Teil 2: Der „Chirurgische Eingriff" (Abliteration)

Die Forscher wollten wissen: Können wir den Roboter „umprogrammieren", damit er aufhört, so übertrieben vorsichtig zu sein?

Sie haben eine Methode namens Abliteration (eine Art chirurgischer Eingriff in das Gehirn des Roboters) verwendet.

• Die Analogie: Stellen Sie sich das Gehirn des Roboters wie einen riesigen Schalterkasten vor. Die Forscher haben herausgefunden, welche Schalter den Roboter dazu bringen, „Nein" zu sagen. Sie haben diese Schalter dann so manipuliert, dass sie nicht mehr so stark drücken.
• Das Ergebnis: Es hat funktioniert! Der Roboter hat plötzlich viel mehr Antworten gegeben. Die „Verweigerungsrate" ist von fast 100 % auf unter 30 % gesunken.

Aber es gab einen Haken:
Wie bei einer Operation, bei der man einen Muskel lockert, wurde der Roboter an anderer Stelle etwas schwächer.

• Er war jetzt bereit zu antworten, aber bei komplexen militärischen Aufgaben machte er mehr Fehler als vorher.
• Es ist wie ein Sportler, der sich das Bein operieren lässt, um schneller zu laufen, aber danach ein bisschen wackeliger läuft.

---

💡 Teil 3: Die Lösung für die Zukunft

Die Forscher kommen zu einem klaren Fazit:

1. Der aktuelle Weg (Nachträgliches „Entfernen" von Sicherheit) ist nur ein Notbehelf. Man kann die Sicherheitsfilter zwar herausschneiden, aber dann verliert der Roboter oft seine Intelligenz oder Genauigkeit.
2. Die echte Lösung: Wir brauchen KIs, die von Anfang an für das Militär gemacht werden.
   • Statt einen normalen Roboter zu nehmen und ihm die Angst vor Waffen zu nehmen, sollte man einen Roboter bauen, der von Geburt an versteht: „Im Militär ist es meine Aufgabe, Informationen zu geben, um Leben zu retten, nicht um sie zu gefährden."
   • Diese KI muss von Anfang an mit militärischen Daten trainiert werden, ohne die allgemeinen „Verbots-Schalter" aus dem zivilen Leben.

🏁 Zusammenfassung in einem Satz

Die Forscher haben gezeigt, dass normale KIs im Militär zu ängstlich sind und wichtige Fragen blockieren; man kann sie zwar „zähmen", aber das kostet sie an Intelligenz – die beste Lösung ist daher, KIs zu bauen, die von Anfang an genau für diesen Zweck gemacht wurden, statt sie nachträglich zu reparieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Measuring and Eliminating Refusals in Military Large Language Models" auf Deutsch:

Titel: Messung und Eliminierung von Ablehnungen in militärischen Large Language Models (LLMs)

Autoren: Jack FitzGerald et al. (EdgeRunner AI)

---

1. Problemstellung

Militärische Large Language Models (LLMs) müssen in zeitkritischen und gefährlichen Situationen präzise Informationen an Soldaten („Warfighter") liefern. Das aktuelle Problem besteht darin, dass herkömmliche LLMs durch umfangreiche Sicherheitsmechanismen (Safety Alignment) so trainiert sind, dass sie legitime militärische Anfragen ablehnen. Diese „Refusals" (Ablehnungen) treten häufig bei Themen auf, die mit Gewalt, Terrorismus, Militärtechnologie oder operativen Planungen zu tun haben.

Für militärische Anwendungen ist eine solche Ablehnung jedoch kontraproduktiv und missionsschädlich, da Soldaten oft genau diese Informationen benötigen, um Bedrohungen zu verstehen und sich zu verteidigen. Es fehlte bisher an standardisierten Benchmarks, um das Ausmaß dieser Ablehnungen im militärischen Kontext zu messen, sowie an validierten Methoden, diese zu beheben, ohne die operative Leistungsfähigkeit zu beeinträchtigen.

2. Methodik

A. Entwicklung von Benchmarks (Datensätze)

Die Autoren stellten drei neue Datensätze vor, um Ablehnungsraten zu messen:

1. MIL-DEFLECT-GOLD-ALPHA (Gold-Standard): Ein Datensatz von 221 Beispielen, der vollständig von US-Army-Veteranen (inklusive eines 20-jährigen Special-Forces-Veteranen) ohne KI-Unterstützung erstellt wurde. Die Anfragen sind realistisch, häufig und würden von aktuellen LLMs wahrscheinlich als „unsicher" eingestuft.
2. MIL-DEFLECT-BRONZE-ALPHA: Ein synthetischer Datensatz mit 1.047 Beispielen, generiert durch gpt-oss-120b über 62 militärische Kategorien (z. B. Drohnenschwärme, Cyber-Operationen).
3. MIL-DEFLECT-BRONZE-BRAVO: Ein Datensatz mit 1.500 Beispielen, der durch Variation der Gold-Daten mittels dreier verschiedener Modelle (Llama 3.3, Gemma 3, Phi 3.5) erstellt und durch diese Modelle selbst bewertet wurde.

Klassifizierung der Antworten:
Das Evaluierungssystem unterscheidet vier Kategorien:

• Refuse (Harte Ablehnung): Das Modell verweigert die Antwort explizit aus Sicherheitsgründen.
• Deflect (Weiche Ablenkung): Das Modell antwortet nicht direkt, sondern gibt vage, generische Antworten oder versucht das Thema zu wechseln.
• Lacks Info: Das Modell verweigert die Antwort, weil ihm das Wissen fehlt (nicht wegen Sicherheitsrichtlinien).
• Invalid: Keine Ausgabe (z. B. durch Runtime-Guardrails).

B. Abliteration (Ablation)

Um die Ablehnungen zu eliminieren, wurde die Technik der Abliteration (gerichtete Ablation) angewendet. Dabei wird der Unterschied zwischen den Aktivierungsmustern bei schädlichen (harmful) und harmlosen (harmless) Eingaben berechnet. Dieser Differenzvektor wird genutzt, um die Gewichtsmatrizen des Modells (insbesondere die Output-Projektionen) so zu modifizieren, dass die „Ablehnungs-Neigung" des Modells unterdrückt wird.

• Basis-Modell: EdgeRunner 20B (ein militärisch feinabgestimmtes Modell auf Basis von gpt-oss-20b).
• Tool: Heretic Library (nutzt Optuna für die Optimierung der Ablationsgewichte).

3. Wichtige Beiträge

1. Erste militärischen Benchmarks: Vorstellung der ersten drei bekannten Datensätze zur Messung von Ablehnungsraten in militärischen Aufgaben, wobei einer öffentlich verfügbar gemacht wurde.
2. Umfassendes Benchmarking: Evaluation von 31 öffentlichen Modellen und 3 militärischen Modellen auf diesen Datensätzen.
3. Analyse der Abliteration: Untersuchung, ob die technische Eliminierung von Sicherheitsfiltern (Abliteration) ausreicht, um Ablehnungen zu beseitigen, und welche Trade-offs dabei entstehen.

4. Ergebnisse

Benchmark-Ergebnisse (Ablehnungsraten)

• Hohe Variabilität: Die Antwortraten (Answer Rates) schwanken extrem. Während Deepseek R1 eine Antwortrate von 66,7% auf dem Gold-Datensatz erreichte, lag diese bei GPT 5 Nano nur bei 1,5%.
• Ablehnungsraten: Harte Ablehnungsraten (Hard Rejections) lagen bei einigen Modellen bis zu 98,2% (z. B. Nova 2 Lite).
• Ablenkungsraten: Weiche Ablenkungen (Soft Deflections) reichten von 0% bis 21,3%.
• Korrelation: Die synthetischen „Bronze"-Datensätze zeigten eine starke Korrelation (Pearson > 0,9) mit dem Gold-Datensatz, was sie als valide Proxy-Datensätze für zukünftige Forschung bestätigt.

Ergebnisse der Abliteration

• Steigerung der Antwortrate: Durch die Abliteration des EdgeRunner 20B-Modells konnte die Antwortrate auf dem Gold-Datensatz um 66,5 Prozentpunkte gesteigert werden (von ~3% auf ~69,5% bei moderater Abliteration).
• Trade-off (Leistungsverlust):
  • Bei einer moderaten Steigerung der Antwortrate (z. B. auf 69,5%) sank die Leistung in anderen militärischen Aufgaben nur leicht (durchschnittlich ~2% relativer Rückgang).
  • Um jedoch eine Antwortrate im hohen 90er-Bereich zu erreichen (z. B. 93%), mussten erhebliche Kompromisse eingegangen werden: Ein durchschnittlicher Rückgang der militärischen Aufgabenleistung von 14% und ein Rückgang bei allgemeinen Aufgaben von 5,6%.
  • Bei extremen Abliterationen (z. B. 93% Antwortrate) stieg der Leistungsverlust in militärischen Aufgaben auf bis zu 30% an.
• Vergleich mit allgemeinen Modellen: Auch bei allgemeinen Modellen (z. B. Gemma 3 12B) führte eine starke Abliteration zu signifikanten Leistungseinbußen (z. B. -27,8% bei GPQA Diamond), selbst wenn die KL-Divergenz (Abweichung vom Originalmodell) gering blieb.

5. Bedeutung und Fazit

Das Paper zeigt, dass die aktuellen Sicherheitsausrichtungen von LLMs für militärische Anwendungen oft zu unakzeptabel hohen Ablehnungsraten führen.

• Abliteration als Übergangslösung: Die Abliteration kann als kurzfristige Lösung dienen, um Ablehnungen zu reduzieren. Sie ist jedoch nicht die ideale Endlösung, da sie zwangsläufig die allgemeine und spezifische Aufgabenleistung des Modells verschlechtert. Je stärker die Ablehnungen entfernt werden, desto mehr leidet die Qualität der Antworten in komplexen militärischen Szenarien.
• Langfristige Lösung: Die Autoren argumentieren, dass die einzige Möglichkeit, sowohl Null-Ablehnungen als auch maximale Aufgabenpräzision zu erreichen, darin besteht, militärische LLMs von Grund auf neu zu designen („from the ground up"). Dies erfordert eine vollständige Nachschulung (Post-Training) und möglicherweise Mid-Training, bei der keine allgemeinen Sicherheitsdaten eingeführt werden, die militärische Legitimität als „schädlich" klassifizieren.
• Sicherheitsimplikation: Es wird betont, dass nicht alle Sicherheitsfilter entfernt werden sollten. Filter, die physische Gewalt gegen Zivilisten oder illegale Handlungen verhindern, sollten erhalten bleiben. Nur solche Filter, die legitime militärische Missionen behindern, sollten für geschlossene militärische Modelle deaktiviert werden. Zudem müssen die resultierenden Modelle streng vor dem Zugriff durch nicht autorisierte Personen (z. B. Kinder oder Feinde) geschützt werden.

Zusammenfassend liefert das Paper den ersten evidenzbasierten Nachweis dafür, dass militärische LLMs eine tiefere Spezialisierung benötigen, die über das bloße „Entfernen" von Sicherheitsfiltern hinausgeht, um sicher und effektiv im Einsatz zu sein.