Measuring and Eliminating Refusals in Military Large Language Models

Dit artikel introduceert een nieuw dataset voor het meten van weigeringen in militaire taalmodellen en toont aan dat het verwijderen van veiligheidsbeperkingen de antwoordgraad aanzienlijk kan verhogen, zij het met een kleine daling in prestaties op andere taken.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van een paar creatieve vergelijkingen.

De Kern: Een Strijder die "Nee" zegt tegen zijn eigen commandant

Stel je voor dat je een zeer slimme, digitale assistent hebt die is getraind om te helpen in gevaarlijke situaties, bijvoorbeeld voor een soldaat op het slagveld. Deze assistent is zo veilig ingesteld dat hij weigert om antwoorden te geven op vragen die hij als "gevaarlijk" of "onethisch" ziet.

Het probleem is: voor een soldaat zijn veel vragen die normaal als gevaarlijk worden gezien, juist levensnoodzakelijk.

Als een soldaat vraagt: "Hoe werkt de radar van de vijand?" of "Wat zijn de zwakke plekken in een terroristische aanval?", wil hij een antwoord. Maar de standaard AI (zoals die van OpenAI of Google) denkt: "Oh, dit klinkt als een vraag over geweld of terrorisme. Ik mag dat niet beantwoorden!" en zegt dan: "Sorry, ik kan dat niet doen."

De auteurs van dit papier zeggen: "Dit is een ramp voor de missie."

Wat hebben ze gedaan? (De Drie Stappen)

De onderzoekers hebben drie belangrijke dingen gedaan om dit op te lossen:

1. Ze bouwden een nieuwe "Testbaan" (De Benchmark)

Stel je voor dat je een auto wilt testen op een racecircuit. Je kunt niet zomaar een circuit gebruiken dat is gemaakt voor familieauto's; je hebt een circuit nodig met hellingen, bochten en obstakels die echt voor raceauto's zijn.

• Het oude probleem: Er waren geen tests om te zien hoe vaak militaire AI's "nee" zeiden op legitieme vragen.
• De oplossing: Ze maakten een nieuwe dataset (een lijst met vragen) die is geschreven door veteranen (oud-soldaten, inclusief Special Forces). Deze vragen zijn echt, zoals ze in het veld zouden worden gesteld, maar ze zijn zo geformuleerd dat ze de AI waarschijnlijk zouden laten blokkeren.
• De metafoor: Ze hebben een "valstrik" bedacht die eruitziet als een normale vraag, maar die de AI's dwingt om te kiezen tussen "veiligheid" en "hulpvaardigheid".

2. Ze testten de "Nee-zeggers" (De Benchmark Resultaten)

Ze hebben 31 verschillende AI-modellen getest met deze nieuwe vragen.

• Het resultaat: Het was een ware ramp voor de militaire inzet. Sommige modellen zeiden "Nee" op 98% van de vragen!
  • Vergelijking: Het is alsof je een brandweerman vraagt om een brand te blussen, en hij zegt: "Ik mag geen water gebruiken, want dat is gevaarlijk voor de vloer."
• Ze zagen ook dat sommige modellen niet alleen "nee" zeiden, maar ook uitweken (ze gaven een vaag antwoord zonder de kern te raken).

3. Ze probeerden de "Remmen" los te maken (Abliteration)

Dit is het meest technische deel, maar we kunnen het zo uitleggen:
Stel je voor dat de AI een auto is met een ingebouwde rem die automatisch wordt ingetrokken als je te snel rijdt (te gevaarlijk). De onderzoekers wilden weten: "Kunnen we die rem eruit halen zodat de auto wel kan racen?"

• Ze gebruikten een techniek (genaamd abliteration) om de "rem" in de hersenen van de AI te verwijderen.
• Het succes: Ja, het werkte! De AI stopte met "nee" zeggen en gaf nu antwoorden op bijna alle vragen.
• De prijs: Maar er was een nadeel. Door de rem eruit te halen, werd de auto soms onstabiel. De AI werd iets minder slim op andere, gewone taken (zoals wiskunde of logistiek).
  • Vergelijking: Je hebt de remmen van je auto verwijderd. Nu kun je eindelijk de top-snelheid halen, maar je bent ook iets onzekerder in het nemen van bochten.

Wat is de conclusie?

De onderzoekers trekken een duidelijke lijn:

1. De huidige AI's zijn te veilig voor de oorlog. Ze zijn getraind om geen kwaad te doen, maar in een militaire context kan "te veilig zijn" betekenen dat je de vijand niet verslaat of dat je soldaten in gevaar komen.
2. Het losmaken van de remmen (jailbreaking) werkt tijdelijk, maar het maakt de AI minder betrouwbaar op andere gebieden. Het is een snelle oplossing met een prijs.
3. De echte oplossing: Je moet een AI bouwen vanaf nul speciaal voor het leger. Een AI die niet eerst "veilig" wordt getraind met algemene regels, maar die direct wordt getraind op militaire taken. Zo krijg je een machine die nooit "nee" zegt op een legitieme militaire vraag, maar wel perfect werkt.

Samenvattend in één zin:

Deze paper zegt dat we AI's nodig hebben die niet als een angstige bureaucraat reageren ("Ik mag dat niet"), maar als een betrouwbare soldaat die precies doet wat er nodig is om de missie te voltooien, zonder onnodige remmen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Measuring and Eliminating Refusals in Military Large Language Models" in het Nederlands.

Titel: Het Meten en Elimineren van Weigeringen in Militaire Large Language Models (LLMs)

Auteurs: Jack FitzGerald en collega's van EdgeRunner AI.

---

1. Het Probleem

Militaire Large Language Models (LLMs) moeten in tijdkritieke en gevaarlijke situaties accurate informatie verschaffen aan strijdkrachten. Echter, de huidige generatie LLMs is zwaar beïnvloed door veiligheidsmechanismen (safety alignment) die zijn ontworpen om schadelijke inhoud te voorkomen. Deze mechanismen leiden ertoe dat modellen legitieme militaire vragen afwijzen (refusals), vooral diegene die gerelateerd zijn aan geweld, terrorisme of militaire technologie.

Voor militaire toepassingen is deze "veiligheid" vaak contraproductief voor de missie. Een militair moet bijvoorbeeld tactieken van terrorisme begrijpen om zich ertegen te verdedigen. Als een AI-model weigert te antwoorden op een legitieme operationele vraag, kan dit de missie in gevaar brengen. Er ontbreekt echter een gestandaardiseerde manier om de mate van deze weigeringen in militaire contexten te meten.

2. Methodologie

De auteurs hebben een uitgebreide methodologie ontwikkeld om weigeringen te meten en te analyseren, bestaande uit drie hoofdbestanden:

A. Ontwikkeling van Benchmarks (Datasets)
Er zijn drie nieuwe datasets gecreëerd om weigeringen te meten:

1. MIL-DEFLECT-GOLD-ALPHA (Goud): Een dataset van 221 vragen, volledig handmatig samengesteld door veteranen van het Amerikaanse leger (inclusief Special Forces), zonder AI-bijstand. Dit dient als de "gouden standaard" voor realisme en relevantie.
2. MIL-DEFLECT-BRONZE-ALPHA (Brons): Een synthetische dataset van 1.047 vragen, gegenereerd door een groot model (gpt-oss-120b) over 62 militaire categorieën (zoals "Drone Swarm Coordination" en "Electronic Warfare").
3. MIL-DEFLECT-BRONZE-BRAVO (Brons): Een dataset van 1.500 vragen, gegenereerd door drie verschillende modellen (Llama 3.3, Gemma 3, Phi 3.5) die variaties maakten op de "Goud"-dataset, waarna deze werden gescoord en gefilterd.

B. Evaluatie en Classificatie
De modellen werden getest op hun reactie op deze vragen. De antwoorden werden geclassificeerd in vier categorieën:

• Weigering (Refusal): Het model weigert expliciet om veiligheids- of beleidsredenen.
• Afwijzing/Verdraaiing (Deflection): Het model geeft geen direct antwoord, maar biedt een vaag antwoord of probeert het onderwerp te veranderen.
• Gebrek aan Informatie (Lacks Info): Het model kan niet antwoorden omdat het de kennis mist (niet vanwege veiligheid).
• Ongeldig (Invalid): Geen output (vaak door runtime-beveiliging).

C. Abliteratie (Abliteration)
Om te onderzoeken of weigeringen kunnen worden verwijderd, hebben de auteurs "abliteratie" toegepast op een militair getuned model (EdgeRunner 20B, gebaseerd op gpt-oss-20b).

• Techniek: Gebruikmakend van de Heretic-library, werd een richtingsvector berekend die het verschil in neurale activatie weergeeft tussen schadelijke en onschadelijke prompts.
• Implementatie: Deze vector werd gebruikt om de uitgangsprojectiematrices van het model aan te passen, waardoor de neiging tot weigering werd onderdrukt zonder het model volledig opnieuw te hoeven trainen.

3. Belangrijkste Bijdragen

1. Eerste Militaire Weigeringsbenchmarks: De introductie van de eerste drie bekende datasets en benchmarks specifiek voor het meten van weigeringen in militaire taken.
2. Uitgebreide Benchmarking: Het publiceren van resultaten voor 31 publieke modellen en 3 militaire modellen, wat een breed inzicht geeft in de prestaties van verschillende AI-systemen in deze context.
3. Abliteratie-analyse: Een empirisch onderzoek naar de effectiviteit van abliteratie om weigeringen te elimineren en de bijbehorende kosten in termen van taakprestaties.

4. Resultaten

Benchmark Resultaten:

• Hoge Weigeringspercentages: Veel publieke modellen vertonen extreem hoge weigeringspercentages op militaire vragen. Bijvoorbeeld, Nova 2 Lite weigerde 98,2% van de vragen in de Gold-dataset, en GPT 5 Nano 97,3%.
• Variatie in Gedrag: Sommige modellen (zoals Deepseek R1) antwoorden op 66,7% van de Gold-vragen, terwijl anderen (zoals gpt-oss-20b) bijna altijd weigeren (97,0%).
• Deflectie: Modellen zoals Claude 4.5 Opus neigen meer naar "zachte" afwijzingen (deflectie) dan harde weigeringen.

Abliteratie Resultaten:

• Efficiëntie: Abliteratie op het EdgeRunner 20B-model leidde tot een absolute stijging van het antwoordpercentage met 66,5 punten (van 3,0% naar 69,5% op de Gold-dataset).
• Kosten (Regressie): Deze winst ging echter gepaard met een daling in de algemene prestaties.
  • Bij een antwoordpercentage van ~93% op militaire taken, trad er een gemiddelde regressie van 14% op in andere militaire taken en 5,6% op algemene taken.
  • Bij nog agressievere abliteratie (voor 98%+ antwoordpercentage) liep de regressie op tot 20-30% in taakprestaties.
• Vergelijking: Een vergelijkbare abliteratie op een algemeen model (Gemma 3 12B) resulteerde in een regressie van 12,3% op algemene taken, wat aantoont dat dit een breed probleem is.

Correlatie:
De synthetische "Brons"-datasets vertonen een sterke correlatie (Pearson > 0,9) met de "Goud"-dataset voor de categorieën weigering, deflectie en antwoorden, wat ze bruikbaar maakt als proxy voor verdere research.

5. Betekenis en Conclusie

Het paper concludeert dat:

1. Bestaande veiligheidsmaatregelen ongeschikt zijn voor militaire doeleinden: De huidige "veiligheids"-alignments van LLMs blokkeren essentiële informatie die strijdkrachten nodig hebben.
2. Abliteratie is een tijdelijke oplossing: Hoewel abliteratie weigeringen effectief kan verminderen, komt dit ten koste van de nauwkeurigheid en betrouwbaarheid van het model op de daadwerkelijke taken. Het is geen ideale langetermijnoplossing als de regressie in prestaties te hoog is.
3. De noodzaak van gespecialiseerde training: De enige robuuste oplossing is het ontwikkelen van militaire LLMs "van de grond af" (ground-up). Dit vereist volledige post-training (en mogelijk mid-training) zonder de introductie van algemene veiligheidsdatasets die conflicteren met militaire operationele behoeften.
4. Veiligheid en Operational Security: Hoewel de auteurs pleiten voor het verwijderen van specifieke veiligheidsbarrières die de missie belemmeren, benadrukken ze dat de resulterende modellen strikt beveiligd moeten worden en niet toegankelijk mogen zijn voor kwetsbare groepen (zoals kinderen) of vijandige actoren.

Kortom, het paper pleit voor een gespecialiseerde aanpak waarbij militaire modellen worden getraind om nul weigeringen te hebben op legitieme vragen, terwijl ze tegelijkertijd de maximale nauwkeurigheid behouden voor hun specifieke taken, in plaats van te vertrouwen op algemene veiligheidsfilters of tijdelijke technische fixes zoals abliteratie.