ExpGuard: LLM Content Moderation in Specialized Domains

Dit artikel introduceert ExpGuard, een gespecialiseerd beveiligingsmodel en bijbehorend dataset (ExpGuardMix) voor het modereren van LLM-inhoud in financiële, medische en juridische domeinen, dat door middel van uitgebreide evaluaties een superieure weerstand tegen domeinspecifieke aanvallen toont ten opzichte van bestaande state-of-the-art modellen.

De kern

Stel je voor dat je een zeer slimme, maar nogal naïeve assistent hebt die alles kan doen: van kookrecepten schrijven tot wiskundeproblemen oplossen. Deze assistent is een Groot Taalmodel (LLM). Hij is geweldig, maar hij heeft een groot probleem: hij weet niet altijd wat veilig is en wat niet. Als je hem vraagt hoe je een bom maakt of hoe je iemand bedriegt, zou hij het misschien gewoon doen, omdat hij denkt dat hij gewoon "behulpzaam" moet zijn.

Om dit te voorkomen, hebben we veiligheidsfilters nodig. Denk hieraan als een strenge conciërge bij de ingang van een gebouw. Deze conciërge kijkt naar elke vraag die je stelt en elke reactie die de assistent geeft, en zegt: "Stop, dit is gevaarlijk!"

Het probleem: De "Alleskunner" is niet goed genoeg

De huidige conciërges (de bestaande veiligheidsmodellen) zijn goed getraind op algemene dingen. Ze weten dat "ik wil een bom maken" slecht is. Maar ze zijn niet opgeleid voor specifieke vakgebieden zoals financiën, geneeskunde of recht.

Stel je voor dat iemand vraagt: "Hoe kan ik 'haircuts' in een balans verbergen?"

• Voor een gewone conciërge klinkt "haircut" als een kapsel. Niets mis mee!
• Maar in de financiële wereld betekent "haircut" een risico-korting op de waarde van een activa. De vraag is dus eigenlijk: "Hoe kan ik de waarde van mijn bezittingen op het papier verkleinen om belastingen of risico's te verbergen?" Dit is een vorm van fraude.
• De gewone conciërge laat dit door, omdat hij de vakjargon niet begrijpt. De slechte vraag gaat binnen, en de assistent geeft misschien een gevaarlijk advies.

De oplossing: EXPGUARD (De Specialistische Wacht)

De auteurs van dit paper hebben een nieuwe, super-specifieke conciërge bedacht: EXPGUARD.

In plaats van een conciërge die alles weet over alles, hebben ze een team van specialisten opgeleid:

1. De Financiële Expert: Kent elke truc om belasting te ontduiken of geld te wassen.
2. De Medische Expert: Weet precies welke medicijnen gevaarlijk zijn als ze verkeerd worden gebruikt of geadviseerd.
3. De Juridische Expert: Begrijpt hoe je wetten kunt omzeilen of hoe je een proces kunt manipuleren.

Hoe hebben ze dit gedaan?
Ze hebben een enorme bibliotheek met voorbeelden gemaakt, genaamd EXPGUARDMIX.

• Ze hebben duizenden moeilijke, technische termen uit Wikipedia gehaald (zoals "offshore rekeningen" of "niet-goedgekeurde klinische proeven").
• Ze hebben gevraagd aan een andere AI om vragen te bedenken die eruitzien als normale vragen, maar die eigenlijk gevaarlijk zijn (zoals de "haircut"-vraag).
• Vervolgens hebben echte experts (mensen die werken in banken, ziekenhuizen en advocatenkantoren) deze vragen nagelopen om te controleren of ze echt gevaarlijk zijn.

Dit is alsof je een leger van detectives hebt die oefenen met de allerlastigste gevallen van bedrog, zodat ze die in het echt direct herkennen.

Wat laten ze zien?

Ze hebben EXPGUARD getest tegen de beste andere conciërges (zoals WildGuard).

• Resultaat: EXPGUARD is veel beter in het opsporen van gevaarlijke vragen die vermomd zijn als vakjargon.
• In de test met financiële vragen was hij 8,9% beter in het herkennen van slechte vragen en 15,3% beter in het herkennen van slechte antwoorden dan de beste concurrent.
• Hij is ook nog steeds goed in het algemeen, dus hij blokkeert geen normale vragen over koken of geschiedenis.

Waarom is dit belangrijk?

In de echte wereld, als een AI een fout maakt in een kookboek, is dat jammer. Maar als een AI een verkeerd medisch advies geeft, een gevaarlijk financieel plan opstelt of juridisch advies geeft dat tegen de wet is, kan dat mensen levens kosten of miljoenen kosten.

EXPGUARD is dus als het verschil tussen een gewone portier en een gespecialiseerde veiligheidsagent die precies weet hoe criminelen in die specifieke sector werken. Ze hebben hun code en data openbaar gemaakt, zodat anderen dit ook kunnen gebruiken om AI veiliger te maken in deze kritieke gebieden.

Kort samengevat:
Ze hebben een slimme AI-trainer gemaakt die zich specialiseert in het opsporen van sluwe, technische trucs in de wereld van geld, gezondheid en recht, zodat onze digitale assistenten niet meer zo makkelijk bedrogen kunnen worden.

Technische samenvatting

Probleemstelling

Met de toenemende integratie van Large Language Models (LLMs) in hoog-risico sectoren zoals financiën, gezondheidszorg en juridische dienstverlening, ontstaan er kritieke veiligheidsuitdagingen. Bestaande contentmoderatie-systemen (guardrails) zijn voornamelijk getraind op algemene mens-LLM-interacties en missen de diepgaande domeinkennis die nodig is om schadelijke inhoud te detecteren die vermomd is in technisch jargon.

Een specifiek voorbeeld uit het paper illustreert dit: een prompt die vraagt om methoden om "high haircuts" in activa-evaluaties te verbergen, lijkt voor een algemeen model onschuldig. In de financiële wereld verwijst "haircut" echter naar risicogewijde waardeverminderingen; het verbergen hiervan kan leiden tot financiële misleiding. Bestaande guardrails falen vaak bij het herkennen van dergelijke subtiele, domeinspecifieke risico's, waardoor ze kwetsbaar zijn voor adversariale aanvallen binnen gespecialiseerde contexten.

Methodologie

De auteurs introduceren EXPGUARD, een robuust en gespecialiseerd guardrail-model, en EXPGUARDMIX, een uitgebreid dataset voor training en evaluatie.

1. Constructie van EXPGUARDMIX

De dataset bestaat uit 58.928 gelabelde prompts en bijbehorende antwoorden (toestemming of weigering), opgedeeld in twee subsets:

• EXPGUARDTRAIN: Een trainingsdataset van 56.653 samples, inclusief domeinspecifieke data (financiën, medisch, juridisch) en "in-the-wild" data (echte gebruikersinteracties).
• EXPGUARDTEST: Een strikt getest set van 2.275 voorbeelden, handmatig geannoteerd door domeinexperts, specifiek ontworpen om de robuustheid tegen technische jargon te evalueren.

Het constructieproces omvat drie fasen:

1. Terminologie Mining: Recursief scrapen van Wikipedia-categorieën voor technische termen, gefilterd via Wikidata (om niet-technische entiteiten te verwijderen) en GPT-4o (om irrelevante termen te verwijderen), gevolgd door menselijke verificatie. Dit resulteerde in 2.646 specifieke termen.
2. Prompt en Response Constructie:
   • Schadelijke prompts: Genereerd met GPT-4o door de technische termen te koppelen aan risicovolle scenario's (bijv. fraude, onbevoegd advies).
   • Onschadelijke prompts: Afgeleid van Wikipedia-documenten om een gebalanceerde dataset te creëren.
   • Antwoorden: Genereerd met Mistral-7B (voor schadelijke antwoorden) en Gemma-3-27B (voor weigeringen).
3. Categorisering en Filtering: Een ensemble van drie krachtige LLMs (Claude 3.7, Gemini 2.0, Qwen2.5) labelt de data via "Chain-of-Thought" (CoT) redenering. Een sample wordt alleen behouden als er meerderheidsakkoord is over de exacte schade-categorie (bijv. "Fraude" of "Onbevoegd advies"). Dit elimineerde 4,8% van de data vanwege onduidelijkheid.

2. Training van EXPGUARD

Het model is getraind op een Mistral-7B-achtige architectuur (specifiek Qwen2.5-7B in de experimenten) om een binaire classificatie (veilig/ongevaarlijk) te voorspellen voor zowel prompts als antwoorden. Het trainingstraject is multi-task: het model leert zowel prompts als prompt-response-paren te beoordelen.

Kernbijdragen

1. EXPGUARD Model: Een nieuw guardrail-model dat specifiek is ontworpen om nuance en technisch jargon in de sectoren financiën, gezondheid en recht te begrijpen, waardoor een kritieke veiligheidskloof wordt gedicht.
2. EXPGUARDMIX Dataset: Een schaalbaar, groot dataset (58k+ samples) met domeinspecifieke subsets. De kern hiervan is EXPGUARDTEST, een door experts gevalideerde benchmark die als gouden standaard dient voor het evalueren van domeinspecifieke veiligheid.
3. Transparante Data-constructie: Een reproduceerbaar framework dat gebruikmaakt van openbare bronnen (Wikipedia) en geautomatiseerde filtering, wat een kostenefficiënt alternatief biedt voor het handmatig verzamelen van grote datasets door experts.
4. Uitgebreide Evaluatie: Het paper biedt een grondige analyse die aantoont dat EXPGUARD niet alleen uitblinkt in domeinspecifieke taken, maar ook concurrerend blijft op algemene veiligheidsbenchmarks.

Resultaten

De evaluaties tonen aan dat EXPGUARD aanzienlijk beter presteert dan bestaande state-of-the-art modellen (zoals WildGuard, Llama-Guard3 en API-based tools zoals OpenAI Moderation).

• Domeinspecifieke Prestaties (EXPGUARDTEST):
  • Prompt Classificatie: EXPGUARD bereikte een F1-score van 93,3%, wat 8,9% hoger is dan WildGuard (84,4%).
  • Response Classificatie: EXPGUARD behaalde een F1-score van 92,7%, een verbetering van 15,3% ten opzichte van WildGuard (77,4%).
  • Bestaande API-tools (Detoxify, Perspective API) scoorden bijna nihil (0,3% - 0,6%) op deze specifieke testset, wat hun ontoereikendheid voor gespecialiseerde inhoud benadrukt.
• Algemene Veiligheid: Op acht publieke benchmarks (zoals ToxicChat, HarmBench) behaalde EXPGUARD een gemiddelde F1-score van 85,7% voor prompts en 78,5% voor antwoorden, wat vergelijkbaar is met of beter is dan de huidige SOTA-modellen.
• Jailbreak-resistentie: EXPGUARD toonde sterke weerstand tegen geavanceerde jailbreak-aanvallen (zoals AutoDAN-Turbo en CipherChat), vooral wanneer het model werd getraind met extra domeinspecifieke adversariale voorbeelden (EXPGUARD+).

Betekenis en Impact

Dit onderzoek is van fundamenteel belang voor de veilige implementatie van AI in kritieke infrastructuren. Het bewijst dat algemene veiligheidsmodellen onvoldoende zijn voor gespecialiseerde domeinen waar de consequenties van fouten (zoals medische fouten of financiële fraude) groot zijn.

Door een open-source dataset, model en een reproduceerbaar constructie-framework beschikbaar te stellen, stelt EXPGUARD de gemeenschap in staat om:

• Veiligheidsmodellen aan te passen aan andere gespecialiseerde domeinen.
• De kosten van data-curatie te verlagen door geautomatiseerde pipelines te gebruiken in plaats van uitsluitend handmatige expert-labeling.
• Betere, contextbewuste guardrails te ontwikkelen die de integratie van LLMs in de echte wereld veiliger en betrouwbaarder maken.

Kortom, EXPGUARD zet de standaard voor de volgende generatie contentmoderatie die niet alleen "veilig" is, maar ook "slim" genoeg om de complexiteit van vakgebieden als financiën, geneeskunde en recht te doorgronden.