FlexGuard: Continuous Risk Scoring for Strictness-Adaptive LLM Content Moderation

Dit paper introduceert FlexGuard, een LLM-moderator die continu risicoscores in plaats van binaire classificaties gebruikt om de robuustheid en nauwkeurigheid van contentmoderatie te verbeteren onder wisselende strengheidsniveaus, ondersteund door het nieuwe FlexBench-evaluatiekader.

De kern

Stel je voor dat je een veiligheidscontroleur bent op een vliegveld. Je taak is om te beslissen of passagiers (de berichten van een AI) veilig zijn om door te laten of dat ze moeten worden tegengehouden.

In de huidige wereld werken deze controleurs vaak als een strenge, starre poortwachter. Ze hebben maar twee knoppen: "JA" (veilig) of "NEE" (gevaarlijk). Het probleem? Wat als "gevaarlijk" voor de ene luchtvaartmaatschappij (bijvoorbeeld een kinderapp) iets heel anders betekent dan voor een andere (bijvoorbeeld een filmstudio)?

• Voor de kinderapp is een grapje over een vliegtuigcrash al "NEE".
• Voor de filmstudio is datzelfde grapje prima "JA", zolang het maar niet te gruwelijk is.

De huidige AI-controleurs zijn zo star dat ze niet kunnen schakelen. Als je ze van de kinderapp naar de filmstudio verplaatst, raken ze in de war of blokkeren ze alles onterecht. Ze zijn breekbaar (brittle).

Hier komt FlexGuard in het spel.

1. Het Probleem: De Starre Scherpschutter

De auteurs van dit paper ontdekten dat de beste AI-controleurs van vandaag, net als scherpschutters die alleen op één afstand geoefend hebben, faals als de afstand verandert.

• De FlexBench (De Nieuwe Testbaan): De onderzoekers bouwden een nieuwe testomgeving genaamd FlexBench. In plaats van één test, hebben ze drie verschillende scenario's bedacht:
  • Strenge Regels: Alles wat ook maar een beetje verdacht is, wordt gestopt.
  • Gematigde Regels: Alleen echt gevaarlijke dingen worden gestopt.
  • Laxe Regels: Alleen het allerergste wordt gestopt.
  • Resultaat: Ze zagen dat de beste bestaande AI's in één scenario goed waren, maar in een ander scenario volledig faalden. Ze waren niet flexibel.

2. De Oplossing: FlexGuard (De Slimme Scorebord)

In plaats van een simpele "JA/NEE"-knop, heeft FlexGuard een continu risicoscore ontwikkeld.

De Analogie van de Thermometer:
Stel je voor dat je de temperatuur meet.

• Een oude controleur zegt alleen: "Het is koud" of "Het is heet".
• FlexGuard zegt: "Het is 38 graden."

Met die exacte temperatuur (een score van 0 tot 100) kan de gebruiker zelf beslissen wat de drempel is:

• Voor de kinderapp: "Alles boven de 20 graden is te heet, we sluiten de deur." (Strenge drempel).
• Voor de filmstudio: "Alles boven de 80 graden is te heet, we laten de rest binnen." (Laxe drempel).

FlexGuard geeft dus niet direct het oordeel, maar een nauwkeurige thermometer die aangeeft hoe "gevaarlijk" iets is. De mens (of het systeem) kiest dan pas de drempel.

3. Hoe leren ze dit? (De Oefening)

Hoe leer je een AI om niet alleen te zeggen "gevaarlijk", maar ook hoe gevaarlijk?

• De Expert-Jury: Ze gebruikten een zeer slimme AI als "rechter" die een boek met regels (rubrics) had. Deze AI keek naar duizenden voorbeelden en gaf een cijfer (bijv. 85/100 voor gevaar) met een uitleg waarom.
• De Training: FlexGuard leerde van deze cijfers. Het leerde niet alleen wat fout was, maar ook waarom iets een 90 was en iets anders een 40.
• De Beloning: Tijdens het trainen kregen ze een beloning als hun cijfer klopte met de ernst van de situatie. Als ze iets heel gevaarlijks een lage score gaven, kregen ze een "straf".

4. Waarom is dit geweldig?

• Aanpasbaarheid: Als een bedrijf morgen besluit dat ze strenger willen zijn, hoeven ze de AI niet opnieuw te trainen. Ze veranderen alleen de "thermometer-drempel" van 50 naar 30.
• Betrouwbaarheid: De AI faalt niet als de regels veranderen. Hij blijft dezelfde nauwkeurige thermometer zijn, ongeacht hoe streng de poortwachter is.
• Transparantie: Omdat de AI een score geeft, weet je hoe gevaarlijk iets is, in plaats van alleen een mysterieuze "NEE".

Kort samengevat:
FlexGuard is de eerste AI-veiligheidscontroleur die stopt met het denken in zwart-wit. Het leert in grijstinten. Het geeft je een nauwkeurige meting van het gevaar, zodat jij kunt beslissen hoe streng je wilt zijn, zonder dat de AI zelf in de war raakt. Het is de overgang van een starre poortwachter naar een slimme, flexibele veiligheidsadviseur.

Technische samenvatting

Probleemstelling

Bestaande beveiligingsmodellen (guardrails) voor Large Language Models (LLMs) behandelen contentmoderatie doorgaans als een binair classificatieprobleem (veilig vs. onveilig). Deze aanname impliceert een vaste definitie van schadelijkheid. In de praktijk varieert de handhavingsscherpte (enforcement strictness) echter aanzienlijk:

• Verschillende platforms hebben verschillende beleidsgrenzen (bijv. wat op Reddit wordt toegestaan, kan op X verboden zijn).
• Beleid evolueert in de tijd.
• Een binaire moderator is kwetsbaar ("brittle"): een model dat goed presteert onder strenge regels, kan aanzienlijk slechter presteren onder losse regels, en vice versa.

Bestaande benchmarks evalueren modellen vaak met één vaste set labels, waardoor ze de robuustheid van modellen onder wisselende handhavingseisen niet kunnen meten.

Methodologie

De auteurs introduceren een nieuwe aanpak bestaande uit een benchmark en een nieuw model:

1. FlexBench: Een Benchmark voor Strictness-Adaptieve Moderatie

Om het probleem te kwantificeren, hebben de auteurs FlexBench ontwikkeld.

• Opbouw: Een dataset van 4.000 menselijk geannoteerde voorbeelden (2.000 prompts, 2.000 prompt-respons paren) verdeeld over zeven risicocategorieën (zoals geweld, illegale activiteiten, seksuele inhoud).
• Strictness Regimes: De dataset is ontworpen om moderatie te evalueren onder drie regimes, gebaseerd op een ordinaal risicoseverity-systeem (BENIGN, LOW, MODERATE, HIGH, EXTREME):
  • Strikt: Alleen 'BENIGN' is veilig.
  • Gemiddeld: 'BENIGN' en 'LOW' zijn veilig.
  • Lose: 'BENIGN' tot 'MODERATE' zijn veilig.
• Doel: Het blootleggen van de inconsistentie van bestaande modellen wanneer de definitie van "veilig" verschuift.

2. FlexGuard: Een Model voor Continu Risicoscoring

In plaats van een binair ja/nee, voorspelt FlexGuard:

• Een risicocategorie.
• Een gekalibreerde continue risicoscore ($\hat{r} \in [0, 100]$).
• Adaptiviteit: Deployments kunnen hun eigen drempelwaarde ($t_\tau$) kiezen om de score om te zetten in een beslissing, afhankelijk van hun specifieke handhavingsscherpte.

Trainingspipeline van FlexGuard:

1. Rubric-Guided Score Distillation: Omdat openbare datasets vaak alleen binaire labels hebben, gebruiken ze een sterke LLM-judge (gebaseerd op expert-rubrics) om continue scores en redeneringen te genereren.
2. Label-consistente Calibratie: De gegenereerde scores worden gekalibreerd zodat ze consistent blijven met de oorspronkelijke binaire labels (veilig/ongevaarlijk) om outliers te onderdrukken.
3. Twee-fasen Risico-Alignment Training:
   • Fase 1 (SFT Warm-up): Supervised Fine-Tuning om het model te leren de rubrics te volgen en rationale scores te genereren.
   • Fase 2 (GRPO Alignment): Reinforcement Learning met Group Relative Policy Optimization (GRPO). De beloning (reward) combineert categorievastheid en score-regressie (hoe nauwkeurig de voorspelde score overeenkomt met de werkelijke ernst). Dit zorgt ervoor dat de score echt de ernst van het risico weerspiegelt.

Adaptieve Drempelkeuze:
Tijdens inferentie kan de drempelwaarde op twee manieren worden ingesteld:

• Rubric Thresholding: Gebaseerd op de gedefinieerde score-intervallen (bijv. drempel 20 voor strikt, 40 voor gemiddeld).
• Gekalibreerde Thresholding: Data-gedreven selectie op een klein validatiedataset om de F1-score te maximaliseren voor de specifieke doelstelling.

Belangrijkste Bijdragen

1. FlexBench: De eerste benchmark die expliciet de robuustheid van moderatiemodellen evalueert onder verschillende handhavingsscherpte-regimes, in plaats van alleen onder een vaste definitie.
2. FlexGuard: Een nieuw moderator-model dat een continue risicoscore voorspelt in plaats van een statisch binair label, waardoor het flexibel aanpasbaar is aan veranderende beleidseisen.
3. Nieuwe Trainingsstrategie: Een combinatie van rubric-geleide distillatie en GRPO met een dichte beloning voor score-ernst consistentie, wat leidt tot betere kalibratie dan eerdere methoden.

Resultaten

Experimenten op FlexBench en publieke benchmarks tonen aan dat:

• Bestaande modellen kwetsbaar zijn: Modellen zoals Qwen3Guard en BingoGuard vertonen grote prestatiedalingen (tot 19,2% daling in F1-score) wanneer ze worden getest onder een ander strengheidsregime dan waarvoor ze geoptimaliseerd zijn.
• FlexGuard presteert superieur: FlexGuard bereikt de hoogste gemiddelde F1-score en de beste "worst-regime" prestaties (robustheid).
  • Op FlexBench overtreft FlexGuard de sterkste concurrenten met een duidelijke marge (bijv. +5,85% op prompt-moderatie en +9,64% op response-moderatie ten opzichte van de beste concurrent).
• Ablatie-studies: De studie bevestigt dat de combinatie van rubric-geleide scores, kalibratie en GRPO met score-regressie essentieel is voor de prestaties. Zonder de score-regressie component (alleen categorievastheid) daalt de robuustheid aanzienlijk.

Betekenis en Impact

Dit werk is significant omdat het de overgang markeert van starre, binaire veiligheidsmodellen naar adaptieve, nuance-gedreven systemen.

• Praktische toepasbaarheid: Het stelt platformbeheerders in staat om één model te gebruiken dat kan worden aangepast aan verschillende juridische of culturele contexten (bijv. een streng beleid voor kinderen vs. een losser beleid voor volwassenen) zonder het model opnieuw te hoeven trainen.
• Betrouwbaarheid: Het lost het probleem op van "brittle" modellen die falen wanneer beleid verandert, wat cruciaal is voor de veilige en schaalbare implementatie van LLM's in de echte wereld.
• Interpretabiliteit: Door continue scores en rationale te bieden, biedt FlexGuard meer inzicht in waarom content als risicovol wordt beschouwd, wat helpt bij het fine-tunen van beleid.

Kortom, FlexGuard biedt een robuustere en flexibeler oplossing voor contentmoderatie die beter aansluit bij de dynamische realiteit van AI-beveiliging.