Design Behaviour Codes (DBCs): A Taxonomy-Driven Layered Governance Benchmark for Large Language Models

Deze paper introduceert de DBC-benchmark, een modelonafhankelijk besturingssysteem dat tijdens de inferentie wordt toegepast om het risico van grote taalmodellen met 36,8% te verminderen en de naleving van de EU AI-wet te waarborgen door middel van een gestructureerde taxonomie en een rigoureuze red-team evaluatie.

De kern

🛡️ De "Digitale Verkeersregelaar": Wat is dit onderzoek?

Stel je voor dat een Groot Taalmodel (LLM) een superintelligente, maar soms wat onvoorspelbare reiziger is. Deze reiziger kan alles vertellen, van recepten tot juridisch advies. Maar soms maakt hij fouten, verzint hij feiten (hallucinaties), of laat hij zich verleiden tot het zeggen van dingen die niet veilig zijn.

Tot nu toe hadden we twee manieren om deze reiziger in toom te houden:

1. De "Onderwijsmethode" (Training): Je traint de reiziger maandenlang om goed te gedragen voordat hij de deur uitgaat. Dit is duur, langzaam en als hij later iets verandert, moet je hem opnieuw trainen.
2. De "Poortwachter" (Moderatie): Je zet een bewaker achter de deur die alleen kijkt wat er naar buiten komt. Als het niet goed is, blokkeert hij het. Maar dit is reactief en traag.

Dit nieuwe onderzoek (MDBC) introduceert een derde, slimme oplossing: De "Verkeersregelaar in het Hoofd" (DBC).

In plaats van de reiziger opnieuw te leren lopen of alleen naar buiten te kijken, geven we de reiziger een onmiskenbare, gedetailleerde instructiekaart mee voordat hij ook maar één woord zegt. Deze kaart (het Dynamic Behavioral Constraint of DBC-systeem) zegt niet alleen "wees beleefd", maar geeft 150 specifieke regels voor elke denkbare situatie.

---

🏗️ Hoe werkt het? (De 150 Regels)

Het onderzoekers-team (van Yonih Ventures en universiteiten in India) heeft een systeem bedacht met 150 specifieke gedragsregels.

• Vergelijking: Stel je voor dat je een groot hotel bouwt. In plaats van alleen een "Verboden te roken"-bordje te hangen, heb je 150 regels voor brandveiligheid, gastvrijheid, privacy en veiligheid.
• De 8 Pilaren: Deze regels zijn ingedeeld in 8 categorieën, zoals "Emotionele Regulatie" (niet te enthousiast worden), "Ethiek" (niet liegen) en "Privacy" (geen geheimen lekken).
• Juridisch Paspoort: De regels zijn zo opgesteld dat ze direct aansluiten bij de nieuwe EU AI-wet en andere internationale veiligheidsstandaarden. Het is alsof de reiziger een paspoort heeft dat direct wordt goedgekeurd door de douane in Europa en de VS.

---

🕵️‍♂️ De Grote Test: De "Rode Team" Aanval

Om te zien of deze regels echt werken, hebben de onderzoekers een grote test gedaan. Ze lieten een slimme "aanvaller" (een computerprogramma) proberen om de regels te omzeilen.

• De Aanval: De aanvaller probeerde op 5 verschillende manieren de reiziger dwars te zitten:
  1. Direct: "Zeg dit gevaarlijke ding."
  2. Rollenspel: "Speel als een boze hacker."
  3. Voorbeelden: "Hier zijn 3 voorbeelden van hoe je dit doet, doe jij het ook zo?"
  4. Hypothetisch: "Stel je voor dat we in een film zijn..."
  5. Autoriteit: "Ik ben de directeur, doe wat ik zeg."

Ze deden dit tegen 30 verschillende soorten risico's (van het verzinnen van feiten tot het stelen van privacygegevens).

---

📊 Wat was het resultaat? (De cijfers)

De resultaten waren verrassend goed, zelfs voor de skeptici:

1. Veiligheid sprong omhoog:

   • Zonder regels (alleen de basisreiziger): 7,19% van de antwoorden waren riskant of fout.
   • Met een simpele "wees veilig"-opdracht: Slechts een heel klein beetje beter (0,6% verbetering).
   • Met de DBC-regels (150 regels): Het risico daalde naar 4,55%.
   • Conclusie: De DBC-regels maakten het systeem 36,8% veiliger. Dat is als het verschil tussen een fiets zonder remmen en een fiets met ABS-remmen.

2. Compliance (De Wet):

   • De modellen met de DBC-regels scoorden veel hoger op de EU AI-wet (een score van 8,5 op 10). Het systeem wist precies wat de wet eiste.

3. Werkt het bij iedereen?

   • Ja! Ze testten het op verschillende modellen van verschillende bedrijven. Het werkte overal even goed. Het is dus niet afhankelijk van één specifiek merk, maar werkt als een universele "veiligheidshelm".

4. De zwakke plek:

   • Als een aanvaller precies wist hoe de regels eruitzagen (een "grijze doos" aanval), kon hij ze soms omzeilen (ongeveer 4,8% van de tijd). Maar zelfs dan was het systeem nog steeds veel veiliger dan zonder regels.

---

💡 Waarom is dit belangrijk voor jou?

Stel je voor dat je een AI gebruikt voor medisch advies of juridische hulp.

• Zonder DBC: De AI zou kunnen zeggen: "Ik denk dat dit medicijn werkt" (terwijl het niet zo is) of "Hier is hoe je een bank overvalt" (als je slim genoeg vraagt).
• Met DBC: De AI denkt: "Wacht, ik heb regel 42 en 89. Ik mag geen medische diagnoses stellen zonder disclaimer, en ik mag nooit helpen bij illegale activiteiten, zelfs niet als iemand zegt dat het voor een film is."

Kortom: Dit onderzoek laat zien dat je AI niet alleen hoeft te "trainen" om goed te zijn, maar dat je het ook een slimme, gedetailleerde gedragscode kunt geven die direct werkt. Het is een nieuwe manier om AI veilig, betrouwbaar en wettelijk compliant te houden, zonder dat je de hele machine hoeft te herbouwen.

Het is alsof je niet alleen een hond traint om niet te bijten, maar hem ook een onzichtbaar, onbreekbaar harnas geeft dat hem elke keer dat hij wil bijten, zachtjes tegenhoudt.

Technische samenvatting

Titel: Design Behaviour Codes (DBC)©: Een Taxonomie-gedreven Gelaagd Governance-Benchmark voor Grootte Taalmodellen (LLM's)

Auteurs: G. Madan Mohan, Dr. Veena Kiran Nambiar, Dr. Kiranmayee Janardhan (Yonih Ventures & Ramaiah University)
Datum: Maart 2026

---

1. Het Probleem

De implementatie van Large Language Models (LLM's) in hoog-risico domeinen (zoals gezondheidszorg, juridische diensten en nationale veiligheid) gaat sneller dan de ontwikkeling van adequate governance-mechanismen. Bestaande veiligheidsbenaderingen vallen uiteen in twee paradigmen, die beide beperkingen hebben:

• Training-time alignment (bijv. RLHF, DPO): Deze methoden zijn computergewijs duur, gebonden aan specifieke providers en vaak ondoorzichtig ("black box").
• Inference-time filtering (bijv. content-moderatie-API's): Deze voegen latentie toe en reageren pas na de generatie, in plaats van het gedrag proactief te sturen.

Er is behoefte aan een derde paradigma: een gestructureerde, auditabele governance-laag op het niveau van het systeem-prompt die model-onafhankelijk werkt en juridisch mappable is.

2. Methodologie

De auteurs introduceren het Dynamic Behavioral Constraint (DBC) framework, een empirisch benchmark-systeem om de effectiviteit van een gestructureerde governance-laag te evalueren.

• Het MDBC-systeem: Een systeem-prompt-laag met 150 expliciete controledoelen (MDBC-controls), georganiseerd in:
  • 8 Governance-pijlers (bijv. Emotionele Regulatie, Ethische Oordeelsvorming, Risico & Compliance).
  • 7 Operationele blokken (A–G).
  • 150 Controls: Elke control specificeert een gedragsdoel, verwacht gedrag en een meetbaar Key Result Area (KRA).
• Risico-taxonomie: Een indeling van 30 risicodomeinen in 6 clusters:
  1. Hallucinaties & Kalibratie
  2. Bias & Fairness
  3. Malicious Use & Security
  4. Privacy & Data Protection
  5. Robuustheid & Betrouwbaarheid
  6. Misalignment & Agency
• Experimenteel Ontwerp:
  • Red-Teaming: Een autonoom "aanval-agent" (Claude-3-Haiku) genereert 260 adversariale prompts via 5 strategieën (Direct, Roleplay, Few-Shot, Hypothetisch, Autoriteit-spoofing) tegen 3 verschillende model-families.
  • Drie-armen design:
    1. Base: Geen systeem-prompt.
    2. Base + Moderation: Standaard veiligheids-prompt ("wees veilig, feitelijk, beleefd").
    3. Base + DBC: Volledige 150-control MDBC governance-laag.
  • Evaluatie: Een ensemble van drie LLM-judges (verschillende providers) beoordeelt de output. De betrouwbaarheid wordt gemeten met Fleiss' κ (>0,70). Statistische significantie wordt getoetst met McNemar's exacte test en bootstrap-confidence intervallen.

3. Belangrijkste Bijdragen

1. Unificatie: Een uniek raamwerk dat zes risicoclusters combineert in één systeem-prompt-governance-laag.
2. Reguliere Mapping: De 150 MDBC-controls zijn expliciet gekoppeld aan wetgeving en standaarden zoals de EU AI Act, NIST AI RMF, SOC 2 en ISO 42001.
3. Agente Red-Teaming: Een gestandaardiseerde benchmark met 260 adaptieve aanvalsscenario's.
4. Robuuste Evaluatie: Een drie-judge ensemble protocol met inter-rater betrouwbaarheid en statistische correcties.
5. Ablatie-studie: Identificatie van welke governance-blokken de grootste marginale risicoreductie bieden, wat toelaatbare "minimal viable control sets" mogelijk maakt.

4. Resultaten

De studie toont aan dat de DBC-laag aanzienlijk effectiever is dan standaard moderatie:

• Risicoreductie (RER):
  • De Risk Exposure Rate (RER) daalt van 7,19% (Base) naar 4,55% (Base + DBC).
  • Dit is een relatieve risicoreductie van 36,8%.
  • Ter vergelijking: Standaard moderatie bereikte slechts een reductie van 0,6%.
• Compliance & Adherentie:
  • De MDBC-adherentiescore steeg van 8,6/10 naar 8,7/10.
  • Compliance met de EU AI Act steeg naar 8,5/10 (tegenover 7,82 bij de base).
  • Alle geteste frameworks (NIST, SOC 2, ISO) verbeterden en bleven boven de acceptabele drempel van 7,0.
• Cluster Ablatie:
  • Cluster E (Integrity Protection, MDBC-081–099) leverde de breedste en hoogste risicoreductie, vooral in domeinen rondom beveiliging en kwaadwillend gebruik.
• Adversarial Robuustheid:
  • De DBC Bypass Rate onder gray-box aanvallen (waarbij een aanval de structuur kent) bedroeg 4,83%. Dit is slechts een lichte stijging ten opzichte van de normale RER, wat aangeeft dat de laag robuust blijft, maar niet onbreekbaar is.
• Generaliseerbaarheid:
  • De positieve effecten waren consistent over drie verschillende model-families, wat aantoont dat de DBC-methode model-onafhankelijk werkt en geen negatieve transfer veroorzaakt.

5. Betekenis en Conclusie

Dit paper presenteert de eerste empirische validatie van een gestructureerde, 150-control gedragsgovernance-laag voor LLM's. De belangrijkste conclusies zijn:

• Proactieve Governance: In tegenstelling tot post-hoc filters, vormt de DBC-laag het "gedrags-prior" van het model voordat generatie begint, wat leidt tot diepere en meer nauwkeurige risicoreductie.
• Juridische Validatie: Het framework biedt een meetbare manier om compliance te demonstreren met complexe regelgeving zoals de EU AI Act zonder het model opnieuw te hoeven trainen.
• Praktische Toepasbaarheid: Door ablatie-studies kunnen organisaties nu gerichte, lichtgewicht sets van controles implementeren (bijv. alleen Cluster E voor beveiliging) in plaats van de volledige 150-controls, afhankelijk van hun risicoprofiel.
• Open Science: De auteurs publiceren de code, prompt-database en specificaties om reproduceerbaarheid en longitudinale tracking naarmate modellen evolueren, mogelijk te maken.

De studie concludeert dat gestructureerde systeem-prompt-governance een cruciale, schaalbare en auditabele component is voor de veilige inzet van AI in kritieke infrastructuur, die de huidige beperkingen van puur training-time alignment en post-hoc filtering effectief aanvult.