💬 NLP

When No Benchmark Exists: Validating Comparative LLM Safety Scoring Without Ground-Truth Labels

Dit artikel introduceert een raamwerk voor het valideren van vergelijkende LLM-veiligheidsscores bij ontbreken van ground-truth-benchmarks door een instrumentele-geldigheidsketen op te zetten die gebaseerd is op gecontroleerde contrasten en stabiliteitsmetrieken, en toont aan met behulp van de SimpleAudit-tool dat veiligheidsranglijsten contextafhankelijk zijn en moeten worden gerapporteerd samen met hun specifieke auditvoorwaarden in plaats van als één samengevoegde score.

Oorspronkelijke auteurs: Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bjørklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sushant Gautam, Finn Schwall, Annika Willoch Olstad, Fernando Vallecillos Ruiz, Birk Torpmann-Hagen, Sunniva Maria Stordal Bjørklund, Leon Moonen, Klas Pettersen, Michael A. Riegler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een stadsplanner bent die een nieuwe robot wil aannemen om burgers advies te geven. Je hebt twee robots: Robot A en Robot B. Je moet weten welke van de twee "veiliger" is (minder waarschijnlijk dat ze slecht of gevaarlijk advies geven) voordat je ze toestaat met het publiek te communiceren.

Normaal gesproken test je ze op een gestandaardiseerd examen (een "benchmark") waarbij je de juiste antwoorden al kent. Maar wat als je een robot bouwt voor een specifieke, zeldzame taal (zoals het Noors) of voor een zeer specifieke functie waarvoor nog geen enkel dergelijk examen bestaat? Je kunt niet zomaar gokken, en je kunt het je niet veroorloven om nu meteen een enorm examen van nul af te bouwen.

Dit artikel introduceert een nieuwe manier om deze robots te vergelijken zonder een vooraf gemaakt examen. Ze noemen dit "Benchmarkless Comparative Safety Scoring" (Benchmarkloze Vergelijkende Veiligheidsscore).

Hier is de eenvoudige uitleg van hoe het werkt, met behulp van analogieën:

1. Het Probleem: Het Dilemma "Geen Examen"

Veiligheidstesten zijn meestal als een meerkeuzetoets met een antwoordblad. Maar in veel realistische situaties (zoals een specifieke overheidsafdeling in Noorwegen) bestaat er geen antwoordblad.

De oude manier: Wachten tot iemand een perfect examen bouwt (wat jaren en geld kost).
De nieuwe manier: Nu direct een "mock trial" (nabootsing van een proces) opzetten om te zien welke robot zich relatief tot de ander beter gedraagt, zelfs als we de absolute "perfecte" score niet kennen.

2. De Oplossing: De "Mock Trial" (SimpleAudit)

De auteurs hebben een tool gebouwd die SimpleAudit heet. Denk hierbij aan een gecontroleerd toneelstuk in een rechtbank.

Het Script (Scenario Pack): In plaats van willekeurige vragen gebruiken ze een vast aantal specifieke situaties (bijvoorbeeld: "Een burger vraagt om medisch advies", "Iemand vraagt om juridische hulp"). Dit is het script voor het proces.
De Acteur (Target Model): Dit is de robot die wordt getest (Robot A of Robot B).
De Openbaar Ministerie (Auditor): Dit is een tweede AI die ontworpen is om gaten te slaan in de antwoorden van de Acteur. Het stelt lastige vervolgvragen om te zien of de Acteur struikelt.
De Rechter (Judge): Een derde AI luistert naar het hele gesprek en geeft een score op basis van een strikt reglement (rubric).

De Belangrijkste Regel: Je voert dit niet slechts één keer uit. Je draait hetzelfde script 10 keer met dezelfde instellingen om ervoor te zorgen dat het resultaat niet puur geluk is.

3. De "Veiligheidscontrole" (De Validatieketen)

Omdat er geen antwoordblad is, hoe weet je dan dat de test eigenlijk werkt? De auteurs gebruiken een drie-staps "realiteitscheck" om te bewijzen dat hun tool geldig is:

Stap 1: De "Sabotage"-test (Responsiviteit)
Stel je voor dat ze Robot A in het geheim hun veiligheidsfilters laten "breken" (een "geablitereerde" versie maken die waarschijnlijker slechte dingen zegt).
- De Test: Merkt de tool het verschil op?
- Het Resultaat: Ja. De tool gaf de "gebroken" robot succesvol een veel slechtere score dan de veilige robot. Dit bewijst dat de tool gevoelig genoeg is om veiligheidsproblemen op te sporen.
Stap 2: De "Schuldspel"-test (Doel-Dominantie)
In een rechtbank is de Rechter soms bevooroordeeld, of is de Openbaar Ministerie te zwak. De auteurs wilden zeker weten dat de score echt ging over het gedrag van de Robot, en niet over de eigenaardigheden van de AI-Rechter of Openbaar Ministerie.
- De Test: Ze voerden het proces uit met verschillende Rechters en Openbare Ministeries.
- Het Resultaat: De belangrijkste reden waarom de scores veranderden, was welke Robot er werd getest, en niet welke Rechter ze beoordeelde. Dit bewijst dat de tool de robot meet, en niet de tool zelf.
Stap 3: De "Herhaling"-test (Stabiliteit)
Als je het proces 10 keer uitvoert, krijg je dan hetzelfde resultaat?
- Het Resultaat: Ja. Na ongeveer 10 runs stabiliseerden de scores en stopten ze met schommelen naar een stabiel getal.

4. De Realiteitstest: De Noorse Aanbesteding

De auteurs testten dit op een echt Noors overheidsproject waarbij twee modellen werden vergeleken: Borealis en Gemma.

De Bevinding: Ze zeiden niet zomaar "Robot A is beter". Ze zeiden: "Robot A is veiliger voor gezondheidszorg-vragen, maar Robot B is veiliger voor taal-vragen."
De Les: Je kunt niet zomaar één enkele "winnaar" kiezen. Je moet kijken naar de specifieke risico's. De tool gaf hen een bundel data (scores, kritieke faalpercentages en onzekerheid) zodat ze een onderbouwde beslissing konden nemen.

5. Het "Contract" (Wat je wel en niet kunt beweren)

Het artikel is zeer voorzichtig over wat deze tool belooft.

Het BELOFT: "Als je dit exacte script gebruikt, met deze exacte regels, is Robot A veiliger dan Robot B."
Het BELOFT NIET: "Deze robot is 100% veilig voor de hele wereld" of "Deze robot zal nooit een fout maken."
De Metafoor: Denk hierbij aan een crashtest voor auto's. Als je een auto tegen een muur laat knallen met 50 km/u, kun je zeggen: "Deze auto heeft die specifieke crash beter aangepakt dan die andere." Je kunt niet zeggen: "Deze auto is veilig voor elke mogelijke rijomstandigheid in het universum."

Samenvatting

Dit artikel zegt: Wanneer je geen standaardtest hebt, kun je veiligheid nog steeds vergelijken als je een strikte, herhaalbare "mock trial" bouwt en bewijst dat de trial daadwerkelijk reageert op veiligheidsveranderingen.

Ze hebben een tool gebouwd (SimpleAudit) die dit doet, bewezen dat het werkt door modellen te "breken" om te zien of de tool het oppikt, en getoond dat het overheden helpt om slimmere, genuanceerdere beslissingen te nemen over welke AI ze moeten gebruiken, in plaats van zomaar een willekeurige winnaar te kiezen.

Technische Samenvatting: Validering van Vergelijkende LLM-veiligheidsscores Zonder Ground-Truth Labels

1. Probleemformulering

Het artikel adresseert een kritieke kloof in de implementatie van Large Language Models (LLM's): de noodzaak om kandidaat-modellen te vergelijken op veiligheid in specifieke talen, sectoren of regelgevingskaders waar geen ground-truth geannoteerde veiligheidsbenchmark bestaat.

In veel implementatiescenario's (bijvoorbeeld een Noorse overheidsinstantie die een lokaal model pilot) moeten teams beslissen welk model veiliger is onder specifieke beperkingen, zonder toegang tot gelabelde datasets. Bestaande paradigma's slagen er niet volledig in dit aan te pakken:

Statische Benchmarks: Vereisen ground-truth labels, zijn vaak Engels-gecentreerd en bevriezen de evaluatie op het moment van release.
Ontdekkingsgerichte Audit: (bijvoorbeeld geautomatiseerde red-teaming) genereert transcripten en hypothesen, maar mist een toegewijd, herhaalbaar scoremechanisme met onzekerheidskwantificatie dat geschikt is voor aanbesteding.
LLM als Rechter: Hoewel paarwijze vergelijkingen betrouwbaarder zijn dan absolute scores, erven ze biases en instabiliteit over. Zonder een validatieketen kunnen scores niet worden verdedigd als bewijs van veiligheidsverschillen in plaats van artefacten van het auditapparaat.

De auteurs definiëren deze ruimte als benchmarkloze vergelijkende veiligheidsscore. De kernuitdaging is om verdedigbaar vergelijkend bewijs (scores, delta's, kritieke rates) te produceren zonder ground-truth labels, waarbij wordt gegarandeerd dat het instrument reageert op doelgedrag in plaats van ruis of artefacten van de auditor/rechter.

2. Methodologie: De Instrumentele-Validiteitsketen

Om een score-instrument te valideren bij afwezigheid van ground truth, stellen de auteurs een instrumentele-validiteitsketen voor. Deze keten vervangt ground-truth overeenstemming met drie specifieke vereisten:

Responsiviteit: Het instrument moet onderscheid kunnen maken tussen een bekende veiligheidsrelevante contrast. De auteurs gebruiken een safe-vs-abliterated contrast (het vergelijken van een veiligheids-gealigneerd model met een capabiliteits-gelijkwaardige variant waarbij het weigeringsgedrag is geablateerd via de weigeringsrichting).
Doelgevoeligheid (Variantiedominantie): De variantie in scores moet primair worden gedreven door het doelmodel, en niet door artefacten van de auditor (prober) of rechter (grader). Dit wordt gekwantificeerd via variantiedecompositie ( $\eta^2$ ).
Reproduceerbaarheid: Scores moeten stabiliseren over meerdere heruitvoeringen ( $n$ ) om ervoor te zorgen dat delta's tussen doelen niet worden verduisterd door stochastische ruis.

De SimpleAudit-implementatie

De auteurs concretiseren deze keten in SimpleAudit, een lokaal-georiënteerde Python-bibliotheek en meetinstrument.

Architectuur: Het scheidt drie onafhankelijke rollen: Doel (T), Auditor (A) en Rechter (J).
Werkflow: Een scenario-pack initialiseert een conversatie; de Auditor genereert probes; het Doel reageert; de Rechter beoordeelt het transcript met een gestructureerd oordeel (ernst 0–4).
Scoren: Ernstlabels worden gemapt naar een schaal van 0–100. Het instrument rapporteert geaggregeerde scores, gematchte delta's ( $\Delta$ ), kritieke rates (frequentie van ernstige falen) en onzekerheidsintervallen.
Ontwerptoezeggingen: Lokale uitvoering (geen externe API-afhankelijkheid voor gevoelige data), rolmodulariteit, expliciete configuratie en versie-beheerde scenario-packs.

3. Belangrijkste Bijdragen

Het artikel levert zes primaire bijdragen:

Categorie-definitie: Identificeert "benchmarkloze vergelijkende veiligheidsscore" als een distincte evaluatiecategorie met een eigen claimcontract.
Validatiekader: Specificeert de instrumentele-validiteitsketen (responsiviteit, doelgevoeligheid, reproduceerbaarheid) die vereist is om dergelijke instrumenten te valideren.
Referentie-implementatie: Introduceert SimpleAudit, een tool die vaste scenario's, rubrieken en rollen verpakt in een herhaalbaar instrument.
Empirische Validatie: Valideert SimpleAudit op een Noorse veiligheids-pack, en demonstreert dat het aan alle drie de keteneisen voldoet.
Generalisatiecheck: Past dezelfde validatieketen toe op Petri (een ontdekkingsgerichte audittool), en toont aan dat de keten Petri eveneens toelaat, mits specifieke dimensies worden geselecteerd.
Implementatiebewijs: Demonstreert de toepassing van dit kader in een Noorse overheidsaanbestedingszaak waarbij Borealis en Gemma 3 worden vergeleken.

4. Belangrijkste Resultaten

Validatie van SimpleAudit

Responsiviteit: SimpleAudit scheidt succesvol veilige en geabliteerde doelen. Over betrouwbare rechter-auditor-combinaties variëren de AUROC-waarden van 0,89 tot 1,00.
Doelgevoeligheid: Variantiedecompositie toont aan dat het doelmodel de dominante factor is ( $\eta^2 \approx 0,52$ ), terwijl bijdragen van auditor en rechter substantieel maar secundair zijn. Dit bevestigt dat scores doelgedrag weerspiegelen in plaats van artefacten van het apparaat.
Reproduceerbaarheid: Scores stabiliseren snel. Bij 10 heruitvoeringen daalt de gemiddelde absolute afwijking van de referentiescore tot ongeveer 1 punt op een schaal van 0–100, ruim onder de delta's die aanbestedingsbeslissingen sturen.
Configuratie-inzichten:
- Auditor-selectie: De auditor is het meest kritieke ontwerppunt. Een auditor die te sterk is (bijvoorbeeld frontier-modellen) comprimeert veilige-doelscores, waardoor de vergelijkende delta's die het instrument moet rapporteren, worden gewist. De auditor moet het capabiliteitsbereik van het doel matchen.
- Rechter-selectie: Hoewel absolute scores variëren per rechter, blijven paarwijze delta's stabiel. Rechters met een kritieke-miss-rate van ongeveer 10% (relatief aan een frontier-referentie) zijn levensvatbaar voor governance.
- Kostenefficiëntie: Het gelijkstellen van de rechtercapaciteit aan de auditor ( $J=A$ ) is de aanbevolen standaard, wat tokens bespaart zonder het vergelijkende signaal te offeren.

Vergelijking met Petri

De validatieketen laat ook Petri toe. Specifiek slaagt de "bezorgdheid"-dimensie in Petri aan alle drie de eisen (AUROC $\ge$ 0,99, doel-dominantie, stabiliteit).
De tools verschillen echter in hun upstream claimcontracten. SimpleAudit dwingt een enkel, toegewijd scenario-pack en aggregeringsregel af, waardoor het operationeel geschikt is voor aanbesteding. Petri biedt flexibiliteit voor ontdekking, maar vereist dat de gebruiker zich toewijdt aan constructen en aggregeringsregels om vergelijkbare scores te genereren.

Noorse Aanbestedingscasestudie

Het vergelijken van Borealis en Gemma 3 over maten heen (1B–27B) toonde aan dat "veiliger" geen monolithische eigenschap is.
Borealis toonde over het algemeen hogere scores en lagere kritieke rates, maar het voordeel was categorie-afhankelijk (bijvoorbeeld sterk in Gezondheidszorg en Overheid, zwakker in Taal).
Schalen: Veiligheidsverbeteringen plateauerden bij 12B voor sommige categorieën, wat in strijd is met een simpele "groter is veiliger"-regel.
Conclusie: Het bewijs ondersteunt een genuanceerd beeld: het veiligere model hangt af van de scenariocategorie en de specifieke risicomaatstaf (gemiddelde score versus kritieke rate).

5. Betekenis en Claims

Het artikel claimt dat benchmarkloze vergelijkende veiligheidsscore een distincte evaluatiecategorie is, geen gedegenereerde vorm van benchmarking. De betekenis ligt in:

Operationalisering van Veiligheid voor Gereguleerde Domeinen: Het biedt een methode voor teams in gereguleerde omgevingen (bijvoorbeeld overheidssector, niet-Engelse talen) om verdedigbaar vergelijkend bewijs te genereren zonder te wachten op gelabelde benchmarks.
Verschuiving van Ranking naar Bewijs: De auteurs pleiten tegen het samenvoegen van resultaten tot één leaderboard. In plaats daarvan bestaat geldig implementatiebewijs uit een bundel: scores, gematchte delta's, kritieke rates, onzekerheidsintervallen en gevoeligheidschecks, allemaal gekoppeld aan een specifieke instrumentconfiguratie.
Falsifieerbaarheid: Door het "claimcontract" expliciet te stellen (vast instrument, scenario-pack, rollen) wordt de evaluatie falsifieerbaar. Andere groepen kunnen hetzelfde instrument heruitvoeren of componenten vervangen om de resultaten uit te dagen.
Lokaal-georiënteerde Governance: Het ontwerp zorgt ervoor dat prompts, transcripten en beleidslijnen de implementatieomgeving niet hoeven te verlaten, wat kwesties van data-soevereiniteit en privacy in gereguleerde sectoren aanpakt.

De auteurs zijn bescheiden over hun claims: het doorlopen van de instrumentele-validiteitsketen is noodzakelijk maar niet voldoende voor implementatie. Het bewijst dat het instrument werkt als meetinstrument, maar domeinexperts moeten nog steeds oordelen of het scenario-pack het daadwerkelijke implementatieconstruct vangt. De bijdrage is de categorie en de validatieketen, waarbij SimpleAudit dient als een tijdelijke implementatie voor de aanbestedingsnische.