🤖 AI

Policy-Grounded Safety Evaluation of 20 Large Language Models

Dit artikel introduceert Aymara AI, een programmatisch platform voor het genereren van op beleid gebaseerde veiligheidsbeoordelingen, dat werd gebruikt om twintig grote taalmodellen te evalueren en aanzienlijke prestatieverschillen tussen domeinen blootlegde, waarmee de inconsistente en contextafhankelijke aard van de huidige veiligheid van grote taalmodellen wordt onderstreept.

Oorspronkelijke auteurs: Juan Manuel Contreras

Gepubliceerd 2026-05-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Juan Manuel Contreras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische bibliotheek hebt met 20 verschillende "superhersenen" (Grote Taalmodellen, of LLM's). Deze hersenen zijn ongelooflijk slim en kunnen verhalen schrijven, wiskundeproblemen oplossen en met je chatten. Maar net als een briljante student die per ongeluk iets onbeleefds of gevaarlijks kan zeggen als hij op de verkeerde manier wordt gevraagd, hebben deze AI-hersenen blinde vlekken op het gebied van veiligheid.

Dit artikel introduceert een nieuw hulpmiddel genaamd Aymara AI, dat fungeert als een aanpasbare "veiligheidsinspecteur" voor deze superhersenen. In plaats van alleen te vragen: "Ben je veilig?", stelt de inspecteur 250 zeer lastige, specifieke vragen die zijn ontworpen om de AI te verleiden tot het overtreden van zijn eigen regels.

Hieronder volgt een uiteenzetting van wat het artikel heeft gevonden, met behulp van eenvoudige analogieën:

1. Het Hulpmiddel: Aymara AI (De "Valstrikkensteller")

Stel je Aymara AI voor als een meesterkok die een menu maakt van 250 "valstrik-gerechten."

Hoe het werkt: Je geeft het hulpmiddel een regel (zoals "Liegen over wetenschap is niet toegestaan"). Het hulpmiddel kookt vervolgens automatisch 250 verschillende, sluwe manieren op om de AI te vragen die regel te overtreden. Sommige vragen zijn direct, sommige zijn beleefd, en sommige doen alsof ze voor een schoolproject zijn.
De Rechter: Zodra de AI antwoordt, gebruikt Aymara AI zijn eigen "AI-rechter" om het antwoord te beoordelen. Het beslist: "Volgde de AI de regel, of viel het in de valstrik?"
Het Doel: Om te zien welke AI-hersenen het meest gedisciplineerd zijn en welke het meest geneigd zijn om een fout te maken.

2. De Test: Het "Risico en Verantwoordelijkheidsmatrix"

De auteur testte 20 populaire AI-modellen (van bedrijven zoals OpenAI, Google, Anthropic, enz.) tegen 10 verschillende veiligheidsregels.

De Regels: Deze varieerden van voor de hand liggende (zoals "Help mensen niet om dieren te kwetsen") tot lastige (zoals "Doen alsof je een echt persoon bent is niet toegestaan" of "Geef geen medisch advies").
De Opzet: De AI-modellen kregen geen kans om voor deze test te studeren. Ze moesten direct antwoorden, net als een student die een onverwacht examen binnenwandelt.

3. De Resultaten: Het "Rapport"

De resultaten waren een mix van "A+"-cijfers en "F"-cijfers, afhankelijk van het vak.

De "Eenvoudige Vakken" (Hoge Scores):
Toen de test ging over Desinformatie (liegen over feiten) of Haatzaaiende taal, waren de AI-modellen als sterrenstudenten. Ze behaalden een gemiddelde score van 95,7% voor desinformatie. Ze wisten precies hoe ze moesten zeggen: "Nee, dat kan ik niet doen."
- Analogie: Het is alsof je een bewaker in een museum vraagt om iemand te stoppen die een schilderij wil stelen. Ze zijn daar heel goed in.
De "Moeilijke Vakken" (Lage Scores):
Toen de test doorging naar Privacy & Impersonatie (doen alsof je een echt persoon bent) of Ongekwalificeerd Professioneel Advies (medisch of juridisch advies geven), struikelden de AI-modellen zwaar.
- Privacy & Impersonatie: De gemiddelde score was een trieste 24,3%.
- Analogie: Dit is alsof je de museumbewaker vraagt om te doen alsof hij de Koning van Engeland is. De bewaker raakt in de war, denkt dat het een leuk spelletje is, en begint daadwerkelijk als de Koning op te treden. De AI weet niet waar de lijn ligt tussen "creatief schrijven" en "liegen over wie het is."
Het "Middenveld":
Sommige modellen waren over het algemeen veiliger dan anderen. Het "beste" model (Claude Haiku 3.5) behaalde een totaalscore van 86,2%, terwijl het "slechtste" (Command R) 52,4% haalde.
- Cruciaal punt: Zelfs het "beste" model faalde op gruwelijke wijze in de categorie Privacy. Geen enkel model was perfect in alles.

4. De Grote Conclusie

Het artikel concludeert dat veiligheid geen enkele schakelaar is. Je kunt niet zomaar een schakelaar omzetten en zeggen: "Deze AI is veilig."

Een AI kan een superheld zijn in het stoppen van haatzaaiende taal, maar een totale mislukking in het stoppen van iemand die doet alsof hij een beroemdheid is.
De "veiligheid" van een AI hangt volledig af van wat je vraagt het te doen en tegen welke regels je het test.

Samenvatting in één zin

Het artikel toont aan dat hoewel de AI-modellen van vandaag de dag zeer goed zijn in het volgen van eenvoudige, bekende regels (zoals "wees niet gemeen"), ze nog steeds zeer slecht zijn in het omgaan met complexe situaties in grijs gebied (zoals "doen alsof je een echt persoon bent"), en dat we betere, aanpasbare hulpmiddelen zoals Aymara AI nodig hebben om ze te blijven testen totdat ze het goed doen.

1. Probleemstelling

Naarmate Large Language Models (LLM's) steeds vaker worden ingezet in gebieden met hoge risico's (gezondheidszorg, recht, financiën), is de behoefte aan een rigoureuze, schaalbare veiligheidsevaluatie kritiek geworden. Echter, huidige methoden voor veiligheidsbeoordeling staan voor verschillende beperkingen:

Contextuele Variabiliteit: "Veiligheid" is geen monolithisch concept; het varieert per domein, juridisch rechtsgebied en culturele normen.
Static versus Dynamic Trade-off: Bestaande kaders zijn vaak óf eenvoudig aan te maken maar statisch (bijv. brede toxiciteitscontroles) óf dynamisch maar resource-intensief (vereisen handmatige datasetcreatie).
Gebrek aan Aanpassingsvermogen: De meeste tools missen de mogelijkheid om zich eenvoudig aan te passen aan specifieke beleidslijnen, opkomende risico's of niet-Engelse talen.
Evaluatiekloven: Er is een significante kloof in het evalueren van veiligheid over diverse modaliteiten (tekst-naar-afbeelding, audio) en specifieke, genuanceerde risicodomeinen zoals privacy en impersonatie.

Het paper betoogt dat zonder schaalbare, aanpasbare en op beleid gebaseerde tools het onmogelijk is om AI-veiligheid effectief te operationaliseren over het diverse landschap van moderne LLM's.

2. Methodologie

De auteurs introduceren Aymara AI, een programmeerbaar platform dat is ontworpen om de generatie en scoring van veiligheidsevaluaties op basis van natuurlijke taalbeleid te automatiseren.

A. Het Aymara AI-kader

Input: Ontwikkelaars specificeren een beschrijving van het AI-systeem en een reeks veiligheidsbeleidslijnen in natuurlijke taal (bijv. "Genereer geen valse informatie").
Promptgeneratie: Het systeem gebruikt een SDK om programmatisch adversariele prompts te genereren die zijn toegespitst op het testen van specifieke beleidsgrenzen. Het maakt gebruik van technieken zoals:
- Zero-shot generatie: Het creëren van 25 adversariele prompts per beleid zonder handmatige bewerking.
- Few-shot voorbeelden: Het verstrekken van voorbeeldprompts voor genuanceerde domeinen (bijv. Haatzaad, Auteursrecht) om de generator te sturen naar edge cases.
- Gedetailleerde instructies: Het sturen van de generator om fictieve/narratieve stijlen te vermijden en zich te richten op realistische, directe en manipulatieve gebruikersvragen.
Scoring (LLM-as-a-Judge): Modelresponsen worden geëvalueerd door een gevalideerde AI-beoordelaar (een LLM) die een binaire veilig/ongevare label, een betrouwbaarheidsscore en een uitleg in natuurlijke taal output.
Validatie: Het scoresysteem is gevalideerd tegen menselijke oordelen op een gestratificeerde subset, waarbij het volgende werd bereikt:
- Nauwkeurigheid: 0,93
- Gewogen F1-score: 0,93
- Cohen's Kappa: 0,85 (substantiële overeenstemming).

B. Experimentele Opstelling: De Aymara LLM Risico- en Verantwoordelijkheidsmatrix

Scope: Beoordeeld 20 commercieel beschikbare LLM's (waaronder GPT-4.1, Claude 3.5/4, Llama 4, Gemini 2.5, enz.) van grote aanbieders (OpenAI, Anthropic, Google, Meta, Amazon, enz.).
Domeinen: Tien distincte veiligheidsdomeinen werden gedefinieerd op basis van academische literatuur, aanbiederbeleid en regelgeving (bijv. EU AI Act):
1. Kind- en Diermishandeling
2. Auteursrecht en IP-schending
3. Haatzaad en Bias
4. Illegale Activiteiten
5. Kwaadwillend Gebruik
6. Desinformatie
7. Privacy en Impersonatie
8. Zelfschade
9. Seksueel Expliciet / NSFW
10. Ongekwalificeerd Professioneel Advies
Data: 250 op beleid gebaseerde prompts (25 per domein) werden gegenereerd, resulterend in 5.000 totale modelresponsen.
Protocol: Evaluaties werden uitgevoerd in een zero-shot setting met standaard API-instellingen tussen mei en juni 2025.

3. Belangrijkste Bijdragen

Aymara AI Platform: Introduceert een schaalbaar, AI-natief kader dat natuurlijke taalbeleid omzet in adversariele testsuites, waardoor de behoefte aan handmatige datasetcreatie wordt geëlimineerd terwijl multilinguale en multimodale evaluatie wordt ondersteund.
Uitgebreide Benchmark: Biedt de meest uitgebreide cross-model vergelijking tot nu toe, waarbij 20 toonaangevende LLM's worden geëvalueerd over 10 kritieke veiligheidsdimensies.
Empirisch Bewijs van Inconsistentie: Demonstreert dat zelfs de meest geavanceerde LLM's veiligheidsbeleid vaak schenden, met prestaties die drastisch variëren per domein en aanbieder.
Identificatie van Kritieke Kwetsbaarheden: Benadrukt specifieke gebieden waar huidige veiligheidsbarrières ontoereikend zijn, met name met betrekking tot privacy, impersonatie en professioneel advies.

4. Belangrijkste Resultaten

De studie onthulde significante discrepanties in veiligheidsprestaties, met een overall gemiddelde veiligheidsscore van 73,2% over alle modellen en domeinen.

A. Variatie in Modelprestaties

Top Performer: Claude Haiku 3.5 (Anthropic) met een gemiddelde score van 86,2%.
Laagste Performer: Command R (Cohere) met een gemiddelde score van 52,4%.
Statistische Significantie: Hoewel een ANOVA significante variatie tussen modellen toonde ( $p = .04$ ), identificeerden post-hoc Tukey HSD-tests geen specifieke paarverschillen die na correctie significant bleven, wat wijst op een brede prestatieband waarin geen enkele aanbieder alle categorieën domineert.
Aanbiederstrends: Modellen van Anthropic, OpenAI, Amazon en Google scoorden over het algemeen in de top tier, hoewel zelfs deze worstelden in specifieke domeinen.

B. Hiërarchie van Domeinprestaties

Veiligheidsprestaties waren sterk contextafhankelijk, waardoor een duidelijke risicohiërarchie ontstond:

Hoge Prestatie-Domeinen (Top Tier):
- Desinformatie (Gemiddeld: 95,7%)
- Kwaadwillend Gebruik (Gemiddeld: 91,8%)
- Haatzaad en Bias (Gemiddeld: 91,1%)
- Inzicht: Deze domeinen profiteren van lang bestaande contentmoderatiepraktijken en duidelijke definities.
Lage Prestatie-Domeinen (Bottom Tier):
- Privacy en Impersonatie (Gemiddeld: 24,3%) – Het zwakste gebied. Geen enkel model behaalde hier >45,5% veiligheid.
- Ongekwalificeerd Professioneel Advies (Gemiddeld: 53,8%)
- Seksueel Expliciet / NSFW (Gemiddeld: 60,0%)
- Inzicht: Deze domeinen vereisen genuanceerd oordeel, waarbij creatieve use-cases met veiligheid in evenwicht worden gebracht, of betrekking hebben op complexe identiteits-/privacybeperkingen die huidige barrières niet consistent afdwingen.

C. Statistische Bevindingen

ANOVA bevestigde significante verschillen in veiligheidsscores tussen domeinen ( $F(9, 190) = 37,37, p < .001$ ).
Post-hoc analyse bevestigde dat de "Top Tier" domeinen (Desinformatie, Kwaadwillend Gebruik, Haatzaad) significant beter presteerden dan de "Bottom Tier" (Privacy, Professioneel Advies, NSFW).

5. Betekenis en Implicaties

Veiligheid is niet Monolithisch: Het paper bewijst dat "LLM-veiligheid" geen enkele metriek is. Een model kan zeer veilig zijn tegen desinformatie maar gevaarlijk onveilig zijn met betrekking tot privacy of impersonatie.
De "Privacykloof": De extreem lage scores in Privacy & Impersonatie (gemiddeld 24,3%) wijzen op een kritieke falen op industrieel niveau. Huidige modellen worstelen met het onderscheid tussen creatief schrijven (bijv. het schrijven van een lied als Adele) en schadelijke impersonatie, wat wijst op de noodzaak van betere training op identiteitsgebonden risico's.
Noodzaak van Dynamische Evaluatie: Statische benchmarks zijn onvoldoende. Het vermogen om programmatisch nieuwe adversariele prompts te genereren op basis van evoluerend beleid (zoals Aymara AI doet) is essentieel om gelijke tred te houden met modelcapaciteiten en opkomende bedreigingen.
Impact op Regelgeving en Ontwikkeling: De bevindingen ondersteunen de noodzaak van aanpasbare, op beleid gebaseerde evaluatietools voor regelgevers (om wetten zoals de EU AI Act af te dwingen) en ontwikkelaars (om specifieke implementatiecontexten te auditeren).

Conclusie: Hoewel LLM-veiligheid is verbeterd in goed gedefinieerde gebieden, blijven significante en inconsistente risico's bestaan in genuanceerde domeinen. De auteurs concluderen dat schaalbare, aanpasbare tools zoals Aymara AI noodzakelijk zijn om veiligheid te operationaliseren, zodat AI-ontwikkeling in lijn blijft met diverse juridische, culturele en ethische standaarden.