🤖 machine learning

Understanding Annotator Safety Policy with Interpretability

Dit artikel introduceert Annotator Policy Models (APM's), een interpreteerbaar kader dat de interne veiligheidsbeleid van annotatoren direct afleidt uit hun labelgedrag om operationele fouten, beleidsambiguïteit en waardepluralisme te onderscheiden, waardoor een gerichter en inclusiever veiligheidsbeleid ontworpen kan worden zonder extra last van annotatie.

Oorspronkelijke auteurs: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alex Oesterling, Donghao Ren, Yannick Assogba, Dominik Moritz, Sunnie S. Y. Kim, Leon Gatys, Fred Hohman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de chef-kok bent van een enorm restaurant (een AI-systeem). Je doel is om eten te serveren dat veilig is voor iedereen om te consumeren. Om dit te bereiken, stel je een team van 100 verschillende foodcritici (annotatoren) aan om je gerechten te proeven en te beslissen: "Is dit veilig om te serveren?" of "Is dit giftig?"

Het probleem? De critici zijn het oneens. Soms zegt één criticus dat een pittig gerecht "veilig" is, terwijl een ander zegt dat het "giftig" is. Soms zijn ze het oneens omdat ze de menukaart niet goed hebben gelezen. Soms zijn ze het oneens omdat de menu-instructies vaag waren. En soms zijn ze het oneens omdat ze oprecht verschillende culturele smaken hebben.

Meestal neemt de restaurantmanager gewoon een stemming. Als 51% zegt "veilig", gaat het gerecht de deur uit. Maar dit is gevaarlijk. Het verbergt het feit dat 49% van je critici denkt dat het gif is, en het vertelt je niet waarom ze het oneens waren.

Dit artikel introduceert een nieuw hulpmiddel genaamd Annotator Policy Models (APM's). Denk aan APM's als "Gedachteleesbrillen" die je toelaten precies te zien hoe elke criticus beslist wat veilig is, gewoon door te kijken naar hun eerdere aantekeningen, zonder ooit te hoeven vragen om zichzelf uit te leggen.

Hier is hoe het artikel dit uiteenzet:

1. Het Probleem: De "Black Box" van Meningsverschillen

Wanneer critici (menselijk of AI) data labelen, zijn ze vaak het oneens.

Operationele Fouten: De criticus begreep de taak niet. (Bijvoorbeeld: Ze moesten de saus van de chef proeven, maar proefden in plaats daarvan de pittige salsa van de klant).
Policy Ambiguïteit: Het reglement was verwarrend. (Bijvoorbeeld: De regel zegt "Geen beledigende taal", maar zegt niet of het citeren van een slecht woord voor een les als overtreding telt).
Waardenpluralisme: De critici hebben gewoon verschillende waarden. (Bijvoorbeeld: Eén criticus vindt een grap grappig; een ander vindt het kwetsend).

Meestal tellen we gewoon de stemmen. Maar als we niet weten waarom ze zo hebben gestemd, kunnen we het menu of de regels niet verbeteren.

2. De Oplossing: De "Gedachteleesbrillen" (APM's)

In plaats van de critici te vragen: "Waarom heb je zo gestemd?" (wat traag, duur is en waarbij mensen vaak liegen of vergeten), hebben de auteurs een computermodel gebouwd dat het interne reglement van de criticus leert door simpelweg te kijken naar waarover ze stemmen.

Hoe het werkt: Het model bekijkt duizenden eerdere stemmen. Het vindt patronen. Bijvoorbeeld, het kan beseffen: "Ah, deze specifieke criticus stemt altijd op 'onveilig' wanneer het woord 'geweer' verschijnt, maar ze geven niets om het woord 'mes'."
De Magie: Het model vertaalt deze patronen naar eenvoudige, leesbare regels (zoals een flowchart). Het zegt niet alleen "Onveilig"; het zegt "Onveilig omdat: Geweer + Geen Context."
Geen Extra Werk: De critici hoeven niets nieuws te doen. Het model bestudeert gewoon hun bestaande werk.

3. Wat de Brillen Onthulden

De auteurs testten deze brillen op twee groepen: AI-critici (LLM's) en menselijke critici.

A. Fouten Opvangen (Operationele Fouten)
De brillen toonden aan dat sommige critici naar het verkeerde ding keken. Ze beoordeelden de onbeleefde vraag van de klant in plaats van het beleefde antwoord van de chef. Het model spoorde dit patroon direct op, waardoor de manager deze specifieke critici kon laten bijscholen.

B. Vage Regels Vinden (Policy Ambiguïteit)
De brillen toonden aan dat sommige critici door de regels in de war waren. Bijvoorbeeld, toen een chef probeerde van onderwerp te veranderen om een onbeleefde vraag te vermijden, markeerden sommige critici dit als "onveilig" omdat ze een direct afwijzend antwoord wilden. Het model benadrukte deze verwarring en vertelde de managers: "Hé, ons reglement moet duidelijker zijn over wat een 'goed' afwijzend antwoord telt."

C. Verschillende Stemmen Horen (Waardenpluralisme)
Dit was het meest interessante deel. De brillen ontdekten dat critici uit verschillende achtergronden (zoals verschillende leeftijden of opleidingsniveaus) verschillende "veiligheidsprioriteiten" hadden.

Voorbeeld: Eén groep critici vond dat een model beleefd van onderwerp veranderde veilig was. Een andere groep vond het gevaarlijk omdat het voelde alsof het model de waarheid verborg.
Het Inzicht: Als je gewoon een meerderheidsstemming neemt, zwijg je de minderheidsgroep. De APM's laten je zien dat deze verschillende groepen bestaan en waar ze om geven, zodat je een systeem kunt ontwerpen dat meer perspectieven respecteert, in plaats van alleen het luidste.

4. De "Wat-als" Test

Om zeker te zijn dat de brillen werkten, speelden de auteurs een truc. Ze namen een tekst die een criticus als "onveilig" had gemarkeerd, en gebruikten het model om precies uit te vinden wat het onveilig maakte. Vervolgens vroegen ze een AI om precies dat ene ding te veranderen (bijvoorbeeld: vervang een "bom" door een "taart").

Het Resultaat: Toen ze de nieuwe tekst aan de oorspronkelijke criticus lieten zien, veranderde de criticus hun stem naar "veilig".
Waarom dit belangrijk is: Dit bewees dat het model niet alleen maar gokte; het begreep daadwerkelijk de logica van de criticus. Het wist precies welk ingrediënt het label "giftig" veroorzaakte.

Samenvatting

Het artikel betoogt dat we niet gewoon stemmen moeten tellen om te beslissen wat AI veilig is. We moeten de individuele logica achter de stemmen begrijpen.

Door gebruik te maken van deze Annotator Policy Models kunnen we:

Trainingsfouten oplossen.
Verwarrende regels verduidelijken.
Zorgen dat diverse standpunten niet per ongeluk worden uitgewist door een simpele meerderheidsstemming.

Het is als het verplaatsen van een restaurant waar je gewoon een stemming houdt over het menu, naar een restaurant waar je precies kunt zien waarom elke enkele criticus een gerecht leuk of niet leuk vond, zodat je het eten voor iedereen kunt verbeteren.

Technische Samenvatting: Het Begrijpen van de Veiligheidsbeleid van Annotatoren met Interpretatie

Probleemstelling

Veiligheidsbeleid is fundamenteel voor het definiëren en mitigeren van schadelijke AI-uitvoer, maar de annotatieprocessen die worden gebruikt om deze systemen te trainen en evalueren, lijden onder alomvattende onenigheid. Deze onenigheid vloeit voort uit drie verschillende bronnen:

Operationele Falen: Annotatoren begrijpen de taak verkeerd of voeren deze verkeerd uit (bijvoorbeeld het labelen van de gebruikersprompt in plaats van de modelrespons).
Beleidsonduidelijkheid: Veiligheidsrichtlijnen bevatten formuleringen die meerdere geldige interpretaties toelaten (bijvoorbeeld of afleiding een veilige afwijzing vormt).
Waardenpluralisme: Annotatoren hebben op basis van demografie, cultuur en persoonlijke waarden oprecht verschillende perspectieven op veiligheid.

Huidige praktijken, zoals meerderheidsstemming, vermengen deze bronnen en slagen er vaak niet in om echte onduidelijkheid aan te pakken of minderheidsperspectieven te laten gelden. Bovendien is het direct vragen aan annotatoren om hun redenering uit te leggen kostbaar, vergroot het de annotatiebelasting en is het vaak onbetrouwbaar vanwege achteraf rationalisatie of het ontrouw zijn van chain-of-thought-resoneren in LLM's. Het artikel adresseert de uitdaging om deze bronnen van onenigheid te onderscheiden om gerichte reacties mogelijk te maken (bijvoorbeeld betere training, beleidsverfijning of inclusief ontwerp) zonder extra menselijke inspanning te vereisen.

Methodologie: Annotator Policy Models (APM's)

De auteurs introduceren Annotator Policy Models (APM's), interpreteerbare modellen die de interne veiligheidsbeleid van individuele annotatoren direct leren uit hun labelgedrag.

Kernarchitectuur

APM's maken gebruik van Concept Bottleneck Models (CBM's) om het voorspellingproces te ontleden in twee fasen:

Conceptcodering ( $g$ ): Invoertext wordt gemapt naar een binaire kenruimte van $c$ veiligheidsrelevante concepten. Om de kosten van menselijke conceptlabeling te vermijden, hanteren de auteurs een Label-Free CBM-benadering. Ze genereren een kandidaat-lijst met concepten uit veiligheidsdatasets (BeaverTails) met GPT-4o, clusteren en vatten deze samen, en gebruiken vervolgens embedding-modellen (Gemini) om de aanwezigheid van deze concepten in tekst te labelen via cosinusgelijkenis en de Sparsemax-operator. Cruciaal is dat de conceptruimte de feitelijke aanwezigheid vastlegt (bijvoorbeeld "vermelding van een wapen") in plaats van interpretatieve oordelen (bijvoorbeeld "schadelijke vermelding").
Beleidslernen ( $f$ ): Voor elke annotator $k$ $k$ wordt een eenvoudige, interpreteerbare functie getraind om de binaire conceptvector af te beelden op een veilig/onsafe-label. De auteurs stellen twee modelklassen voor:
- Niet-negatieve Logistische Regressie (NNLR): Gewichten worden beperkt tot niet-negatief, zodat het model standaard "veilig" voorspelt en alleen "onsafe" voorspelt wanneer positieve kenmerken voldoende bewijs verzamelen.
- Disjunctieve Normale Vorm (DNF): Booleaanse regels in de vorm van "OR's van AND's", waarbij het afvuren van een enkele regel een "onsafe"-voorspelling teweegbrengt. Dit sluit aan bij de intuïtie dat één beleidsovertreding tekst onveilig maakt.

Ontwerpprincipes

Alleen Positieve Kenmerken: Kenmerken vertegenwoordigen de aanwezigheid van concepten, niet hun afwezigheid, om schijnbare correlaties te vermijden (bijvoorbeeld "onsafe omdat het geen voedsel bevat").
Veilig Tot Bewezen Onveilig: Modellen voorspellen standaard veilig tenzij specifieke onveilige kenmerken aanwezig zijn.

Validatie en Resultaten

De auteurs valideren APM's met zowel LLM- als menselijke annotatiegegevens.

LLM-Validatie

Met datasets BeaverTails en WildGuardMix werden APM's getraind op vijf verschillende LLM-annotatoren (GPT-4o, GPT-4o-mini en diverse Qwen-modellen).

Voorspellende Nauwkeurigheid: APM's behaalden 73–90% nauwkeurigheid en 0,78–0,95 AUC (voor NNLR) over LLM-annotatoren heen, wat aantoont dat eenvoudige interpreteerbare modellen het gedrag van complexe foundation-modellen kunnen benaderen.
Generalisatie: Concepten die uit BeaverTails zijn gehaald, generaliseerden goed naar WildGuardMix met minimale prestatiedegradatie.
Gereguleerd Beleidsherstel: In synthetische experimenten waarbij "Alice" (behandelt wapens als veilig) en "Bob" (behandelt drugs als veilig) werden gesimuleerd, herstelden APM's deze bekende beleidsverschillen succesvol. Het "diffen" van de modellen (vergelijken van kenmerken) identificeerde automatisch de specifieke concepten die de divergentie aandreven.
Contrastfeitelijke Trouw: Wanneer invoer minimaal werd gewijzigd om kenmerken te verwijderen die door de APM als oorzaak van een "onsafe"-label waren geïdentificeerd, veranderde de voorspelling van de originele annotator in de meerderheid van de gevallen. Dit bevestigt dat APM's causaal relevante kenmerken vastleggen in plaats van louter correlaties.

Toepassingen voor Menselijke Annotatie (DICES-dataset)

Toegepast op de DICES-dataset (350 interacties beoordeeld door 123 menselijke annotatoren) brachten APM's drie belangrijke inzichten aan het licht:

Operationele Falen: Identificatie van annotatoren die systematisch de volledige interactie als onveilig labelden in plaats van alleen de modelrespons, wat wijst op een misverstand van de taak.
Beleidsonduidelijkheid: Blootlegging van onenigheid over randgevallen, zoals of "afleiding" of "vragen ter follow-up" over schadelijke onderwerpen veilige antwoorden vormen, wat benadrukt waar beleidsformuleringen onduidelijk zijn.
Waardenpluralisme: Door APM's te trainen op demografische groepen (bijvoorbeeld Millennial versus Gen X+, Hoger opgeleid versus Middelbaar opgeleid), vonden de auteurs systematische verschillen in veiligheidsprioriteiten. Millennial-annotatoren waren bijvoorbeeld eerder geneigd om "vriendelijke omleiding" van plat-aarde-argumenten als onveilig te markeren dan Gen X+-annotatoren.
- Unieke Regelbijdrage (URC): Het onderzoek bevestigde dat unieke regels die door groepspecifieke APM's worden geleerd, preferentieel worden geactiveerd op steekproeven waarbij die groep het niet eens was met anderen, wat bevestigt dat deze regels echte gedragsverschillen vastleggen.
- Onderdrukking door Meerderheidsstemming: De analyse toonde aan dat aggregatie via meerderheidsstemming de perspectieven van minderheidsgroepen verbergt. APM's identificeerden een aanzienlijk deel van de steekproeven die door specifieke demografische groepen als onveilig werden beschouwd, maar door de meerderheid als veilig, wat suggereert dat standaardaggregatie deze veiligheidszorgen uitwist.

Belangrijkste Bijdragen

Interpreteerbare Annotator Policy Models: De introductie van APM's om individuele annotator-veiligheidsbeleid expliciet te modelleren met ML-interpretatietechnieken zonder extra annotatie-inspanning te vereisen.
Uitgebreide Validatie: Aantonen dat APM's annotator-gedrag nauwkeurig modelleren (>80% nauwkeurigheid op LLM's), trouw voorspellingen doen voor reacties op contrasterende bewerkingen, en bekende beleidsverschillen herstellen in gecontroleerde omgevingen.
Aan het Licht Brengen van Bronnen van Onenigheid: Empirisch bewijs dat APM's operationele falen, beleidsonduidelijkheid en waardenpluralisme kunnen onderscheiden in menselijke annotatiepijplijnen.
Demografische Analyse: De onthulling van systematische verschillen in veiligheidsprioritering tussen demografische groepen en het aantonen hoe meerderheidsstemming deze diverse perspectieven onderdrukt.

Betekenis en Claims

Het artikel stelt dat APM's een mechanisme bieden om de redenering van annotatoren zichtbaar en vergelijkbaar te maken, en zo voorbij gaan aan ondoorzichtige aggregatiemethoden. Door de bronnen van onenigheid te ontwarren, kunnen ontwikkelaars adequaat reageren:

Operationele falen kunnen worden aangepakt door verbeterde training en kwaliteitscontrole.
Beleidsonduidelijkheid kan worden opgelost door gerichte beleidsverfijning en verduidelijking.
Waardenpluralisme kan worden aangepakt door deliberatie over hoe diverse perspectieven te integreren, mogelijk door unieke regels van ondervertegenwoordigde groepen aan het meerderheidsstemmodel te concateneren om inclusieve veiligheidsdekking te garanderen.

De auteurs benadrukken dat, hoewel de focus ligt op veiligheid, de methodologie generaliseerbaar is naar elke subjectieve annotatietaken. Zij wijzen op beperkingen, waaronder de afhankelijkheid van door LLM gegenereerde concepten en het feit dat APM's onthullen waarover annotatoren het oneens zijn, maar niet noodzakelijk het diepe sociologische waarom zonder verdere gebruikersstudies. Het werk positioneert APM's als een diagnostisch hulpmiddel om de transparantie, gerichtheid en inclusiviteit van AI-veiligheidsbeleidontwerp te verbeteren.