💬 NLP

PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm

Dit artikel introduceert PluriHarms, een nieuwe benchmark die is ontworpen om verder te gaan dan binaire veiligheidsbeoordelingen door systematisch het volledige spectrum van menselijke oordelen over AI-schade te analyseren, waarbij specifiek de nadruk wordt gelegd op de dimensies van schade Ernst en inter-annotator onenigheid om de ontwikkeling van meer pluralistische en gepersonaliseerde AI-veiligheidssystemen mogelijk te maken.

Oorspronkelijke auteurs: Jing-Jing Li, Joel Mire, Eve Fleisig, Valentina Pyatkin, Anne Collins, Maarten Sap, Sydney Levine

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jing-Jing Li, Joel Mire, Eve Fleisig, Valentina Pyatkin, Anne Collins, Maarten Sap, Sydney Levine

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren wat "goed" is. De meeste huidige veiligheidssystemen werken als een strenge verkeersagent met slechts twee signalen: Groen (Rijden, dit is veilig) en Rood (Stoppen, dit is gevaarlijk).

Het probleem, zoals dit artikel uitlegt, is dat het echte leven niet alleen uit groen en rood bestaat. Het zit vol met gele lichten, mistige kruispunten en verwarrende omleidingen waar mensen het echt oneens zijn. De één vindt een grap grappig; de ander vindt het kwetsend. De één ziet een politieke vraag als een debat; de ander ziet het als een bedreiging.

De auteurs van dit artikel, PLURIHARMS, betogen dat door alleen te zoeken naar duidelijk afgebakende "slechte" zaken, we het grijze gebied missen waar AI-veiligheid juist ontspoort. Ze hebben een nieuwe tool gebouwd om dit grijze gebied te bestuderen.

Hier is een uitsplitsing van hun werk met behulp van eenvoudige analogieën:

1. Het Probleem: Het "One-Size-Fits-All" Veiligheidsnet

Huidige AI-veiligheid is als een koekjesvorm. Het probeert elk stuk menselijke conversatie uit te snijden tot een perfecte cirkel (Veilig) of een grillige vierkant (Onveilig).

De Fout: Als je een groep mensen vraagt: "Is deze grap gemeen?", zul je niet één antwoord krijgen. Je krijgt een spectrum. Sommigen zullen lachen, anderen zullen er een beetje van huiveren, en weer anderen zullen beledigd zijn.
De Fout: Huidige AI behandelt deze verschillende meningen als "ruis" of fouten die gemiddeld moeten worden totdat iedereen het eens is over één enkele "veilige" oplossing. De auteurs zeggen dat dit fout is. De onenigheid is het signaal. Het vertelt ons dat mensen verschillende waarden, achtergronden en ervaringen hebben.

2. De Oplossing: De "Harm Spectrum" Benchmark

Het team heeft een nieuwe dataset gemaakt genaamd PLURIHARMS. Zie dit als een kleurencirkel in plaats van een stoplicht.

De Opzet: Ze hebben 150 verschillende vragen (prompts) gegenereerd die variëren van "volledig onschadelijk" (zoals vragen naar het weer) tot "duidelijk gevaarlijk" (zokals vragen naar hoe je kinderen mensenhandel drijft).
Het Middengebied: Cruciaal is dat ze zich zwaar hebben gericht op de middenkleuren—de gele en oranje prompts. Dit zijn de lastige vragen waarbij mensen het meest van mening verschillen (bijv. "Is het oké om een verhaal te schrijven over een controversieel historisch figuur?").
Het Menselijke Element: Ze hebben niet alleen de AI gevraagd om deze te beoordelen. Ze hebben 100 echte mensen gevraagd om elke prompt te beoordelen op een schaal van 0 tot 100.
De Data: Ze hebben deze mensen ook gevraagd naar hun leven: hun leeftijd, opleidingsniveau, politieke voorkeuren, hoe vaak ze sociale media gebruiken en in hoeverre ze te maken hebben gehad met online pesten.

3. Wat Ze Ontdekten: Waarom We Oneens Zijn

Toen ze de data analyseerden, ontdekten ze dat "schade" niet alleen gaat over de woorden in de vraag; het gaat erom wie de vraag stelt en wie het antwoord geeft.

De "Tastbare Gevaar" Regel: Mensen zijn het over het algemeen eens dat dingen die directe, fysieke schade veroorzaken (zoals een kind pijn doen of een misdaad begaan) slecht zijn. Dit is de "Rode" zone.
De "Identiteit" Factor: Waar mensen van mening verschillen, is in de "Gele" zone.
- Analogie: Stel je een vraag voor over een specifiek type muziek voor. Iemand die online is gepest, kan een vraag over die muziek beoordelen als "zeer schadelijk" omdat het hem of haar aan trauma herinnert. Iemand met een andere achtergrond kan dezelfde vraag als "onschadelijk" beoordelen.
- De Bevinding: Het paper laat zien dat je achtergrond (zoals je opleidingsniveau of hoe vaak je sociale media gebruikt) en je ervaringen uit het verleden (zoals het slachtoffer zijn van online toxiciteit) werken als zonnebrillen. Ze veranderen de kleur van de wereld die je ziet. Als je eerder gekwetst bent, zie je in dezelfde prompt meer gevaar dan iemand die dat niet is geweest.

4. De AI Testen: Kan een Robot Door Anderen Ogen Zien?

De auteurs hebben verschillende AI-veiligheidsmodellen getest op deze nieuwe "kleurencirkel"-dataset om te zien of ze de reactie van specifieke mensen konden voorspellen.

De Oude Manier (Consensus): Ze probeerden de AI te trainen om de gemiddelde menselijke mening te voorspellen.
- Resultaat: De AI was hier redelijk in, maar miste de nuance. Het was alsoig proberen te raden wat een hele menigte denkt door slechts één persoon te vragen.
De Nieuwe Manier (Personalisatie): Ze probeerden de AI te trainen om te voorspellen wat één specifiek persoon zou denken, gebaseerd op het profiel van die persoon.
- Resultaat: Dit werkte veel beter! Wanneer de AI werd "gepersonaliseerd" om de waarden en geschiedenis van een specifieke gebruiker te begrijpen, kon het hun veiligheidsbeoordelingen veel nauwkeuriger voorspellen.
- De Les: Een "one-size-fits-all" veiligheidsregel is zwak. Een veiligheidssysteem dat kan aanpassen aan wie het gebruikt, is veel sterker.

Samenvatting

PLURIHARMS is een nieuw instrument dat zegt: "Stop met proberen iedereen het eens te laten worden over wat veilig is."

In plaats daarvan behandelt het onenigheid als een kenmerk, niet als een fout. Het laat zien dat veiligheid een persoonlijke ervaring is. Net zoals je verschillende schoenen draagt voor wandelen dan voor dansen, mag AI-veiligheid geen enkel rigide regelboek zijn. Het moet flexibel genoeg zijn om te begrijpen dat een "schadelijke" vraag voor de één een "onschadelijke" vraag voor een ander kan zijn, en dat de beste AI-veiligheidssystemen de systemen zullen zijn die kunnen begrijpen en zich kunnen aanpassen aan die verschillende perspectieven.

Technische Samenvatting: PLURIHARMS – Het benchmarken van het volledige spectrum van menselijke oordelen over AI-schade

Probleemstelling

Huidige AI-veiligheidskaders behandelen schadelijkheid voornamelijk als een binaire classificatie (onschuldig versus schadelijk). Deze monolithische aanpak faalt bij het adresseren van de "ambigue middenweg" waar menselijke gemeenschappen en individuen uiteenlopende waarden en perspectieven koesteren. Door zich te concentreren op de duidelijke extremen, verhullen bestaande veiligheidsdatasets de grensgevallen waar systemen het meest waarschijnlijk zullen falen. Bov�woordt de huidige praktijk vaak de onenigheid tussen annotatoren in deze grensgevallen behandelen als statistische ruis die gemiddeld moet worden weggefilterd, in plaats van als een cruciaal signaal van legitieme, diverse standpunten. Deze binaire strategie vormt een barrière voor de ontwikkeling van pluralistische AI-systemen die in staat zijn om complexe, contextafhankelijke veiligheidsoverwegingen te navigeren.

Methodologie

De auteurs introduceren PLURIHARMS, een benchmark die ontworpen is om menselijke oordelen over schade systematisch te bestuderen langs twee dimensies: de schade-as (variërend van onschuldig tot schadelijk) en de overeenstemmings-as (variërend van consensus tot onenigheid).

1. Data Curatie Framework

De dataset werd geconstrueerd met behulp van een schaalbaar, meerfasig geautomatiseerd framework:

Prompt Generatie: Startend met 5.692 zaadprompts uit AIR-Bench 2024, gebruikten de auteurs DeepSeek-V3 om 11 varianten per zaad te genereren, verspreid over een ordinale schaal van schade van 0.0 (volledig onschuldig) tot 1.0 (ondubbelzinnig schadelijk). Dit resulteerde in 62.612 kandidaat-prompts.
Feature Extractie: Gespecialiseerde modellen werden ingezet om menselijk interpreteerbare kenmerken te extraheren:
- SafetyAnalyst genereerde "schadetests" (harm trees) die prompts ontleedden in 16 categorieën van schadelijke acties en 7 categorieën van schadelijke effecten.
- KALEIDO annoteerde prompts met 39 verschillende menselijke waarde-categorieën (bijv. rechten, plichten, vrijheden).
Strategische Curatie: Een genetisch algoritme selecteerde een definitieve set van 150 prompts. De selectiecriteria gaven prioriteit aan oversampling van intermediaire schade-niveaus (0.4–0.8) om de mate van onenigheid te maximaliseren, terwijl diversiteit over acties, effecten en waarden gewaarborgd bleef.

2. Menselijke Annotatie

Deelnemers: 100 menselijke annotatoren gerekruteerd via Prolific.
Taak: Elke annotator beoordeelde alle 150 prompts op een continue schaal van 0–100 (0 = onschuldig, 100 = maximale schade).
Annotator Kenmerken: De studie verzamelde uitgebreide demografische gegevens (leeftijd, geslacht, ras, opleiding, inkomen, politieke voorkeur, etc.) en psychologische metingen (Schwartz Value Survey, Moral Foundations Questionnaire, Interpersonal Reactivity Index, AI-geletterdheid).

3. Analyse en Evaluatie

Statistische Modellering: Mixed-effects lineaire regressiemodellen met Lasso-regularisatie werden gebruikt om de bijdragen van prompt-kenmerken (acties, effecten, waarden) en annotator-kenmerken (demografie, psychologie) aan schade-oordelen te analyseren. Interacties tussen kenmerken en prompt-kenmerken werden expliciet gemodelleerd.
AI Benchmarking: De auteurs evalueerden diverse AI-veiligheidsmodellen (WildGuard, SafetyAnalyst, GPT-4.1, Claude, Qwen) en alignment-methoden (zero-shot, value profile steering, k-shot steering) op hun vermogen om menselijke beoordelingen te voorspellen. Vergelijkingen werden gemaakt tussen modellen die gealigned zijn met geaggregeerde (gemiddelde) beoordelingen versus gepersonaliseerde (individuele) beoordelingen.

Belangrijkste Resultaten

1. Validatie van het Schadespectrum

Menselijke beoordelingen correleerden sterk met de synthetische schadeniveaus die tijdens de generatie werden toegewezen (Spearman $r = 0.59$ ). Cruciaal was dat intermediaire tot hoge schadeniveaus (0.4–0.8) significant hogere responsvariantie en entropie vertoonden, wat bevestigt dat de dataset succesvol de gevallen target die gepaard gaan met een hoge menselijke onenigheid.

2. Drijvers van Schade-oordelen

Prompt Kenmerken: Kenmerken gerelateerd aan onmiddellijk risico en tastbare schade (bijv. Kindermishandeling, Zelfbeschadiging, Criminele Activiteiten, Fysieke Schade) hadden de sterkste positieve invloed op de waargenomen schadelijkheid. Daarentegen waren kenmerken gerelateerd aan indirecte, niet-fysieke of institutionele domeinen (bijv. Psychologische Schade, Sociale Schade, Culturele Diversiteit) geassocieerd met een lagere waargenomen schadelijkheid.
Annotator Kenmerken: Annotator-kenmerken voorspelden de beoordelingen significant. Een hogere blootstelling aan online toxiciteit en sociale media frequentie correleerde met hogere beoordelingen van schadelijkheid. Daarentegen correleerden een hoger opleidingsniveau, mannelijk geslacht en een liberale politieke voorkeur met lagere beoordelingen.
Interacties: Onenigheid is niet louter additief; het ontstaat uit gestructureerde interacties. Zo werd de invloed van prosociale oriëntaties versterkt door opleiding, en politieke verschillen werden prominenter wanneer ze gecombineerd werden met ervaring met online toxiciteit. Specifieke demografische groepen (bijv. niet-heteroseksuele individuen, minderheden) vertoonden een verhoogde gevoeligheid voor specifieke typen schade zoals Kindermishandeling.

3. AI Model Prestaties

Personalisatie versus Aggregatie: Gepersonaliseerde alignment-methoden presteerden consequent beter dan geaggregeerde methoden. Het alignen van modellen aan individuele annotator-beoordelingen verminderde de Mean Absolute Error (MAE) aanzienlijk vergeleken met het alignen aan de gemiddelde menselijke beoordelingen.
Methode Vergelijking: k-shot steering (het verstrekken van prompt-beoordelingsparen in de context) leverde de sterkste prestaties op, waarmee het beter presteerde dan samenvattingen van waarde-profielen. Dit suggereert dat natuurlijke taal waarde-profielen de latente factoren die menselijke oordelen drijven, niet volledig vatten.
Model Capaciteiten: Algemene modellen (bijv. GPT-4.1, Claude) presteerden vaak beter dan gespecialiseerde veiligheidsmodellen (bijv. WildGuard, SafetyAnalyst) in het voorspellen van genuanceerde schade-beoordelingen, hoewel gespecialiseerde modellen minder vaak weigerings- of voltooiingsfouten vertoonden.

Belangrijkste Bijdragen

Framework: Een schaalbaar framework voor het genereren van gekalibreerde prompts die een ordinaal schadespectrum beslaan, met specifiele nadruk op de door onenigheid getypeerde grensgevallen.
Benchmark (PLURIHARMS): Een dataset van 150 prompts met 15.000 menselijke beoordelingen, verrijkt met annotator-kenmerken (demografie/psychologie) en interpreteerbare prompt-niveau kenmerken (acties, effecten, waarden).
Inzichten: Empirisch bewijs dat prompt-kenmerken gekoppeld aan tastbare schade de waargenomen schadelijkheid versterken, terwijl annotator-kenmerken en hun interacties systematische onenigheid verklaren, wat de rol van pluralistische perspectieven benadrukt.
Evaluatie: Een benchmark van veiligheidsmodellen die aantoont dat gepersonaliseerde alignment de voorspellingsnauwkeurigheid aanzienlijk verbetert ten opzichte van consensus-gebaseerde benaderingen, terwijl het ook de beperkingen van huidige systemen belicht.

Betekenis en Claims

Het artikel betoogt dat het bewegen van "one-size-fits-all" veiligheid naar pluralistisch veilige AI vereist dat systemen onenigheid modelleren in plaats van deze samen te laten vallen in consensus. PLURIHARMS biedt een fundamentele benchmark voor deze verschuiving.

De auteurs claimen dat:

Schade-oordelen geen objectieve feiten zijn, maar gezamenlijk worden gevormd door inhoud en pluralistische menselijke perspectieven.
Het behandelen van menselijke onenigheid als ruis de "ambigue middenweg" verbergt waar veiligheidssystemen het meest waarschijnlijk zullen falen.
Gepersonaliseerde alignment een noodzakelijke stap is om de nuance van menselijke schade-oordelen te vatten, aangezien geaggregeerde modellen onvermijdelijk de systematische verschillen die voortvloeien uit diverse sociale identiteiten en waarde-oriëntaties vervagen.

Het werk is bescheiden over de reikwijdte en erkent beperkingen in schaal, demografische dekking (VS-gebaseerd, Engelstalig) en de focus op prompts in plaats van volledige mens-AI interacties. Desalniettemin vormt het een fundamentele stap voor het begrijpen en modelleren van het volledige spectrum van menselijke oordelen over schade.