On the Concept of Violence: A Comparative Study of Human and AI Judgments

Deze studie vergelijkt systematisch menselijke oordelen en LLM-classificaties van twintig moreel verdeeldheid zaaiende scenario's rond het concept van geweld, om te onderzoeken hoe conversatie-AI ambigu morele constructen operationaliseert en bijdraagt aan de vorming van maatschappelijke normen over schade en verantwoordelijkheid.

De kern

Titel: Wie is de rechter? Mensen of de Computer? Een onderzoek naar geweld

Stel je voor dat je een groep mensen vraagt: "Is dit gedrag gewelddadig?" En dan vraag je hetzelfde aan een slimme computer (een AI). Wat denk je? Komen ze tot dezelfde conclusie?

Dit is precies wat een team van onderzoekers uit Italië heeft onderzocht. Ze hebben gekeken naar hoe mensen en kunstmatige intelligentie (zoals ChatGPT-achtige programma's) oordelen over wat wel en wat geen geweld is.

Hier is het verhaal van hun onderzoek, verteld in simpele taal met een paar leuke vergelijkingen.

1. Het Experiment: De Radio-Show als Proeflokaal

Het idee kwam niet uit een koud, steriel laboratorium, maar uit een grappig moment op de radio. De presentator van het programma Chiacchiericcio stelde 22 verschillende situaties voor aan luisteraars.

Sommige situaties waren duidelijk: "Iemand slaat een agent." (Natuurlijk is dat geweld).
Maar andere waren grijs: "Iemand kijkt iemand op de bus aan," of "Iemand scheldt iemand uit op sociale media," of "Iemand dreigt met geweld, maar wordt door de presentator onderbroken."

De luisteraars moesten kiezen: Geweld, Geen geweld, of Hangt ervan af.
Er kwamen meer dan 3.000 antwoorden binnen. Het was een echte menigte, met allemaal verschillende meningen.

2. De Computerspelers: De 18 Robot-Rechters

Vervolgens gaven de onderzoekers dezelfde 22 zinnen aan 18 verschillende AI-modellen. Deze modellen zijn als verschillende soorten "robots": sommige zijn klein en snel, andere zijn groot en slim, en sommige zijn getraind om heel voorzichtig te zijn.

De opdracht was simpel: "Kies één antwoord. Geen uitleg, gewoon een keuze."

3. Wat Vonden Ze? De Grote Verschillen

De resultaten waren verrassend. Het was alsof mensen en robots door verschillende brillen keken.

De Mensen: De "Hangt ervan af"-Bril
Mensen zijn complex. Als ze een situatie zien, denken ze na over de context.

• Vergelijking: Stel je voor dat iemand een mes vasthoudt. Een mens denkt: "Is het een chef die kookt (geen geweld) of een moordenaar (wel geweld)?"
• Mensen gaven vaak het antwoord "Hangt ervan af". Ze zagen de nuance. Ze zagen dat een scheldpartij op internet misschien pijnlijk is, maar niet altijd "geweld" in de fysieke zin.

De Robots: De "Zwart-Wit"-Bril
De AI's waren veel minder twijfelend. Ze hielden niet van "hangt ervan af".

• Vergelijking: De AI is als een robot die alleen reageert op harde regels. Als het woord "mes" in de zin staat, zegt de AI: "Gevaar!" Zonder te kijken of het een kok is.
• Verschil 1 (Online Schelden): Mensen vonden online schelden vaak wel geweld. De AI's vonden dit vaak geen geweld. Ze zagen het als "gewoon woorden", terwijl mensen het zagen als psychisch geweld.
• Verschil 2 (De Onderbreking): Als iemand dreigt met geweld, maar de presentator stopt hem, vonden mensen: "Geen geweld, want het is niet gebeurd." De AI's vonden echter: "Het is wel geweld, want de gedachte en de woorden waren er al."

4. De Grootste Leerles: De "Stille" Gevaarlijke Kant

Het meest interessante is dat de AI's niet altijd "dom" waren, maar ze hadden een andere manier van denken.

• Mensen zijn goed in het begrijpen van sociale situaties en context. Ze weten dat een grapje soms geen kwaad is.
• AI's zijn getraind om veilig te zijn, maar ze zijn ook getraind om alles in hokjes te stoppen. Ze "knijpen" de grijze gebieden plat. Ze maken van een ingewikkelde situatie een simpel "Ja" of "Nee".

De Gevaarlijke Valstrik:
Stel je voor dat je een robot vraagt: "Is dit gedrag verkeerd?" en de robot zegt met een heel zeker stemmetje: "Nee, dat is geen geweld."
Omdat de robot zo zeker klinkt, gaan mensen dat misschien geloven. Ze denken: "Oh, de computer heeft het gezegd, dus het is waar."
Maar de computer heeft eigenlijk gewoon een patroon herkend, niet echt "begrepen" wat er aan de hand is. Het is alsof je een GPS vraagt of je een verkeerde weg rijdt, en de GPS zegt "Nee" omdat hij alleen naar de weg kijkt, niet naar de mensen die er lopen.

5. Conclusie: Gebruik de AI, maar wees je eigen Baas

De onderzoekers concluderen dat AI's geweldig zijn voor simpele vragen, maar gevaarlijk kunnen zijn voor moeilijke, morele vragen.

• AI's zijn geen waarheid: Ze zijn geen rechters. Ze zijn statistische machines die woorden voorspellen.
• Mensen zijn nodig: Omdat geweld en moreel gedrag vaak afhangen van de situatie, de cultuur en de intentie, hebben we menselijk oordeel nodig.
• Wees kritisch: Als een AI je vertelt wat "geweld" is, denk dan niet direct: "Oké, dat is het." Denk: "Interessant, maar wat zou een mens hierover zeggen?"

Kort samengevat:
Deze studie laat zien dat robots en mensen soms heel verschillend kijken naar wat "geweld" is. Mensen zien de grijze gebieden; robots proberen alles zwart of wit te maken. In een wereld waar we steeds vaker naar computers luisteren voor advies, moeten we onthouden: De computer heeft de antwoorden, maar de mens heeft het oordeel.

Technische samenvatting

Probleemstelling

Het concept van "geweld" is niet universeel gedefinieerd en varieert sterk afhankelijk van culturele context, persoonlijke ervaringen en morele bias. Terwijl fysieke agressie als prototypisch wordt beschouwd, is er in hedendaagse samenlevingen een groeiend debat over het classificeren van uitsluiting, vernedering, online intimidatie en symbolische daden als geweld.

De centrale vraag van deze studie is hoe Large Language Models (LLMs) omgaan met deze moreel complexe en ambiguïteit bevattende concepten. Aangezien LLMs steeds vaker worden ingezet om sociale gedragingen te interpreteren en te labelen, is het cruciaal te onderzoeken of deze systemen menselijke opvattingen reproduceren, herdefiniëren of simplificeren. De auteurs stellen dat LLMs niet langer slechts technische tools zijn, maar fungeren als een "sociale spiegel" die de perceptie van geweld kan beïnvloeden. Een specifiek probleem is dat LLMs, door hun trainingsdata en veiligheidsuitlijning (alignment), mogelijk neigen naar een "gezuiverde neutraliteit" die complexiteit weglaten, in tegenstelling tot de menselijke neiging om context en morele pluralisme te erkennen.

Methodologie

De studie volgt een vergelijkend experimenteel ontwerp dat menselijke oordelen vergelijkt met de output van diverse LLMs.

1. Stimuli (Dataset):

   • Er zijn 22 zorgvuldig ontworpen, moreel verdeelende scenario's gebruikt.
   • Deze zijn onderverdeeld in vier thematische domeinen:
     • Verbaal/linguïstische uitdrukkingen (n=6)
     • Symbolische of representatieve daden (n=5)
     • Interpersoonlijke en relationele dynamiek (n=7)
     • Gedragingen involving omissie, uitsluiting of onverschilligheid (n=4)
   • Voorbeelden variëren van fysiek geweld (bijv. politieagenten slaan) tot subtielere vormen (bijv. ongevraagd staren, online beledigingen, of het onderbreken van een spreker).

2. Menselijke Data:

   • Verzameling: Data is verzameld via een anonieme Google Forms-enquête, verspreid via de sociale media van het radioprogramma Chiacchiericcio (Radio Deejay).
   • Steekproef: Ongeveer 3.300 respondenten per zin (totaal ca. 73.000 oordelen).
   • Categorieën: Respondenten moesten elke zin classificeren in één van drie categorieën: "geweld", "geen geweld", of "afhankelijk van de context" (depend-on).
   • Beperking: Er is geen gedetailleerde demografische data verzameld, wat de representativiteit voor de bredere bevolking beperkt.

3. AI-Data (LLMs):

   • Modellen: 18 verschillende open-weight LLMs zijn getest, variërend in grootte (van ~1B tot >10B parameters) en architectuur (o.a. Llama, Mistral, Qwen, Gemma, Phi).
   • Prompting: Alle modellen kregen exact dezelfde prompt-template (Algorithm 1) om een rigide classificatie te forceren zonder uitleg, in JSON-formaat.
   • Filtering: Twee modellen (phi3:mini en gemma3:4b) produceerden geen geldige labels en werden uitgesloten. De analyse is gebaseerd op 16 modellen.

4. Statistische Analyse:

   • Chi-kwadraattoetsen (2x3 contingency tables) voor globale en zin-specifieke vergelijkingen.
   • Correctie voor meervoudig testen via de Benjamini-Hochberg procedure (FDR).
   • Effectgroottes gemeten met Cramer's V.
   • Inter-model overeenstemming gemeten met Fleiss' kappa en correlatie met menselijke consensus via Spearman's rangcorrelatie.

Belangrijkste Resultaten

1. Globale Distributieverschillen:

   • Mensen classificeerden scenario's het vaakst als "geweld" (72,3%), gevolgd door "afhankelijk van context" (13,9%) en "geen geweld" (13,8%).
   • LLMs toonden een significante verschuiving: minder "afhankelijk van context" (9,4%) en meer "geen geweld" (18,8%), terwijl "geweld" vergelijkbaar bleef (71,9%).
   • Dit suggereert dat LLMs contextuele ambiguïteit "compressen" naar binairere, categorische oordelen.

2. Zin-specifieke Afwijkingen:

   • Er waren significante verschillen bij 9 van de 22 zinnen.
   • Online Beledigingen: Bij online beledigingen (privé en publiek) en gecoördineerde haatzaaiende commentaren classificeerden mensen dit bijna unaniem als geweld (>90%), terwijl LLMs dit vaak als "geen geweld" of "afhankelijk" zagen (rond 50% geweld). Dit wijst op een bredere menselijke definitie van psychologisch/reputatieschade.
   • Onderbroken Geweld: Bij een scenario waarbij een spreker die geweld aanmoedigt wordt onderbroken door een presentator, classificeerden LLMs dit vaker als geweld (81,2%) dan mensen (27,1%). Mensen wegen de onderbreking (geen daadwerkelijk geweld) zwaarder dan de intentie/tekst.
   • Staren: Het staren naar een onbekende op een bus werd door AI vaker als "geen geweld" gezien dan door mensen.

3. Inter-model Consensus:

   • De overeenstemming tussen verschillende LLMs was laag (Fleiss' κ = 0.134).
   • Waar mensen en AI het meest van mening verschilden, waren de AI-modellen onderling ook het minst het eens.
   • Er was geen lineair verband tussen modelgrootte (aantal parameters) en nauwkeurigheid in het matchen van menselijke oordelen. Sommige kleinere modellen (bijv. Llama 3.2 3B) presteerden beter dan grotere of gespecialiseerde modellen.

4. Domein-specifieke Patronen:

   • De grootste verschillen zaten in het domein van "Verbaal uitdrukkingen".
   • Bij "Relationele dynamiek" (fysiek geweld, ongewenst aanraken) was de overeenstemming tussen mens en AI het grootst.

Belangrijkste Bijdragen

• Empirisch Bewijs voor Conceptuele Verschillen: De studie levert kwantitatief bewijs dat LLMs een andere operationele definitie van geweld hanteren dan mensen, met name wat betreft digitale schade, intentie versus uitkomst, en contextuele afhankelijkheid.
• Analyse van "Compressie" van Ambiguïteit: Het onderzoek toont aan dat LLMs de neiging hebben om de menselijke categorie "afhankelijk van context" te reduceren en te herverdelen naar "geweld" of "geen geweld", wat leidt tot een verlies van nuance.
• Rol van Alignments en Training: De resultaten suggereren dat de verschillen niet primair door modelgrootte worden bepaald, maar door post-training factoren zoals instructie-tuning, veiligheidsfilters en RLHF (Reinforcement Learning from Human Feedback).
• Epistemische Risico's: De auteurs benadrukken het gevaar dat gebruikers LLM-antwoorden zien als autoritieve morele oordelen, terwijl deze systemen probabilistische patronen genereren die onzekerheid en meningsverschillen maskeren.

Betekenis en Conclusie

De studie concludeert dat LLMs, hoewel ze in prototypische gevallen (zoals fysiek geweld) goed overeenkomen met menselijke consensus, systematisch afwijken in situaties waar geweld symbolisch, indirect of sterk context-afhankelijk is.

De implicaties zijn aanzienlijk voor de integratie van AI in de samenleving:

1. Moraal Toezicht: Als AI-systemen worden gebruikt voor moderatie of ethische advisering, kunnen ze onbedoeld menselijke normen veranderen door een "gezuiverde" of te rigide definitie van geweld te hanteren.
2. Gebruikersbewustzijn: Er is een dringende behoefte aan digitale geletterdheid. Gebruikers moeten begrijpen dat AI-output geen objectieve waarheid is, maar een gesynthetiseerd antwoord dat onzekerheid en moreel pluralisme kan verbergen.
3. Toekomstig Onderzoek: Het is essentieel om de "latente conceptuele grenzen" van AI-systemen te begrijpen en te kalibreren, vooral in hoog-risico scenario's waar menselijke deliberatie nodig blijft.

De auteurs waarschuwen dat het vertrouwen op AI als moreel arbiter riskant is, omdat deze systemen de complexiteit van menselijke sociale interacties kunnen reduceren tot statische, probabilistische classificaties.