AI Application Gives Users Real-Time Feedback on the Level of Peace in the Social Media Videos They Watch

Technische Samenvatting: Real-time Meting van "Vredesspraak" in Social Media Video's

Probleemstelling
Het artikel behandelt de groeiende afhankelijkheid van de wereldbevolking van social media video's (bijv. YouTube, Facebook) als primaire nieuwsbronnen, waarbij wordt opgemerkt dat de toon en inhoud van deze taal een cruciale rol spelen bij het initiëren of oplossen van conflicten. Terwijl bestaande tools "Haatspraak" of politieke bias analyseren, ontbreekt het aan mechanismen om "Vredesspraak" te meten—taal die vredige sociale processen versterkt. De auteurs stellen dat "We worden wat we aanschouwen," wat suggereert dat blootstelling aan specifieke linguïstische tonen het reële gedrag beïnvloedt. De kern van de technische uitdaging is het ontwikkelen van een systeem dat in staat is om deze vrede-gerelateerde dimensies in real-time te kwantificeren binnen ongestructureerde, gesproken videotranscripten, een domein waar traditionele tekstgebaseerde modellen historisch gezien gefaald hebben.

Methodologie
De auteurs hebben BAIT ontwikkeld, een Chrome-extensie applicatie, die gebruikmaakt van een tweeledige aanpak om de backend-analyse-engine op te bouwen:

1. Supervised Machine Learning op Nieuwsteksten (Baseline):

   • Data: Een dataset van ~700.000 nieuwsartikelen uit 18 landen (News on the Web corpus) die getagd zijn met vrede-niveaus op basis van externe indices (bijv. Global Peace Index).
   • Modellen: Drie neurale architecturen werden getraind: een Fully Connected Feed-Forward netwerk, een Convolutioneel Neuraal Netwerk (CNN) en een herziene CNN met max-pooling.
   • Proces: Tekst werd geëmbdedd met behulp van OpenAI's text-embedding-3-small en geclassificeerd als "hoog-vrede" of "laag-vrede".
   • Resultaat: Deze modellen behaalden ~97% nauwkeurigheid op gehouden nieuws-tekst en ~70% nauwkeurigheid op een afzonderlijke nieuws-dataset. Ze faalden echter in het generaliseren naar YouTube-transcripten, waarbij ze 95–100% van de video-inhoud als "hoog-vrede" classificeerden, wat wijst op een fundamentele discrepantie tussen de syntaxis van geschreven nieuws en gesproken taal.

2. Sociale Wetenschappelijke Dimensies via LLM's (Primaire Aanpak):

   • Framework: In het besef dat er een gebrek is aan externe vrede-indices voor videotranscripten, hebben de auteurs vijf sociale dimensies gedefinieerd die afgeleid zijn van 59 sociale wetenschappelijke studies: compassie-minachting, nieuws-mening, promotie-preventie, creativiteit-orde, en nuance-simplificatie.
   • Modellen:
     • Sentimentanalyse (SA): Google's GoEmotions (RoBERTa-gebaseerd) werd getest maar bleek ontoereikend vanwege beperkte contextvensters, hoge neutraliteitsbaselines en het "middelen uit" van emotionele volatiliteit.
     • Large Language Models (LLMs): De auteurs stapten over op contextbewuste LLM's (Gemini 2.5/3 Pro, GPT-4o/5.1). Ze hanteerden een iteratief proces van prompt engineering, waarbij ze bewogen van complexe nieuws-gebaseerde prompts naar vereenvoudigde, generaliseerbare prompts die geoptimaliseerd zijn voor conversationele transcripten.
   • Ground Truth: Een "gold standard" dataset werd gecreëerd door drie menselijke experts (vredesonderzoekers en conflictspecialisten) onafhankelijk te laten scoren op de vijf dimensies voor 52 diverse YouTube-video's op een schaal van 1–5. De inter-rater betrouwbaarheid was hoog ($r^2 > 0.86$ voor drie dimensies).

Belangrijkste Resultaten

• Falen van Tekst-alleen Modellen: Neurale netwerken getraind op geschreven nieuwsteksten konden de vrede-niveaus in gesproken videotranscripten niet accuraat voorspellen, wat bevestigt dat de linguïstische eigenschappen van geschreven en gesproken media aanzienlijk verschillen.
• Superioriteit van LLM's: LLM's presteerden significant beter dan woordniveau sentimentanalyse. Terwijl SA-modellen een zwakke correlatie vertoonden met menselijke codeurs ($r^2 \approx 0.03$), behaalden LLM's correlaties van $r^2 \approx 0.60$ over de vijf sociale dimensies.
• Modelprestaties: Gemini 3 Pro Preview vertoonde de hoogste correlatie met menselijke codeurs over alle dimensies, met name in de uitdagende categorie "nuance-simplificatie".
• Contextuele Redenering: De resultaten geven aan dat de beoordeling van vrede contextuele redenering vereist (toon, framing, retorische structuur) in plaats van louter sentiment of trefwoorddetectie.

Belangrijkste Bijdragen

1. BAIT Applicatie: De implementatie van een functionele Chrome-extensie die real-time feedback biedt aan gebruikers en content creators over de "vreedzaamheid" van hun mediaconsumptie.
2. Empirische Validatie van LLM's: Het aantonen dat moderne LLM's effectief menselijke analyse op schaal kunnen uitvoeren van complexe sociale dimensies in videotranscripten, waarbij ze een statistische overeenstemming bereiken die vergelijkbaar is met de inter-rater betrouwbaarheid van mensen.
3. Dimensionaal Framework: Het operationaliseren van vijf specifieke sociale wetenschappelijke dimensies (compassie, nieuws, promotie, creativiteit, nuance) als meetbare metrieken voor "Vredesspraak".
4. Open Documentatie: De auteurs documenteren publiekelijk hun analyse-engine en menselijke testresultaten, waardoor zij hun werk onderscheiden van andere propriëtaire of opake content moderatie tools.

Betekenis en Claims
Het artikel beweert dat BAIT dient als een fundamentele analyse-engine die in staat is om "Vredesspraak" op schaal te meten. De auteurs stellen dat door gebruikers zich bewust te maken van de emotionele en sociale toon van hun mediaconsumptie, de tool potentieel het reële gedrag kan beïnvloeden richting meer positieve sociale interacties.

De auteurs hanteren een bescheiden houding ten aanzien van toekomstige implicaties. Zij beweren niet dat de tool gedrag bewijsbaar verandert, maar stellen dat het vermogen om deze dimensies te meten de noodzakelijke eerste stap is om de hypothese te testen dat zelfbewustzijn leidt tot verbeterd gedrag. Zij voorzien een potentiële "virtueuze cirkel" waarbij gebruikersbewustzijn de vraag naar content met een hogere vrede drijft, wat creators en platforms stimuleert om dergelijke content te produceren, maar zij kaderen dit als een toekomstige mogelijkheid die onderzocht moet worden via gedragstesten, in plaats van een huidige realiteit. Het werk wordt gepresenteerd als een methodologische doorbraak in de toepassing van AI op vredesstudies, waarbij de kloof tussen sociale wetenschappelijke theorie en real-time digitale media-analyse wordt overbrugd.