Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting
Deze studie toont aan dat grote taalmodellen effectief nieuwsartikelen over zelfmoord kunnen beoordelen met behulp van het TEMPOS-raamwerk met een overeenstemming die vergelijkbaar is met die van menselijke beoordelaars, wat suggereert dat AI een levensvatbaar hulpmiddel is voor het opschalen van de monitoring van verantwoordelijke berichtgeving over zelfmoord wanneer het gepaard gaat met menselijk toezicht.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin het nieuws werkt als een enorme, onzichtbare spiegel. Soms reflecteert deze spiegel verhalen op een manier die mensen helpt hoop en oplossingen te vinden; andere keren kan het per ongeluk een vervormd beeld laten zien dat een slechte situatie zelfs nog erger doet lijken. Wetenschappers noemen dit het "Werther-effect", waarbij bepaalde manieren van rapporteren over zelfmoord helaas kunnen leiden tot meer mensen die zichzelf pijn doen, en het "Papageno-effect", waarbij zorgvuldige, hoopvolle verhalen juist levens kunnen redden. Vanwege dit alles hebben gezondheidsexperts een set "verkeersregels" opgesteld voor journalisten om te volgen, zoals het vermijden van sensationele koppen of het vermelden van hulplijnen. Maar hier komt het lastige deel bij: controleren of miljoens nieuwsartikelen aan deze regels voldoen, is alsof je probeert elk afzonderlijk zandkorreltje op een strand met de hand te tellen. Het duurt eeuwen, het is uitputtend, en het lezen van zoveel droevige verhalen kan emotioneel zwaar zijn voor de mensen die het tellen. Hier komt het nieuwe idee van het gebruik van "AI-rechters" om de hoek kijken. Zou een superintelligent computerprogramma, getraind om deze regels te lezen, het tellen voor ons kunnen doen? Dat is de grote vraag die deze studie probeerde te beantwoorden.
De onderzoekers, een team van de University of California, San Diego, besloten dit idee op de proef te stellen met behulp van een specifieke checklist genaamd TEMPOS (Tool for Evaluating Media Portrayals of Suicide). Zie TEMPOS als een scorekaart met 10 punten waarbij een nieuwsartikel punten krijgt voor het zijn van veilig en respectvol, en punten verliest voor het zijn van sensationeel of gevaarlijk. Om te zien of computers dit spel even goed konden spelen als mensen, verzamelden ze 42 echte nieuwsberichten over zelfmoordsterfgevallen. Ze stelden vervolgens twee teams van rechters op: een team van zeven getrainde menselijke experts en een team van vijf verschillende AI-modellen (de "hersenen" achter tools zoals ChatGPT, Grok en anderen).
De mensen en de AI's lazen dezelfde verhalen en gaven ze onafhankelijk van elkaar een score, zonder met elkaar te communiceren. Eerst keken de onderzoekers naar hoe goed de mensen met elkaar overeenstemden. Ze ontdekten dat, hoewel één enkele menselijke rechter dingen misschien iets anders kon zien dan een andere, ze wanneer ze het gemiddelde van alle zeven mensen namen, een zeer stabiele "Gouden Standaard"-score creëerden (die ze HumanGold noemden). Dit is als het hebben van een panel van zeven voedingscritici; de een vindt misschien de zoutigheid heerlijk, de ander haat het, maar hun gemiddelde mening is meestal een zeer betrouwbare smaaktest van het gerecht.
Vervolgens vroegen ze zich af: "Hoe dicht kwamen de AI-rechters bij de HumanGold?" De resultaten waren verrassend goed. De individuele AI-modellen vertoonden een "matige tot sterke" overeenkomst met het menselijke team. Eén model, genaamd Grok, was bijzonder scherp en kwam de consensus van de mensen bijna net zo goed te even als de beste menselijke rechters deden. Maar de echte tovertruc gebeurde toen de onderzoekers de top drie AI-modellen combineerden tot een enkel "superrechter"-team, dat ze AISilver noemden. Dit gecombineerde AI-team kwam overeen met de menselijke consensus met een correlatie van 0,797, wat bijna net zo goed is als het beste enkele AI-model.
Echter, de studie vond ook belangrijke "pas op"-tekens. De AI (en zelfs de mensen) waren veel beter in het spotten van concrete, gemakkelijk te zien zaken, zoals "Bevatte het artikel een telefoonnummer voor hulp?" of "Beschreef het de methode van zelfmoord?". Dit zijn als het spotten van een rode auto op een parkeerplaats; de auto is er wel of de auto is er niet. De AI had echter meer moeite met de "vage", interpretatieve delen van de scorekaart, zoals "Maakte het artikel zelfmoord glamoureus?" of "Was de taal sensationeel?". Dit zijn als het beoordelen van de stemming van een liedje; het is veel moeilijker voor een computer (en zelfs voor mensen) om perfect overeen te stemmen over deze gevoelens. Ook merkten de onderzoekers op dat de AI-modellen soms scores gaven die gemiddeld iets te hoog waren, zoals een docent die net iets te gul is met A's.
Dus, wat is het definitieve oordeel? Het artikel suggereert dat AI nog geen perfecte vervanging voor mensen is, maar het is een zeer veelbelovende "assistent". Het kan niet op zichzelf de definitieve, doorslaggevende beoordeling maken, vooral niet op de lastige, emotionele delen van het verhaal. Maar als je een team van AI-modellen gebruikt (zoals het AISilver-team) om het zware werk te doen van het scannen van duizenden artikelen, en dan een klein team van mensen laat controleren of de lastige gevallen afhandelen, zou dat een gamechanger kunnen zijn. Deze aanpak kan helpen om de nieuwsverslaggeving op een enorme schaal te monitoren zonder dat menselijke experts burn-out raken, waardoor de spiegel van het nieuws ervoor zorgt dat verhalen op een manier worden gereflecteerd die beschermt en helpt in plaats van schade berokkent. De studie concludeert dat, hoewel we de AI niet blindelings moeten vertrouwen, het combineren ervan met menselijk toezicht de sleutel kan zijn om de verslaglegging over zelfmoord veilig en verantwoord te houden in het digitale tijdperk.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.