Can LLMs Understand the Impact of Trauma? Costs and Benefits of LLMs Coding the Interviews of Firearm Violence Survivors
Deze studie concludeert dat hoewel open-source grote taalmodellen (LLMs) potentieel hebben voor het coderen van interviews met overlevenden van schietgeweld, hun huidige prestaties beperkt zijn door lage relevantie, gevoeligheid voor dataverwerking en ethische bezwaren rondom narratieve censuur door veiligheidsfilters.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Titel: Kunnen Robots de Diepe Wonden van Mensen Begrijpen? Een Verhaal over AI en Geweld
Stel je voor dat je een groep mensen hebt die zware dingen hebben meegemaakt: ze zijn overleefd aan schietpartijen. Om te helpen en te voorkomen dat dit opnieuw gebeurt, willen onderzoekers hun verhalen luisteren. Ze doen dit door lange gesprekken te voeren en deze op te schrijven.
Maar hier komt het probleem: het lezen en analyseren van al die verhalen is als het opruimen van een enorme berg rommel. Het kost jaren, is heel duur en mensen raken moe. Daarom dachten de onderzoekers: "Waarom gebruiken we geen slimme computerprogramma's (AI) om ons te helpen? Die kunnen toch snel lezen?"
Dit onderzoek van de Universiteit van Maryland probeerde precies dat: kunnen deze slimme computers de pijn en ervaringen van deze mannen echt begrijpen, of maken ze alleen maar fouten?
Hier is wat ze ontdekten, verteld in gewone taal:
1. De Robot die te bang is om te luisteren
De onderzoekers gaven de computer de opdracht om de verhalen te lezen en de belangrijkste onderwerpen eruit te halen. Maar de computer had een groot probleem: hij was te bang.
Stel je voor dat je een arts vraagt om een verslag te maken over een zwaar ongeluk. Maar de arts is zo bang om iets 'lelijks' te zeggen, dat hij de hele beschrijving van het ongeluk overslaat en alleen zegt: "Hier is een verslag over een ongeluk."
Dat is wat de AI deed. Omdat de verhalen over schietpartijen, geweld en trauma soms erg gruwelijk of expliciet waren, weigerde de computer om ze te lezen. Hij zei: "Nee, dit is te gewelddadig" of "Nee, dit is te seksueel."
- Het gevolg: De computer liet tot wel 65% van de verhalen gewoon weg. Hij "veegde" de pijnlijke ervaringen van de slachtoffers uit het bestaan. Dit noemen de onderzoekers narrative erasure (het uitwissen van het verhaal).
2. De Robot die de taal niet snapt
De mannen in de interviews spraken vaak in een specifieke vorm van Engels (AAE), vol met straattaal en uitdrukkingen die alleen in hun gemeenschap bekend zijn.
- De menselijke onderzoekers begrepen dit direct. Ze wisten dat een woord als "get" of "like" in die context gewoon een manier van praten was, en niet iets raars.
- De computer werd hierdoor in de war. Hij dacht: "Oh, ze gebruiken rare woorden!" en begon te focussen op de taal zelf in plaats van het verhaal. Het was alsof je iemand vraagt om een schilderij te beschrijven, maar hij alleen maar kijkt naar de verfkleuren en vergeet het onderwerp van het schilderij.
3. De "Magische" Robot die hallucineert
Soms probeerde de computer slim te doen en verzon hij dingen.
- Voorbeeld: De computer zag een stukje tekst over "World Star Hiphop" en dacht: "Ah, dit gaat over het internet!" (Terwijl het eigenlijk over muziek ging). Of hij zag een discussie over een ruzie en concludeerde: "Dit gaat over bendes!" (Terwijl er geen sprake was van een bende).
- Dit is gevaarlijk. Het is alsof een vertaler die een boek vertaalt, plotseling verzonnen personages toevoegt die er niet in staan. De resultaten waren soms waar, maar vaak ook pure fantasie.
4. Groot is niet altijd beter
De onderzoekers testten twee soorten computers: een kleinere, goedkopere versie en een enorme, dure versie.
- Je zou denken dat de enorme, dure computer (de "super-robot") alles perfect doet.
- Maar nee! De grote robot maakte net zo veel fouten als de kleine, en was zelfs nog trager en duurder. Het verschil in kwaliteit was miniem, terwijl de kosten (energie en geld) enorm waren.
Wat betekent dit voor ons?
De boodschap van dit onderzoek is een waarschuwing, maar ook een hoopvol perspectief:
- AI is nog niet klaar voor dit werk: We kunnen de verhalen van kwetsbare mensen (zoals overlevenden van geweld) niet zomaar aan een computer geven. De computer is te star, te bang en begrijpt de menselijke context niet. Als we het aan AI overlaten, verliezen we de waarheid.
- Mensen zijn nog steeds nodig: Menselijke onderzoekers deden het werk 10 keer langer, maar ze deden het goed. Ze begrepen de pijn, de taal en de context.
- De toekomst: AI kan misschien helpen als een assistent (een hulpmiddel), maar alleen als mensen de controle houden en de resultaten controleren. We moeten eerst AI "leren" om niet bang te zijn voor moeilijke onderwerpen en om de taal van minderheidsgemeenschappen echt te begrijpen.
Kortom: Je kunt een robot niet vragen om het hart van een mens te begrijpen als de robot zelf nog niet weet hoe het is om mens te zijn. Voor nu moeten we nog steeds zelf naar de verhalen luisteren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.