Sentiment Analysis of Thought-Related Language in the Context of Cognitive Disorders Using Machine Learning, Transformer-based Architecture and Large Language Models

De menselijke geest is een constante stroom van commentaar, een voortdurende vertelling van overtuigingen, zorgen en hoop die vormgeeft aan hoe we de wereld ervaren. Psychologen begrijpen al lang dat de manier waarop mensen tegen zichzelf praten ertoe doet; wanneer die interne dialoog hard of vertekend wordt, kan dit individuen gevangen houden in cycli van angst en depressie. Decennialang vereiste het identificeren van deze schadelijke denkpatronen een getrainde professional die zorgvuldig luisterde en de nuances van de taal van een patiënt interpreteerde. Nu mensen hun innerlijke leven meer openlijk delen op sociale media, is er een nieuwe vraag ontstaan: kunnen computers deze digitale gedachten met dezelfde zorg lezen? Dit veld, bekend als computationele geestelijke gezondheidszorg, streeft ernaar om de instrumenten van taalanalyse te gebruiken om patronen in tekst te detecteren die emotionele nood signaleren. De uitdaging ligt in het onderscheid maken tussen een vluchtige slecht humeur en een diepgewortelde negatieve manier van denken, een taak die niet alleen het tellen van woorden vereist, maar het begrijpen van het gewicht van wat er wordt gezegd.

Een team van onderzoekers aan de Islamic University of Technology heeft een belangrijke stap gezet naar het beantwoorden van deze vraag door een systeem te bouwen om de emotionele toon van online geuite gedachten te classificeren. Ze vroegen een computer niet simpelweg om te raden of een zin gelukkig of verdrietig was; in plaats daarvan richtten ze zich specifiek op "gedachtengerelateerde" taal—uitspraら die onthullen hoe een persoon zijn realiteit interpreteert. Hiervoor verzamelden ze een enorme collectie van 156.785 berichten van sociale mediaplatforms zoals Reddit, Twitter en Facebook. Ze hadden een manier nodig om deze miljoenen woorden in twee categorieën te sorteren: positief en negatief. Eerst gebruikten ze een gespecialiseerd computerprogramma, ontworpen om de straattaal en informele toon van sociale media te begrijpen, om een initiële label aan elk bericht toe te kennen. Om te garanderen dat deze labels betrouwbaar waren, lieten ze vervolgens twee erkende psychologen aan het werk gaan. Deze experts beoordeelden een willekeurige steekproef van 500 berichten op een schaal om te zien of de initiële gok van de computer overeenkwam met het menselijk oordeel. De experts stemden in de overgrote meerderheid van de gevallen overeen met de classificatie van de computer, wat bevestigde dat de dataset betrouwbaar genoeg was om een machine te trainen om het verschil te herkennen tussen constructief en destructief denken.

Met een schone, geverifieerde dataset in handen, onderwierpen de onderzoekers een grote verscheidenheid aan computermodellen aan een test om te zien welke het beste deze classificatie kon uitvoeren. Ze begonnen met traditionele methoden, die vergelijkbaar zijn met eenvoudige, efficiënte rekenmachines die zoeken naar specifieke woorden en hun frequenties. Ze testten ook geavanceerde "transformer"-modellen, die complexere systemen zijn die in staat zijn tot het begrijpen van de context en de relatie tussen woorden in een zin, vergelijkbaar met hoe een menselijke lezer de volledige betekenis van een verhaal begrijpt in plaats van alleen individuele vocabulaire. Ten slotte probeerden ze een groot taalmodel, een krachtig type kunstmatige intelligentie ontworpen om mensachtige tekst te genereren, door het de opdracht te geven de gedachten te classificeren met specifieke instructies. De resultaten waren verrassend voor degenen die aannemen dat grotere, complexere modellen altijd beter zijn. De traditionele, eenvoudigere modellen presteerden feitelijk beter dan de geavanceerde modellen. Een specifiek type eenvoudig algoritme, bekend als logistische regressie, behaalde de hoogste nauwkeurigheid en identificeerde de sentimenten van de gedachten bijna 93 procent van de tijd correct. De meer complexe transformer-modellen scoorden, hoewel nog steeds erg goed, iets lager, rond de 84 procent nauwkeurigheid. Het grote taalmodel, ondanks zijn reputatie van intelligentie, presteerde het zwakst in deze specifieke taak en had het in ongeveer 80 procent van de gevallen bij het rechte eind.

De onderzoekers ontdekten dat de eenvoudiger modellen effectiever waren voor de korte, directe zinnen die typerend zijn voor sociale media. Deze modellen slaagden omdat de negatieve en positieve gedachten in de dataset vaak duidelijke, expliciete woorden bevatten die hun toon signaleerden, waardoor het voor de computer niet nodig was om diepgaande, complexe redenering uit te voeren om ze te begrijpen. De meer geavanceerde modellen, die zijn ontworpen voor lange, genuanceerde narratieven, hadden hier geen voordeel en hadden soms moeite met de specifieke taak van binaire classificatie. De studie toonde ook aan dat het systeem opmerkelijk consistent was; toen de onderzoekers de modellen op verschillende delen van de data testten, bleven de resultaten stabiel, wat bewees dat het systeem niet alleen antwoorden aan het onthouden was, maar werkelijk de patronen van het denken leerde.

Cruciaal is dat de auteurs benadrukken dat dit systeem een hulpmiddel is voor onderzoek, en geen diagnostisch instrument voor individuen. De computer is getraind om de emotionele toon van een zin te herkennen, niet om een mentale gezondheidstoestand te diagnosticeren of te bepalen of iemand lijdt aan een specifieke stoornis. Een negatieve gedachte die online wordt geplaatst, kan een tijdelijke frustratie weerspiegelen in plaats van een klinisch probleem, en het systeem is ontworpen om die linguïstische realiteit te weerspiegelen, niet om het oordeel van een arts te vervangen. Het werk dient als een fundament voor toekomstig onderzoek, door een grote, geverifieerde dataset te bieden en een duidelijke demonstratie dat lichtgewicht, efficiënte instrumenten zeer effectief kunnen zijn voor het analyseren van het emotionele landschap van het menselijk denken op grote schaal. Door te bewijzen dat eenvoudige, transparante methoden in deze specifieke context de complexere kunnen overtreffen, suggereert de studie dat de weg vooruit voor het begrijpen van mentale gezondheid via taal wellicht ligt in helderheid en precisie in plaats van pure computationele kracht.