Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Technische Samenvatting: Naar Consistente Detectie van Cognitieve Distorsies

Probleemstelling
Geautomatiseerde detectie van Cognitieve Distorsies (CD's)—gevoelige denkmogelijkheden geassocieerd met mentale gezondheidsaandoeningen zoals depressie en angst—staat voor een fundamentele uitdaging: subjectiviteit. Bestaande datasets lijden vaak onder een lage onderlinge overeenstemming tussen annotators (IAA) onder menselijke experts, wat leidt tot ruisachtige, onbetrouwbare "gouden standaard" labels. Modellen die op dergelijke inconsistente data zijn getraind, hebben moeite om te generaliseren en leveren vaak lage prestatie-metrics op (bijvoorbeeld gewogen F1-scores tussen 0,2 en 0,4). Bovendien is het vergelijken van modellen die zijn getraind op datasets met verschillende kenmerken (groottes, labelverdelingen of annotatiekwaliteiten) met traditionele metrics zoals de F1-score problematisch, aangezien absolute prestatiewaarden niet direct vergelijkbaar zijn over heterogene benchmarks heen.

Methodologie
De auteurs stellen een tweeledige aanpak voor: een op LLM gebaseerd annotatiekader om consistente labels te genereren en een dataset-onafhankelijke evaluatiemetric om modelprestaties eerlijk te vergelijken.

1. Op LLM Gebaseerd Annotatiekader:

   • Hypothese: In plaats van te vertrouwen op een enkele LLM-predictie, hypothetiseren de auteurs dat meerdere onafhankelijke runs van een LLM op dezelfde tekst stabiele labelpatronen zullen blootleggen. Een consistente herhaling van een label over runs heen wordt behandeld als een signaal van interne betrouwbaarheid, dienend als proxy voor de grondwaarheid bij gebrek aan menselijke consensus.
   • Procedure: De studie maakt gebruik van de publiek beschikbare "Therapist Q&A" dataset (2.530 gebruikers-antwoordparen). De auteurs maken gebruik van GPT-4 en GPT-4o modellen via API met twee temperatuurinstellingen (0,5 en 0,7) om willekeur te controleren.
   • Prompting: Er worden twee prompttypen gebruikt: een Multi-Label Prompt (MLP) die onbeperkte toewijzing van CD's toestaat, en een Ranked-Label Prompt (RLP) die het model beperkt tot het selecteren van de meest dominante CD (plus een optionele secundaire).
   • Consistentiefiltering: Elke input wordt verwerkt via vijf onafhankelijke runs per configuratie. Labels die in minimaal 4 van de 5 runs voorkomen, worden geselecteerd als definitieve annotaties. datapunten die deze drempel niet halen, worden gemarkeerd als dubbelzinnig en uitgesloten om robuustheid te waarborgen.

2. Dataset-Onafhankelijke Evaluatie:

   • Uitdaging: Standaard metrics (bijvoorbeeld F1-score) kunnen modellen die zijn getraind op datasets met verschillende labelverdelingen of groottes niet eerlijk vergelijken.
   • Oplossing: De auteurs introduceren een genormaliseerde effectgrootte-metric gebaseerd op Cohens Kappa ($\kappa_{F1}$).
   • Berekening:
     • Een Willekeurige Baseline ($F1_{random}$) wordt theoretisch berekend op basis van de klassenverdeling van de dataset, wat de verwachte prestatie van een model vertegenwoordigt dat louter de klassenonevenwichtigheid weerspiegelt zonder te leren.
     • De Modelprestatie ($F1_{calculated}$) is de gewogen F1-score van het getrainde model.
     • De metric wordt berekend als: $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$.
   • Dit normaliseert de prestatie ten opzichte van toeval, waardoor eerlijke cross-dataset en cross-studie vergelijkingen mogelijk worden.

Belangrijkste Bijdragen

• Betrouwbare Annotatie via Herhaling: Het artikel toont aan dat meerdere onafhankelijke LLM-runs intern consistente annotaties kunnen produceren (Fleiss' Kappa = 0,78 voor GPT-4 bij temperatuur 0,5), wat beter presteert dan de consistentie van menselijke annotaties op de doel-dataset.
• Verbeterde Downstream Prestaties: Modellen getraind op deze door LLM gegenereerde, consistentie-gefilterde labels bereiken consistent hogere prestaties (zowel in ruwe F1 als genormaliseerde $\kappa_{F1}$) in vergelijking met modellen getraind op de originele menselijk gelabelde "gouden" data.
• Evaluatiekader: De introductie van de $\kappa_{F1}$-metric biedt een principiële methode voor het evalueren en vergelijken van voorspellende modellen over datasets met verschillende kenmerken heen, waarmee een gat in NLP-evaluatie wordt gedicht waar benchmarks onstabiel of niet-gestandaardiseerd zijn.

Resultaten

• Annotatieconsistentie: GPT-4 met een temperatuur van 0,5 behaalde de hoogste onderlinge overeenstemming tussen runs (Fleiss' Kappa = 0,78), significant hoger dan GPT-4o of hogere temperatuurinstellingen. Meer dan 90% van de datapunten had onder optimale omstandigheden ten minste één label dat in alle vijf runs werd herhaald.
• Downstream Taakprestaties: In binaire, multi-class en multi-label classificatietaken met MentalRoBERTa presteerden modellen getraind op door LLM gegenereerde labels (zowel RLP als MLP) consistent beter dan die getraind op de originele menselijk gelabelde dataset. Bijvoorbeeld, in de multi-label taak met GPT-4-0,7 toonde het door LLM getrainde model een verbetering van 33,1% ten opzichte van de willekeurige baseline, vergeleken met slechts 16,1% voor het menselijk gelabelde model.
• Menselijke Verificatie: Een verificatiestudie met drie psychologie-experts op een subset van niet-overeenstemmende samples leverde inconclusieve resultaten op. Experts toonden geen sterke voorkeur voor LLM-labels boven menselijke labels, en de onderlinge overeenstemming tussen experts was laag (Fleiss' Kappa = 0,20). Dit suggereert de inherente dubbelzinnigheid van de taak en de dataset zelf, eerder dan een falen van de LLM-methode.

Betekenis en Claims
Het artikel stelt dat voor subjectieve NLP-taken waar grondwaarheid onbereikbaar is en menselijke overeenstemming laag is, betrouwbaarheid (interne consistentie) een noodzakelijke voorwaarde voor validiteit is. Door annotatie te behandelen als een proces van herhaald bevragen in plaats van een eenmalige voorspelling, kunnen LLM's intern coherente, ruisarme trainingsdata genereren die de generalisatie van downstream-modellen verbetert.

Bovendien betogen de auteurs dat de voorgestelde $\kappa_{F1}$-metric een schaalbare oplossing biedt voor de bredere NLP-gemeenschap om modellen over heterogene datasets te vergelijken zonder te vertrouwen op een enkele, mogelijk gebrekkige benchmark. De studie concludeert dat hoewel de specifieke gebruikte dataset beperkingen heeft (bijvoorbeeld dat gebruikersinput vaak gebeurtenissen beschrijft in plaats van expliciete vervormde gedachten), de methodologie van het benutten van LLM-consistentie en effectgrootte-gebaseerde evaluatie een robuuste basis biedt voor het bevorderen van onderzoek in mentale gezondheid NLP en andere subjectieve domeinen.