💬 NLP

Towards Consistent Detection of Cognitive Distortions: LLM-Based Annotation and Dataset-Agnostic Evaluation

Dieser Beitrag schlägt die Verwendung mehrerer unabhängiger LLM-Läufe zur Generierung konsistenter Annotationen für die subjektive Aufgabe der Erkennung kognitiver Verzerrungen vor und stellt ein datensatzagnostisches Evaluierungsframework auf Basis von Cohens Kappa vor, das zeigt, dass mit LLM generierte Daten im Vergleich zu menschlich gelabelten Daten eine überlegene Modellleistung erzielen.

Ursprüngliche Autoren: Neha Sharma, Navneet Agarwal, Kairit Sirts

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Neha Sharma, Navneet Agarwal, Kairit Sirts

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, „kognitive Verzerrungen" zu erkennen. Dies sind wie mentale Fallen oder verzerrte Denkweisen (z. B. „Ich habe eine Prüfung nicht bestanden, also bin ich ein totaler Versager"), die häufig in den Texten von Menschen auftauchen, die mit psychischen Gesundheitsproblemen kämpfen.

Das Problem ist, dass das Aufspüren dieser Fallen unglaublich subjektiv ist. Selbst menschliche Experten sind sich oft nicht einig, ob ein bestimmter Satz eine Verzerrung enthält oder nicht. Es ist, als würde man fünf Personen fragen, ob eine Wolke einem Hasen ähnelt; einige sagen ja, andere nein, und es gibt keine „richtige" Antwort. Diese Uneinigkeit macht die Daten „verrauscht" und unzuverlässig für das Training von Computern.

Dieser Artikel schlägt zwei clevere Lösungen vor, um dieses Durcheinander zu beheben.

1. Die Strategie „Roboter-Schar" (Bessere Annotationen)

Anstatt eine einzelne Person oder eine einzelne KI zu bitten, eine einzige Vermutung anzustellen, baten die Forscher ein Large Language Model (LLM) – speziell GPT-4 –, denselben Text fünf Mal hintereinander zu betrachten.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen versteckten Gegenstand in einem unordentlichen Raum zu finden. Wenn Sie einmal hinschauen, könnten Sie ihn übersehen oder etwas anderes sehen. Aber wenn Sie den Raum fünf Mal betrachten und den Gegenstand jedes Mal an exakt derselben Stelle sehen, können Sie sehr zuversichtlich sein, dass er wirklich dort ist.
Die Methode: Sie führten die KI fünf Mal aus. Wenn die KI in vier oder fünf von fünf Versuchen dasselbe Label lieferte (z. B. „Dies ist 'Alles-oder-Nichts-Denken'"), akzeptierten sie dieses Label als „Wahrheit". Wenn die KI verwirrt war und bei jedem Versuch unterschiedliche Antworten gab, markierten sie diesen Text als mehrdeutig.
Das Ergebnis: Dieser „Konsens"-Ansatz erzeugte einen viel saubereren und konsistenteren Datensatz als die ursprünglich von Menschen annotierten Daten. Als sie ein neues Computermodell auf diesen „Roboter-Konsens"-Daten trainierten, schnitt es deutlich besser ab als Modelle, die auf den unordentlichen menschlichen Daten trainiert wurden.

2. Die Metrik „Faires Rennen" (Bessere Evaluation)

Normalerweise vergleichen Forscher, um festzustellen, welches Computermodell besser ist, ihre Punktzahlen (wie eine F1-Score) bei einem Test. Dies ist jedoch unfair, wenn die Testfragen unterschiedlich sind. Es ist, als würde man die Zeit eines Läufers auf einer flachen Strecke mit der Zeit eines anderen Läufers auf einem schlammigen, bergauf führenden Pfad vergleichen. Man kann nicht nur auf die Zahlen schauen; die Bedingungen sind entscheidend.

Die Analogie: Stellen Sie sich vor, zwei Schüler schreiben unterschiedliche Mathetests. Ein Test ist leicht, der andere schwer. Wenn Schüler A bei dem schweren Test 80 % erreicht und Schüler B bei dem leichten Test 90 %, wer ist dann tatsächlich besser? Man muss wissen, wie viel besser sie im Vergleich zum reinen Raten abgeschnitten haben.
Die Methode: Die Autoren führten eine neue Methode zur Messung des Erfolgs ein, die datensatzunabhängige Evaluation genannt wird. Anstatt nur auf die Rohpunktzahl zu schauen, berechneten sie, wie viel besser das Modell im Vergleich zu einem „zufälligen Rater" (jemand, der einfach Antworten zufällig auswählt) abgeschnitten hatte. Sie verwendeten ein statistisches Werkzeug namens Cohens Kappa, um dies zu normalisieren.
Das Ergebnis: Dies ermöglichte ihnen, Modelle, die auf verschiedenen Datensätzen trainiert wurden, fair zu vergleichen. Selbst unter Berücksichtigung der Schwierigkeit der Daten zeigten die Modelle, die auf den „Roboter-Konsens"-Labels trainiert wurden, immer noch, dass sie viel effektiver lernten als diejenigen, die auf menschlichen Labels trainiert wurden.

Der menschliche Check (Der Realitätscheck)

Die Forscher baten dann drei menschliche Psychologie-Experten, die Ergebnisse zu überprüfen. Sie zeigten den Experten Paare von Sätzen: einen, der von den ursprünglichen Menschen annotiert wurde, und einen, der vom „Roboter-Konsens" annotiert wurde.

Das Ergebnis: Die Experten waren verwirrt. Sie konnten sich nicht darauf einigen, welches Label besser war. Tatsächlich waren sich die Experten fast genauso uneinig wie die ursprünglichen Daten es nahelegten.
Die Erkenntnis: Dies bewies nicht, dass die Roboter „recht" und die Menschen „falsch" lagen. Stattdessen wurde deutlich, dass die Daten selbst knifflig sind. Viele der Textausschnitte gaben den verzerrten Gedanken nicht klar wieder; sie beschrieben lediglich ein Ereignis oder eine Emotion. Ohne dass ein Therapeut Nachfragen stellt, ist es oft unmöglich, mit Sicherheit zu wissen, was die Person dachte. Das „Rauschen" befand sich nicht nur in der Annotation; es war im Ausgangsmaterial selbst enthalten.

Zusammenfassung

Der Artikel argumentiert, dass für subjektive Aufgaben wie die Erkennung von Mustern psychischer Gesundheit:

Konsistenz ist der Schlüssel: Wenn man eine KI bittet, dasselbe mehrmals zu annotieren und nur den Antworten vertraut, die sie wiederholt, entsteht ein zuverlässigerer Datensatz als durch das Vertrauen auf einen einzelnen menschlichen oder einen einzelnen KI-Versuch.
Faire Vergleiche sind wichtig: Man benötigt eine spezielle Metrik (wie die „zufällige Rat"-Basislinie), um Modelle fair zu vergleichen, wenn sie auf verschiedenen Datentypen trainiert wurden.
Die Daten sind der Flaschenhals: Selbst mit besseren Annotationmethoden ist es schwierig, die Verzerrung genau zu erkennen, wenn der ursprüngliche Text den Denkprozess nicht klar ausdrückt.

Die Autoren kommen zu dem Schluss, dass LLMs zwar als konsistente, zuverlässige „Annotatoren" fungieren können, um verrauschte Daten zu bereinigen, die ultimative Herausforderung jedoch in der Qualität und Klarheit des Textes liegt, den wir zu analysieren versuchen.

Technische Zusammenfassung: Auf dem Weg zu einer konsistenten Erkennung kognitiver Verzerrungen

Problemstellung
Die automatisierte Erkennung kognitiver Verzerrungen (CDs) – verzerrte Denkmuster, die mit psychischen Erkrankungen wie Depressionen und Angststörungen einhergehen – steht vor einer grundlegenden Herausforderung: der Subjektivität. Bestehende Datensätze leiden häufig unter einer geringen Übereinstimmung zwischen menschlichen Experten (Inter-Annotator Agreement, IAA), was zu verrauschten, unzuverlässigen „Goldstandard"-Labels führt. Modelle, die auf solchen inkonsistenten Daten trainiert werden, haben Schwierigkeiten, sich zu verallgemeinern, und liefern oft niedrige Leistungsmetriken (z. B. gewichtete F1-Scores zwischen 0,2 und 0,4). Darüber hinaus ist der Vergleich von Modellen, die auf Datensätzen mit unterschiedlichen Merkmalen (Größen, Labelverteilungen oder Annotationsqualitäten) trainiert wurden, unter Verwendung traditioneller Metriken wie dem F1-Score problematisch, da absolute Leistungswerte über heterogene Benchmarks hinweg nicht direkt vergleichbar sind.

Methodik
Die Autoren schlagen einen zweigleisigen Ansatz vor: ein auf LLMs basierendes Annotationsframework zur Generierung konsistenter Labels und eine datensatzagnostische Evaluierungsmetrik zum fairen Vergleich der Modellleistung.

LLM-basiertes Annotationsframework:
- Hypothese: Anstatt sich auf eine einzelne LLM-Vorhersage zu verlassen, gehen die Autoren davon aus, dass mehrere unabhängige Durchläufe eines LLMs auf demselben Text stabile Labelmuster aufdecken. Das konsistente Wiederauftreten eines Labels über mehrere Durchläufe hinweg wird als Signal für interne Zuverlässigkeit behandelt und dient als Proxy für die Grundwahrheit, wenn kein menschlicher Konsens vorliegt.
- Verfahren: Die Studie nutzt den öffentlich verfügbaren Datensatz „Therapist Q&A" (2.530 Benutzer-Antwort-Paare). Die Autoren setzen GPT-4- und GPT-4o-Modelle über eine API mit zwei Temperatureinstellungen (0,5 und 0,7) ein, um die Zufälligkeit zu steuern.
- Prompting: Es werden zwei Prompt-Typen verwendet: ein Multi-Label-Prompt (MLP), der eine uneingeschränkte Zuweisung von CDs erlaubt, und ein Ranked-Label-Prompt (RLP), der das Modell darauf beschränkt, die dominanteste CD (plus eine optionale sekundäre) auszuwählen.
- Konsistenzfilterung: Jeder Eingabewert wird durch fünf unabhängige Durchläufe pro Konfiguration verarbeitet. Labels, die in mindestens 4 von 5 Durchläufen erscheinen, werden als endgültige Annotationen ausgewählt. Datenpunkte, die diese Schwelle nicht erreichen, werden als mehrdeutig markiert und ausgeschlossen, um Robustheit zu gewährleisten.
Datensatzagnostische Evaluierung:
- Herausforderung: Standardmetriken (z. B. F1-Score) können Modelle, die auf Datensätzen mit unterschiedlichen Labelverteilungen oder Größen trainiert wurden, nicht fair vergleichen.
- Lösung: Die Autoren führen eine normalisierte Effektstärkenmetrik basierend auf Cohens Kappa ( $\kappa_{F1}$ ) ein.
- Berechnung:
  - Eine Zufallsbasislinie ( $F1_{random}$ ) wird theoretisch basierend auf der Klassenverteilung des Datensatzes berechnet und repräsentiert die erwartete Leistung eines Modells, das lediglich die Klassenungleichgewichte widerspiegelt, ohne zu lernen.
  - Die Modellleistung ( $F1_{calculated}$ ) ist der gewichtete F1-Score des trainierten Modells.
  - Die Metrik wird wie folgt berechnet: $\kappa_{F1} = \frac{F1_{calculated} - F1_{random}}{1 - F1_{random}}$ .
- Dies normalisiert die Leistung relativ zum Zufall und ermöglicht faire Vergleiche über verschiedene Datensätze und Studien hinweg.

Hauptbeiträge

Zuverlässige Annotation durch Wiederholung: Die Arbeit zeigt, dass mehrere unabhängige LLM-Durchläufe intern konsistente Annotationen erzeugen können (Fleiss' Kappa = 0,78 für GPT-4 bei einer Temperatur von 0,5) und damit die Konsistenz menschlicher Annotationen im Zieldatensatz übertreffen.
Verbesserte Downstream-Leistung: Modelle, die auf diesen von LLMs generierten, konsistenzgefilterten Labels trainiert wurden, erzielen konsistent höhere Leistungen (sowohl im rohen F1 als auch im normalisierten $\kappa_{F1}$ ) als Modelle, die auf den ursprünglichen menschlich gelabelten „Golden"-Daten trainiert wurden.
Evaluierungsframework: Die Einführung der $\kappa_{F1}$ -Metrik bietet eine prinzipielle Methode zur Evaluierung und zum Vergleich von Vorhersagemodellen über Datensätze mit unterschiedlichen Merkmalen hinweg und schließt eine Lücke in der NLP-Evaluierung, in der Benchmarks instabil oder nicht standardisiert sind.

Ergebnisse

Annotationskonsistenz: GPT-4 mit einer Temperatur von 0,5 erreichte die höchste Übereinstimmung zwischen den Durchläufen (Fleiss' Kappa = 0,78), deutlich höher als GPT-4o oder höhere Temperatureinstellungen. Über 90 % der Datenpunkte wiesen unter optimalen Bedingungen mindestens ein Label auf, das in allen fünf Durchläufen wiederholt wurde.
Downstream-Aufgabenleistung: Bei binären, multiklassen- und multilabel-Klassifizierungsaufgaben mit MentalRoBERTa schnitten Modelle, die auf von LLMs generierten Labels (sowohl RLP als auch MLP) trainiert wurden, konsistent besser ab als solche, die auf dem ursprünglichen menschlich gelabelten Datensatz trainiert wurden. Beispielsweise zeigte das LLM-trainierte Modell in der Multilabel-Aufgabe mit GPT-4-0,7 eine Verbesserung von 33,1 % gegenüber der Zufallsbasislinie, verglichen mit nur 16,1 % für das menschlich gelabelte Modell.
Menschliche Verifikation: Eine Verifikationsstudie mit drei Psychologie-Experten an einer Teilmenge von abweichenden Proben ergab unklare Ergebnisse. Die Experten zeigten keine starke Präferenz für LLM-Labels gegenüber menschlichen Labels, und die Übereinstimmung zwischen den Experten war gering (Fleiss' Kappa = 0,20). Dies deutet auf die inhärente Mehrdeutigkeit der Aufgabe und des Datensatzes selbst hin, nicht auf ein Versagen der LLM-Methode.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass für subjektive NLP-Aufgaben, bei denen eine Grundwahrheit unerreichbar ist und die menschliche Übereinstimmung gering ist, Zuverlässigkeit (interne Konsistenz) eine notwendige Voraussetzung für Validität ist. Indem die Annotation als Prozess wiederholter Abfragen und nicht als einmalige Vorhersage behandelt wird, können LLMs intern kohärente, verrauschungsarme Trainingsdaten generieren, die die Generalisierung von Downstream-Modellen verbessern.

Darüber hinaus argumentieren die Autoren, dass die vorgeschlagene $\kappa_{F1}$ -Metrik eine skalierbare Lösung für die breitere NLP-Community bietet, um Modelle über heterogene Datensätze hinweg zu vergleichen, ohne sich auf einen einzelnen, potenziell fehlerhaften Benchmark zu verlassen. Die Studie kommt zu dem Schluss, dass der verwendete spezifische Datensatz zwar Einschränkungen aufweist (z. B. beschreiben Benutzereingaben oft Ereignisse statt expliziter verzerrter Gedanken), die Methodik der Nutzung von LLM-Konsistenz und einer auf Effektstärken basierenden Evaluierung jedoch eine robuste Grundlage für die Weiterentwicklung der Forschung im Bereich Mental-Health-NLP und anderer subjektiver Domänen bietet.

1. Die Strategie „Roboter-Schar" (Bessere Annotationen)

2. Die Metrik „Faires Rennen" (Bessere Evaluation)

Der menschliche Check (Der Realitätscheck)

Zusammenfassung

Mehr davon