💬 NLP

Team MKC at CLPsych 2026: Capturing and Characterizing Mental Health Changes through Social Media Timeline Dynamics

Dieses Paper präsentiert die LLM-basierte Pipeline von Team MKC für die CLPsych 2026 Shared Task, die ein einheitliches Framework bietet, um durch die Analyse sequenziell geordneter Social-Media-Posts gemeinsam eine Post-Ebene-Mental-Health-Bewertung und eine User-Ebene-Temporale-Modellierung durchzuführen.

Ursprüngliche Autoren: Kyomin Hwang, Hyeonjin Kim, Hyunho Lee, Nojun Kwak

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kyomin Hwang, Hyeonjin Kim, Hyunho Lee, Nojun Kwak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die emotionale Reise eines Menschen allein durch das Lesen seiner Tagebucheinträge im Laufe der Zeit zu verstehen. An manchen Tagen schreibt er darüber, wie großartig er sich fühlt; an anderen Tagen klingt er besorgt oder traurig. Manchmal gibt es einen plötzlichen Umschlag von glücklich zu traurig oder ein langsames, schleichendes Gefühl der Verschlechterung.

In diesem Papier geht es um ein Team von Forschern (Team MKC), das ein digitales Detektivsystem entwickelt hat, das mithilfe fortschrittlicher KI (genannt Large Language Models) genau das tut. Sie nahmen an einem Wettbewerb namens CLPsych 2026 teil, bei dem es darum ging, Social-Media-Beiträge zu analysieren, um Veränderungen der psychischen Gesundheit zu erkennen.

So funktioniert ihr System, unterteilt in einfache Schritte:

1. Das "Mikroskop" (Schritt 1 & 2)

Zuerst betrachtet die KI jeden einzelnen Beitrag für sich. Denken Sie dabei an ein Mikroskop, das auf einen einzelnen Satz heranzoomt.

Was es tut: Es versucht, den Beitrag mit spezifischen Tags zu versehen. Ist die Person „adaptiv“ (bewältigt gut) oder „maladaptiv“ (kämpft)? Es unterteilt diese Gefühle in 12 winzige Kategorien (wie „Hoffnungslosigkeit“ oder „Hoffnung“).
Die Herausforderung: Die Trainingsdaten waren sehr unordentlich. Die meisten Beiträge handelten von gewöhnlichen Gefühlen, aber nur sehr wenige von seltenen, extremen Gefühlen. Es ist, als würde man versuchen, seltene Vögel zu identifizieren, wenn man nur 500 Fotos von ihnen hat, aber 4.000 Fotos von Tauben.
Die Lösung: Um zu verhindern, dass die KI die seltenen Vögel ignoriert, haben die Forscher sie angewiesen, den seltenen Beispielen besondere Aufmerksamkeit zu schenken. Sie verwendeten auch einen Trick namens „K-Fold-Kreuzvalidierung“, was so ist, als ließen fünf verschiedene Detektive dieselben Indizien untersuchen und dann über die Antwort abstimmen, um sicherzustellen, dass sie nichts übersehen.

2. Die "Bewertungskarte" (Schritt 2)

Nachdem der Beitrag etikettiert wurde, gibt die KI ihm eine Bewertung von 1 bis 5.

Was es tut: Sie fragt: „Wie stark ist dieses Gefühl?“
Das Ergebnis: Sie erzeugt eine Zahl, die repräsentiert, wie „gesund“ oder „ungesund“ dieser spezifische Beitrag klingt.

3. Die "Ampel" (Schritt 3)

Nun betrachtet die KI zwei aufeinanderfolgende Beiträge, um zu sehen, was zwischen ihnen passiert ist.

Was es tut: Sie versucht, zwei spezifische Dinge zu erkennen:
1. Der Umschlag: Eine plötzliche, heftige Veränderung (wie eine rote Ampel, die augenblicklich grün wird).
2. Die Eskalation: Eine langsame, schleichende Veränderung (wie eine Ampel, die langsam von Gelb nach Rot wechselt).
Das Ergebnis: Sie markiert den exakten Moment, in dem sich die Stimmung einer Person signifikant verändert hat.

4. Der "Geschichtenerzähler" (Schritt 4)

Soblich die KI die einzelnen Beiträge und die Veränderungen analysiert hat, fungiert sie als Zusammenfasser.

Was es tut: Sie liest den gesamten Zeitstrahl der Beiträge und schreibt eine kurze Geschichte oder Zusammenfassung dessen, was passiert ist.
Der Haken: Die Forscher fanden heraus, dass, wenn sie versuchten, die KI anzuleiten, diese Geschichten zu schreiben, indem sie ihr Beispiele zeigten (Fine-Tuning), sie tatsächlich schlechter abschnitt als wenn sie die KI einfach nur baten, die Geschichte aus ihrem bestehenden Wissen heraus zu schreiben. Es ist so, als würde ein Schüler einen spezifischen Aufsatz so gut auswendig lernen, dass er vergisst, wie man einen neuen Aufsatz zu einem ähnlichen Thema schreibt. Der „Zero-Shot“-Ansatz (ohhe Beispiele) funktionierte hier besser.

5. Der "Musterfinder" (Schritt 5)

Schließlich betrachtet die KI viele Zeitstrahlen von verschiedenen Menschen, um gemeinsame Muster zu finden.

Was es tut: Sie fragt: „Beginnen Menschen, die besser werden, meistens mit X? Beginnen Menschen, die sich verschlechtern, meistens mit Y?“
Das Ergebnis: Sie versucht, die „Signatur“ von Verbesserung oder Verschlechterung zu identifizieren – wiederkehrende Muster, die bei verschiedenen Menschen auftreten.

Die großen Herausforderungen, denen sie gegenüberstanden

Zu wenig Daten: Der gesamte Datensatz war winzig (nur etwa 500 Beispiele für einige Aufgaben). Es ist, als würde man versuchen, eine neue Sprache mit nur wenigen Karteikarten zu lernen. Aus diesem Grund wurde die KI leicht verwirrt und „lernte“ manchmal die Trainingsdaten auswendig, anstatt die Regeln zu lernen (ein Problem, das man „Overfitting“ nennt).
Das „Seltene-Vögel-Problem“: Da einige Zustände der psychischen Gesundheit in den Daten sehr selten waren, hatte die KI Schwierigkeiten, sie zu erkennen. Die Forscher schlugen vor, dass sie in Zukunft eventuell KI nutzen könnten, um künstliche, aber realistische Beispiele dieser seltenen Zustände zu „erfinden“, um dem System beim Lernen zu helfen.

Das Fazit

Das Team hat eine Pipeline gebaut, die einen Strom von Social-Media-Beiträgen nimmt und ihn in einen strukturierten Bericht umwandelt:

Etikettiert, was in jedem Beitrag geschieht.
Bewertet die Intensität.
Erkennt plötzliche oder langsame Veränderungen.
Zusammenfasst die Geschichte.
Findet sich wiederholende Muster von Genesung oder Verschlechterung.

Wichtiger Hinweis: Die Autoren betonen sehr deutlich, dass dies ein Forschungswerkzeug ist, kein Arzt. Sie warnen davor, dass es schwerwiegende Folgen in der realen Welt haben könnte, wenn die KI einen Fehler macht (z. B. behauptet, jemand sei in Ordnung, obwohl er es nicht ist, oder umgekehrt). Sie unterstreichen, dass dieses System niemals dazu verwendet werden sollte, Menschen ohne die Aufsicht durch eine menschliche Fachkraft für psychische Gesundheit zu diagnostizieren.

Technisches Resümee: Team MKC bei CLPsych 2026

Problemstellung

Die Arbeit adressiert die Herausforderung, Veränderungen der psychischen Gesundheit durch Social-Media-Zeitlinien zu erfassen und zu charakterisieren – eine kritische Aufgabe angesichts der weltweiten Verbreitung psychischer Störungen und des begrenzten Zugangs zu professioneller Versorgung. Während Large Language Models (LLMs) in allgemeinen Domänen vielversprechende Ergebnisse gezeigt haben, wird ihre Anwendung in der klinischen Psychologie durch den Mangel an Trainingsdaten aufgrund von Datenschutzbedenken erschwert. Die Autoren konzentrieren sich auf die CLPSC 2026 Shared Task, die einen Datensatz verwendet, der von Tsakalidis et al. (2022b) eingeführt wurde, um „Momente der Veränderung“ (Moments of Change, MOC) zu identifizieren – zeitliche Punkte, an denen Verschiebungen in der Stimmung eines Nutzers beobachtbar werden. Das Kernproblem umfasst eine Pipeline aus fünf miteinander verknüpften Aufgaben:

Post-Ebene-Bewertung: Klassifizierung von ABCD-Sub-Elementen und Selbstzuständen (adaptiv/maladaptiv) für einzelne Posts.
Nutzer-Ebene-Aggregation: Schätzung der Präsenzrate jedes mentalen Zustands über die Historie eines Nutzers.
Temporale Modellierung: Identifizierung von „Switches“ (plötzliche Änderungen) und „Escalations“ (graduelle Intensivierungen) in chronologisch geordneten Posts.
Zusammenfassung: Generierung von Zusammenfassungen von Veränderungsereignissen.
Musterextraktion: Erkennung rekurrenter dynamischer Signaturen von Verbesserung und Verschlechterung.

Eine wesentliche technische Hürde ist die schwerwiegende Klassenimbalance und Datensparsamkeit innerhalb des Datensatzes, wobei einige Subdimensionen nur eine einzige oder gar keine Trainingsinstanz enthalten.

Methodik

Die Autoren schlagen eine einheitliche, fünfstufige LLM-basierte Pipeline vor, die die Bewertung auf Post-Ebene mit der temporalen Modellierung auf Nutzer-Ebene integriert.

Schritt 1: Klassifizierung auf Post-Ebene

Das System klassifiziert 12 unabhängige Zielgrößen pro Post (6 Subdimensionen für adaptive Zustände und 6 für maladative Zustände).

Architektur: Qwen3-4B-Embedding (Qwen Embed) dient als Merkmalsextraktor, feinabgestimmt mittels LoRA.
Trainingsstrategie: Die Embeddings werden in 12 unabhängige Klassifikatoren eingespeist, die mit Cross-Entropy-Loss trainiert werden. Um die Klassenimbalance zu adressieren, verwenden die Autoren Invers-Frequenz-Gewichtung (begrenzt auf maximal 10, um Instabilität zu vermeiden) und eine 5-fache Kreuzvalidierung mit Ensembling.

Schritt 2: Bewertung der Präsenz des Selbstzustands

Dieser Schritt sagt numerische Scores (1–5 Likert-Skala) für adaptive und maladative Selbstzustände voraus.

Architektur: Dedizierte Prädiktoren regredieren skalare Werte aus den Embeddings aus Schritt 1.
Trainingsstrategie: Die Modelle nutzen einen gewichteten Huber-Loss, wobei die Gewichte aus der Invers-Frequenz der Score-Bins abgeleitet werden. Die Ausgabe wird auf den Bereich [1, 5] skaliert. Wie in Schritt 1 wird ein 5-faches Kreuzvalidierungs-Ensemble verwendet.

Schritt 3: Detektion von Momenten der Veränderung (MOC)

Dieser Schritt detektiert zwei Übergangsarten: Switch (plötzliche Änderung zwischen aufeinanderfolgenden Posts) und Escalation (graduelle Intensivierung).

Architektur: Qwen Embed wird mit LoRA feinabgestimmt und an zwei unabhängige lineare Klassifikatoren angeschlossen.
Input: Ein Sliding Window der Größe 2 (Posts bei $t-1$ und $t$ ), um Übergänge zum Zeitpunkt $t$ vorherzusagen.
Trainingsstrategie: Binary Cross-Entropy mit adaptiver Klassengewichtung und einem 5-fachen Kreuzvalidierungs-Ensemble. Die Autoren stellen fest, dass größere Modelle (8B) auf dem kleinen Datensatz (~500 Samples) überfiten, weshalb sie das 4B-Modell bevorzugen.

Schritt 4: Sequenz-Zusammenfassung

Das Ziel ist die Generierung einer natürlichen Sprachzusammenfassung der gesamten Sequenz unter Einbeziehung der Annotationen aus den vorherigen Schritten.

Architektur: Supervised Fine-Tuning (SFT) auf Qwen3.5-4B und Qwen3-4B-Instruct mittels LoRA.
Inferenz: Das Modell nimmt die Vorhersagen aus den Schritten 1–3 als Input statt der Ground-Truth, um die Pipeline-Umgebung originalgetreu zu simulieren.
Herausforderung: Die Autoren beobachteten, dass das Fine-Tuning auf diesem kleinen Datensatz die Leistung im Vergleich zum Zero-Shot-Prompting manchmal verschlechterte, was wahrscheinlich auf die Fehlerfortpflanzung (Noise Propagation) und das Überschreiben des vortrainierten Wissens durch das Modell zurückzuführen ist.

Schritt 5: Extraktion dynamischer Signaturen

Dieser abschließende Schritt analysiert, wie Selbstzustands-Komponenten über Sequenzen hinweg interagieren, um rekurrente Muster von Verschlechterung und Verbesserung zu identifizieren.

Ansatz: Ein Zero-Shot-Ansatz unter Verwendung von Qwen3.5-9B.
Prozess: Um Out-of-Memory-Fehler zu vermeiden, werden die Sequenzen in Gruppen aufgeteilt, um Signaturen zu extrahieren, welche dann zusammengefasst werden.

Zentrale Ergebnisse

Schritte 1 & 2 (Klassifizierung & Regression): Auf dem Validierungsset verbesserte die adaptive Gewichtung die Leistung in Schritt 1 konsistent. Für Schritt 2 hingegen schnitten ungewichtete Modelle besser ab. Auf dem Testset bot das K-Fold-Ensembling klare Verbesserungen gegenüber Single-Model-Baselines für beide Schritte, was auf die vollständigere Nutzung der Trainingsdaten zurückzuführen ist.
Schritt 3 (MOC-Detektion): Das Qwen3-4B Modell übertraf die 8B-Variante, was bestätigt, dass größere Modelle auf dem begrenzten Datensatz überfiten. Das K-Fold-Ensemble steigerte den F1-Score weiter auf 0,55.
Schritt 4 (Zusammenfassung): Die feinabgestimmten Modelle (Qwen3.5-4B und Qwen3-4B) schnitten schlechter ab als die Zero-Shot-Baseline in Bezug auf Konsistenz und Widerspruchswerte. Die Autoren führen dies auf das Rauschen aus den vorangegangenen Schritten und das Risiko zurück, dass das Fine-Tuning vortrainiertes Wissen überschreibt.
Schritt 5 (Signaturen): Der Zero-Shot-Ansatz lieferte Scores von 0,7266 für Verbesserung (Improvement) und 0,2301 für Verschlechterung (Deterioration).

Bedeutung und Beiträge

Die Arbeit präsentiert eine umfassende Pipeline, die die Bewertung auf Post-Ebene und die temporale Modellierung auf Nutzer-Ebene vereinigt. Die primären Beiträge sind:

Einheitliches Framework: Ein kohärentes System, das das Spektrum von granularer Post-Klassifizierung bis hin zur hochgradigen temporalen Musterextraktion abdeckt.
Robustheit gegenüber Imbalance: Der effektive Einsatz von Invers-Frequenz-Gewichtung und K-Fold-Ensembling, um die schwerwiegende Klassenimbalance und Datensparsamkeit zu mildern, die für psychologische Datensätze typisch sind.
Empirische Erkenntnisse zur Modellskalierung: Die Studie zeigt, dass in ressourcenarmen, verrauschten Domänen kleinere Modelle (4B) in Kombination mit Ensemble-Strategien besser abschneiden können als größere Modelle (8B), die zu Overfitting neigen.
Warnung vor Fine-Tuning: Die Ergebnisse legen nahe, dass in extrem ressourcenarmen Settings Zero-Shot-Prompting manchmal überlegen ist, da das Fine-Tuning Gefahr läuft, wertvolles vortrainiertes Wissen zu löschen.

Limitationen und zukünftige Arbeit

Die Autoren räumen signifikante Limitationen ein, primär die Knappheit der Trainingsdaten (ca. 500 Samples) und die daraus resultierende Klassenimbalance. Sie stellen fest, dass einige Subdimensionen nicht genügend Daten für ein zuverlässiges Lernen enthielten.

Vorgeschlagene Lösung: Die Autoren schlagen vor, LLMs zu nutzen, um synthetische Nutzer-Posts für unterrepräsentierte Subdimensionen zu generieren, um einen ausgewogeneren Datensatz zu erstellen.
Ethische Erwägungen: Die Arbeit betont, dass diese Pipeline ein Forschungsobjekt ist und kein Diagnosewerkzeug. Sie warnt vor den Risiken von falsch-positiven/negativen Ergebnissen in klinischen Settings sowie vor der ethischen Komplexität der Generierung synthetischer Daten für sensible Themen wie Selbstverletzung, und plädiert für eine klinische Expertenprüfung, bevor solche Daten für das Training verwendet werden.