Evaluating Large Language Models for Assessment of Psychosis Risk

Die Studie zeigt, dass große Sprachmodelle klinische Interviews analysieren und dabei eine zuverlässige Vorhersage des Psychoserisikos ermöglichen, was skalierbare Ansätze zur Früherkennung unterstützt.

Das Wesentliche

Titel: KI als „Super-Assistent" für die Früherkennung von Psychosen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein sehr komplexes Rätsel zu lösen: Wer könnte in Zukunft eine Psychose entwickeln? Um das herauszufinden, müssen Experten mit Patienten lange, sehr sensible Gespräche führen. Diese Gespräche sind wie ein riesiger, unordentlicher Haufen aus tausenden von Puzzleteilen. Normalerweise müssen hochspezialisierte Ärzte diese Teile mühsam sortieren, bewerten und ein Bild daraus zusammensetzen. Das dauert lange, ist teuer und nicht überall möglich.

Dieser wissenschaftliche Artikel fragt eine spannende Frage: Können wir Künstliche Intelligenz (KI), genauer gesagt „Large Language Models" (LLMs), als Super-Assistenten einsetzen, um diese Arbeit zu erleichtern?

Hier ist die einfache Erklärung der Studie, gespickt mit ein paar bildhaften Vergleichen:

1. Das Problem: Der überlastete Arzt

Die Früherkennung von Psychosen ist wie ein Sicherheitsnetz, das zu viele Löcher hat. Nur wenige Menschen, die eigentlich Hilfe brauchen, werden rechtzeitig gefunden. Warum? Weil die Gespräche, die man führen muss, extrem schwierig zu bewerten sind. Ein Arzt muss genau hinhören, ob ein Satz nur eine launige Bemerkung ist oder ein Warnsignal. Das erfordert viel Zeit und Erfahrung. Es ist, als würde man versuchen, eine Nadel in einem Heuhaufen zu finden, aber der Heuhaufen wächst jeden Tag.

2. Die Lösung: Der KI-Super-Assistent

Die Forscher haben 11 verschiedene KI-Modelle getestet. Man kann sich diese Modelle wie Schüler unterschiedlicher Intelligenzstufen vorstellen:

• Die kleinen Modelle: Wie ein cleverer Grundschüler. Sie sind schnell und brauchen wenig Energie, können aber bei sehr komplexen Aufgaben manchmal etwas durcheinanderkommen.
• Die großen Modelle: Wie ein erfahrener Professor mit einem riesigen Gedächtnis. Sie sind sehr genau, brauchen aber viel mehr Zeit und Energie (Rechenleistung), um zu arbeiten.

Die KI bekam die Abschriften von echten Patientengesprächen (die ersten 30 Minuten) und sollte wie ein Arzt bewerten: „Wie stark sind die Symptome?" und „Wie oft treten sie auf?".

3. Die Ergebnisse: Der Professor gewinnt, aber der Schüler ist gut genug

Das Ergebnis war ermutigend:

• Die großen Modelle (die „Professoren") waren die Besten. Sie konnten die Patienten, die ein hohes Risiko haben, mit einer Trefferquote von etwa 80 % richtig erkennen. Sie waren besonders gut darin, keine Warnsignale zu übersehen (hohe Empfindlichkeit), auch wenn sie manchmal ein bisschen zu vorsichtig waren und bei harmlosen Dingen auch einmal Alarm schlugen.
• Die kleinen Modelle (die „Schüler") waren überraschend gut! Sie waren zwar nicht ganz so präzise wie die Professoren, aber sie kamen auf ein sehr solides Ergebnis. Das ist wichtig, weil sie viel schneller und günstiger zu betreiben sind. Man könnte sie quasi auf einem normalen Laptop laufen lassen, während die großen Modelle riesige Supercomputer brauchen.

4. Wo hakt es noch? (Die „Halluzinationen")

Wie jeder Assistent macht auch die KI manchmal Fehler.

• Die „Über-Interpretation": Manchmal nimmt die KI eine ganz normale menschliche Sorge (z. B. „Ich habe Angst, dass mich jemand betrügt, weil ich schlechte Erfahrungen gemacht habe") und wertet sie als krankhaftes Symptom. Das ist wie ein Feuerwehrmann, der schon bei einem kleinen Rauchgeruch die volle Alarmstufe ausruft.
• Die „Erfindungen": In sehr seltenen Fällen (etwa 3 %) „halluzinierte" die KI Dinge, die im Gespräch gar nicht gesagt wurden. Sie fügte Details hinzu, die nicht da waren. Aber: Sie vergaß fast nie wichtige Sicherheitswarnungen (z. B. wenn jemand sich selbst oder anderen schaden könnte).

5. Fairness: Funktioniert es für alle?

Die Forscher haben geprüft, ob die KI bestimmte Gruppen benachteiligt (z. B. wegen Alter, Herkunft oder Geschlecht).

• Das Gute: Bei Alter, Sprache und Geschlecht war die KI sehr fair. Sie urteilte fast gleich gut über alle.
• Das Herausfordernde: An manchen Orten (verschiedene Kliniken) war die KI etwas ungenauer als an anderen. Das liegt wahrscheinlich daran, dass die Ärzte an diesen Orten die Gespräche unterschiedlich geführt haben. Die KI lernt also von dem, was sie sieht – wenn die Vorlage (das Gespräch) unterschiedlich ist, ist auch das Ergebnis unterschiedlich.

6. Das Fazit: Ein Werkzeug, kein Ersatz

Die Studie zeigt, dass KI das Potenzial hat, die Früherkennung von Psychosen zu revolutionieren. Sie kann wie ein erster Filter oder ein Vorschau-Assistent dienen.

• Die Vision: Die KI liest das Gespräch, markiert die verdächtigen Stellen und schreibt eine kurze Zusammenfassung. Ein echter Arzt muss dann nicht mehr alles von Null lesen, sondern kann sich auf die wichtigsten Punkte konzentrieren und die KI-Entscheidung prüfen.
• Der Mensch bleibt im Loop: Die KI ersetzt den Arzt nicht. Sie ist wie ein sehr schneller, sehr fleißiger Praktikant, der die Vorarbeit macht, aber der erfahrene Chef (der Arzt) muss am Ende das Urteil fällen.

Zusammenfassend: Diese KI-Modelle sind wie ein neues, mächtiges Werkzeug in der Hand der Ärzte. Sie können helfen, mehr Menschen früher zu erreichen und das Sicherheitsnetz für die psychische Gesundheit dichter zu machen – solange wir sie mit menschlicher Aufsicht und Verantwortung einsetzen.

Technische Zusammenfassung

Titel: Evaluation von Large Language Models (LLMs) zur Bewertung des Psychoserisikos

1. Problemstellung

Die Prävention von Psychosen hängt entscheidend von der frühzeitigen Erkennung von Personen mit einem klinischen Hochrisiko für Psychosen (CHR-P) ab. Aktuelle Detektionsraten liegen jedoch nur bei 5–14%, was die Wirksamkeit präventiver Maßnahmen stark einschränkt.

• Herausforderung: Die etablierten Assessments (z. B. PSYCHS, CAARMS, SIPS) sind hochspezialisierte, semi-strukturierte Interviews, die von geschultem Fachpersonal durchgeführt werden müssen.
• Limitationen: Diese Prozesse sind zeitaufwendig (bis zu 2 Stunden pro Assessment), subjektiv in der Interpretation, schwer skalierbar und führen zu Inkonsistenzen zwischen verschiedenen Bewertungern und Standorten.
• Ziel: Es wurde untersucht, ob Large Language Models (LLMs) in der Lage sind, klinisch relevante Informationen aus Interviewtranskripten zu extrahieren, um das Psychoserisiko objektiv, skalierbar und reproduzierbar zu bewerten.

2. Methodik

Die Studie evaluierte 11 Open-Weight-LLMs (Parametergrößen von 1B bis 80B) auf einem großen, multi-sitigen Datensatz.

• Datensatz: Es wurden 678 Transkripte von PSYCHS-Interviews (die ersten 30 Minuten) von 373 Teilnehmern (77,7 % CHR-P, 22,3 % Kontrollgruppe) aus dem AMP-SCZ-Datensatz verwendet.
• Aufgabenstellung:
  1. Klassifikation: Bestimmung des CHR-P-Status (Ja/Nein) auf Ebene der Teilnehmer-Besuche.
  2. Scoring: Bewertung der Schwere (Severity) und Häufigkeit (Frequency) von 15 Symptomdomänen (z. B. ungewöhnliche Gedanken, auditive/visuelle Wahrnehmungsstörungen) auf einer Skala von 0–6.
  3. Zusammenfassung: Generierung einer evidenzbasierten Begründung für die Scores.
• Pipeline & Prompting:
  • Die Modelle wurden lokal auf gesicherter Infrastruktur (King's College London, University of Oxford) bereitgestellt, um Datenschutz zu gewährleisten.
  • Es wurde ein strukturierter Prompting-Ansatz mit Chain-of-Thought (CoT) verwendet. Die Modelle erhielten spezifische Prompts pro Symptomdomäne, die Definitionen, Bewertungskriterien und ein striktes JSON-Ausgabeformat (Severity, Frequency, Summary) vorschrieben.
  • Ein automatischer Validierungs- und Reparaturprozess (Schema-Checks, Regex-Parsing) sicherte die Konsistenz der JSON-Ausgaben.
• Evaluation: Die LLM-Ergebnisse wurden mit den von Forschern bewerteten "Ground-Truth"-Scores verglichen. Metriken umfassten Genauigkeit, Sensitivität, Spezifität, F1-Score, MCC, Pearson-Korrelation (r) und Intraklassen-Korrelationskoeffizienten (ICC). Zudem wurden algorithmische Fairness (nach Alter, Ethnie, Sprache, Geschlecht, Standort) und Compute-Performance-Trade-offs analysiert.

3. Wichtige Beiträge & Ergebnisse

A. Klassifikationsleistung (CHR-P-Erkennung)

• Die Leistung korrelierte stark mit der Modellgröße.
• Das größte Modell (Llama-3.3-70B-Instruct) erzielte die beste Gesamtleistung mit einer Genauigkeit von 80,2 %, einer Sensitivität von 93,4 % und einer Spezifität von 58,0 %.
• Das Qwen3-Next-80B-Modell zeigte vergleichbare Ergebnisse (Genauigkeit 79,3 %, Sensitivität 93,4 %).
• Tendenz: Die Modelle neigten systematisch zu einer Überbewertung der Symptome (hohe Sensitivität, niedrigere Spezifität), was im Screening-Kontext als akzeptabel gilt, um falsch-negative Ergebnisse (übersehene Risiken) zu minimieren.

B. Symptom-Scoring (Schwere & Häufigkeit)

• Es wurden starke Korrelationen zwischen LLM-Scores und Expertenbewertungen festgestellt.
• Llama-3.3-70B: ICC für Schwere = 0,743, ICC für Häufigkeit = 0,748.
• Qwen3-Next-80B: ICC für Schwere = 0,767, ICC für Häufigkeit = 0,749.
• Auch kleinere Modelle (z. B. gemma-3n-E4B-it) zeigten überraschend gute Ergebnisse (ICC ~0,67–0,73) bei deutlich geringerem Rechenaufwand.
• Die Leistung variierte je nach Symptomdomäne: Auditive und visuelle Wahrnehmungsstörungen wurden am besten bewertet, während somatische und erotomanische Ideen schwieriger zu erfassen waren.

C. Algorithmische Fairness

• Demografische Gruppen: Die Unterschiede in der Leistung (Demographic Parity, True/False Positive Rates) waren über Alter, Ethnie, Muttersprache und Geschlecht hinweg gering.
• Standort: Die größten Leistungsunterschiede zeigten sich zwischen den verschiedenen Studienstandorten (z. B. Melbourne vs. andere Standorte), was auf Heterogenität in Interviewstilen oder Rekrutierungsstrategien hindeutet, nicht unbedingt auf inhärente Modellverzerrungen.

D. Qualität der Zusammenfassungen & Fehleranalyse

• Genauigkeit: 93,3 % der generierten Zusammenfassungen repräsentierten den Transkriptinhalt vollständig.
• Halluzinationen: Nur 2,7 % der Berichte enthielten klinisch relevante Konfabulationen (z. B. fälschlicherweise behauptete Beeinträchtigungen).
• Fehlermuster: Die Hauptfehlerquelle war die "Über-Pfadologisierung" (Over-pathologisation) von Erfahrungen, die zwar ungewöhnlich, aber im Rahmen normaler menschlicher oder kultureller Erfahrungen liegen (z. B. Misstrauen als Reaktion auf Mobbing).

E. Compute-Performance-Trade-offs

• Es besteht ein klarer Zielkonflikt zwischen Genauigkeit und Ressourcennutzung. Größere Modelle benötigen mehr GPU-Speicher und erzeugen Tokens langsamer.
• Praktische Empfehlung: Das Modell gemma-3n-E4B-it wurde als besonders vielversprechend für den Einsatz identifiziert, da es eine hohe F1-Leistung bei moderatem Speicherbedarf (21 GB) und guter Durchsatzrate (7,59 Tokens/Sekunde) bietet. Dies ermöglicht den Einsatz auf Hardware mit begrenzten Ressourcen.

4. Bedeutung und Ausblick

• Skalierbarkeit: Die Studie zeigt, dass Open-Weight-LLMs das Potenzial haben, die Skalierbarkeit der Früherkennung von Psychosen zu revolutionieren, indem sie die manuelle Bewertung entlasten.
• Human-in-the-Loop: Die Autoren plädieren für einen hybriden Ansatz, bei dem LLMs als Vorfilter oder zur Unterstützung von Klinikern dienen (Human-in-the-Loop), anstatt diese vollständig zu ersetzen. Dies ermöglicht eine effiziente Triage, wobei klinische Experten die finalen Entscheidungen treffen.
• Datenschutz: Durch die Nutzung lokal laufender Open-Weight-Modelle werden Datenschutzbedenken im Umgang mit sensiblen psychiatrischen Daten adressiert, die bei der Nutzung kommerzieller Cloud-APIs bestehen.
• Limitationen: Die Ergebnisse basieren auf Forschungsdaten (nicht rein klinischen Routinedaten) und nur auf den ersten 30 Minuten der Interviews. Zudem wurden keine "Reasoning"-Modelle (wie o1 oder Qwen-Thinking) evaluiert, was ein zukünftiger Forschungsschwerpunkt ist.

Fazit: Large Language Models können klinisch relevante Symptomdaten aus psychometrischen Interviews mit hoher Genauigkeit extrahieren und bewerten. Während größere Modelle die beste Leistung bieten, bieten mittlere Modelle eine praktikable Balance aus Genauigkeit und Recheneffizienz für den zukünftigen klinischen Einsatz.