DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

Stellen Sie sich eine Welt vor, in der ein freundlicher, gesprächiger Roboter sich neben jemanden setzen und behutsam herausfinden könnte, ob diese Person deprimiert ist, ohne jemals die beängstigenden, direkten Fragen wie „Bist du depressiv?“ zu stellen. Dies ist der Traum des konversationellen Depressions-Screenings. Wissenschaftler wissen schon lange, dass Werkzeuge wie das Beck-Depressions-Inventar (BDI-II) großartig darin sind, Traurigkeit und andere Symptome zu messen, aber sie benötigen normalerweise einen geschulten menschlichen Arzt, der die Fragen stellt. Das ist teuer und schwer skalierbar. Hier kommen Large Language Models (LLMs) ins Spiel: superintelligente Computerprogramme, die wie Menschen sprechen können. Die große Frage, die sich Forscher stellen, ist: Können wir einen Roboter-Interviewer bauen, der klug genug ist, die Anzeichen von Depression allein durch ein Gespräch zu erkennen, ohne dass ein Mensch involviert sein muss? Die Herausforderung ist knifflig, denn diese Roboter können die Antwort nicht einfach „wissen“; sie müssen basierend auf einem Gespräch raten, und man darf ihnen die richtige Antwort nicht verraten, während sie lernen.

In dieser Arbeit versucht ein Team von Georgia Tech (DS@GT), dieses Rätsel für einen Wettbewerb namens eRisk 2026 zu lösen. Sie bauten ein System, um Computer-Charaktere (genannt „Personas“) zu interviewen, die so tun, als hätten sie unterschiedliche Grade an Depression. Das Ziel war es, eine Punktzahl zu ermitteln und die vier wichtigsten Symptome aufzulisten, während das Gespräch gleichzeitig natürlich blieb. Das Team begann mit einer einfachen Idee: einfach ein einziges, superteures und leistungsstarkes KI-Modell für den gesamten Job zu nutzen. Aber das war kostspielig und manchmal inkonsistent. So entwickelten sie ihr System zu einem „Team“ von KIs weiter: eines zum Chatten, eines zum Bewerten und ein Manager, um die Dinge auf Kurs zu halten. Ihre wichtigste Entdeckung? Sie tauschten den teuren „Starspieler“-Interviewer gegen ein günstigeres Open-Source-Modell (Gemma 27B) aus und nutzten kluge mathematische Tricks, um ihm zu helfen, bei der Sache zu bleiben. Überraschenderweise schnitt dieses günstigere Team fast so gut ab wie das teurere, was beweist, dass man nicht immer das leistungsstärkste (und teuerste) Gehirn braucht, um die Aufgabe zu erledigen, solange man einen guten Spielplan hat.

Die Geschichte des Teams der sprechenden Roboter

Das Georgia-Tech-Team, bekannt als DS@GT, nahm an einem Wettbewerb teil, bei dem sie ein System bauen mussten, um 20 verschiedene Computer-Charaktere zu interviewen. Jeder Charakter war eine „Persona“, die eine Person mit einem spezifischen Grad an Depression simulierte. Die Regeln waren streng: Das System musste wie ein natürliches Gespräch wirken und niemals direkte Fragen wie „Bist du traurig?“ stellen, sondern stattdessen die Antwort durch Zuhören im Chat erschließen. Am Ende musste das System eine Gesamtpunktzahl (von 0 bis 63) schätzen und bis zu vier Schlüssel-Symptome benennen.

Das Team probierte drei verschiedene Ansätze aus, vergleichbar mit dem schrittweisen Upgrade eines Automotor-Aggregats.

1. Der Prototyp mit Einzelmotor
Zuerst versuchten sie es mit einem „monolithischen“ System. Stellen Sie sich einen einzigen Roboter vor, der alles macht: die Fragen stellt, die Antworten zuhört und die Stimmung gleichzeitig bewertet. Es funktionierte, war aber etwas wackelig. Manchmal wurde der Roboter verwirrt, gab für dieselbe Person an verschiedenen Tagen unterschiedliche Werte an oder lief die Zeit aus, bevor er über alle wichtigen Gefühle gesprochen hatte. Es war wie ein Schüler, der versucht, eine Prüfung abzulegen, einen Aufsatz zu schreiben und den Aufsatz gleichzeitig zu bewerten – zu viel auf einmal zu bewältigen.

2. Das Multi-Agenten-Team (Die Baseline)
Um die Verwirrung zu beheben, teilten sie die Aufgabe auf. Sie bauten ein Multi-Agenten-System. Denken Sie an dies als ein kleines Team von Spezialisten:

• Der Interviewer: Ein Roboter, dessen einzige Aufgabe es ist, natürlich zu chatten und die richtigen Folgefragen zu stellen.
• Der Scorer: Ein anderer Roboter, der den gesamten Chat beobachtet und ständig die Punktzahl und das Konfidenzniveau für jedes mögliche Symptom aktualisiert.
• Der Orchestrator: Ein Manager-Roboter, der dem Interviewer sagt: „Hey, wir haben noch nicht über den Schlaf gesprochen, geh das als Nächstes an!“ und entscheidet, wann das Gespräch beendet wird.

Dieser Team-Ansatz war viel zuverlässiger. Er hatte jedoch einen Nachteil: Er war teuer. Da sie für den Interviewer eine bezahlte High-End-KI (GPT-5-nano) verwendeten und das Gespräch viele Male durchlaufen lassen mussten, um einen guten Durchschnitt zu erhalten, steigen die Kosten schnell an.

3. Die Hybrid-Konfiguration (Das große Experiment)
Das Team stellte eine kühne Frage: Können wir den teuren Interviewer durch ein günstigeres Open-Source-Modell (Gemma 27B) ersetzen, wenn wir ihm bessere Anweisungen geben?

Sie tauschten den bezahlten Interviewer gegen das Open-Source-Modell Gemma 27B aus. Aber sie wussten, dass dieses Modell etwas „schwächer“ war – es würde Anweisungen vielleicht nicht so perfekt befolgen oder nicht so tief in die Emotionen eintauchen. Um dies zu beheben, vertrauten sie nicht nur auf Glück, sondern bauten drei „algorithmische Sicherheitsnetze“, um das schwächere Modell zu führen:

• Der Dialogbaum: Anstatt den Roboter die Fragen spontan erfinden zu lassen, gaben sie ihm eine vorgefertigte Karte (einen Baum). Er begann mit spezifischen Fragen zu Traurigkeit und folgte einem verzweigenden Pfad basierend auf den Antworten. Dies verhinderte, dass der Roboter vom Thema abwich.
• Reliability-Weighted Aggregation (Gewichtung nach Zuverlässigkeit): Da das schwächere Modell Fehler machen könnte, führten sie das Interview 20 Mal statt 10 Mal durch. Anstatt dann nur den mittleren Wert zu wählen, nutzten sie eine kluge mathematische Methode (inspiriert vom „Weaver“-Framework), um die Antworten zu gewichten. Wenn die meisten Durchläufe bei einem Symptom übereinstimmten, erhielt diese Antwort mehr Gewicht. Es ist, als würde man 20 Schülern eine Frage stellen und der Antwort vertrauen, bei der die meisten zustimmen, anstatt einfach nur eine auszuwählen.
• Cluster Imputation: Manchmal übersah der Roboter ein Symptom komplett, weil die Zeit knapp wurde. Das System hatte einen Backup-Plan: Wenn es ein Symptom übersah, aber starke Anzeichen für verwandte Symptome erkannte (wie etwa „Müdigkeit“ und „Schlafprobleme“ zu sehen, wenn es „Energiemangel“ übersah), schätzte es den fehlenden Wert basend auf diesen Hinweisen. Dies verhinderte, dass die Endpunktzahl zu niedrig ausfiel, nur weil der Roboter vergessen hatte, eine Frage zu stellen.

Die Ergebnisse: Günstiger und genauso gut

Das Team ließ sein System auf allen 20 Personas laufen und reichte drei verschiedene Versionen ihrer Ergebnisse ein.

• Run 1 nutzte das teure, bezahlte Team (Baseline).
• Runs 2 und 3 nutzten das günstigere Hybrid-Team mit dem Open-Source-Interviewer.

Die Ergebnisse waren überraschend. Das Hybrid-System, das das günstigere Gemma 27B Modell verwendete, schnitt in der Hauptmetrik der Punktzahl (ADODL) tatsächlich besser ab als das teure bezahlte System.

• Run 3 (Hybrid) erreichte 0,9063 und belegte damit den 3. Platz aller Läufe aller Teams des Wettbewerbs.
• Run 1 (Paid Baseline) erreichte 0,8841.

Noch beeindruckender war, dass das Hybrid-System etwa 2 $ pro Persona kostete, während das bezahlte System etwa 8 $ kostete. Das ist eine Kostensenkung von 75 % bei besseren Ergebnissen!

Die Autoren legen nahe, dass dies beweist, dass ein schwächeres Open-Source-Modell mit einem stärkeren, bezahlten Modell konkurrieren kann, wenn man ihm genug „algorithmische Aufsicht“ (die Karte, die Mathematik und die Backup-Pläne) gibt. Sie merkten jedoch auch eine kleine Schwäche an: Das Hybrid-System war sehr gut darin, körperliche Symptome (wie Müdigkeit oder Schlafprobleme) zu erkennen, übersah aber manchmal die tieferen emotionalen Aspekte (wie Schuldgefühle oder Traurigkeit). Dies führte zu etwas niedrigeren Werten bei der Identifizierung spezifischer Symptome, obwohl die allgemeine Depressionspunktzahl korrekt war.

Was dies bedeutet

Die Arbeit kommt zu dem Schluss, dass man nicht zwangsläufig die teuerste KI benötigt, um ein gutes Werkzeug zur Depressions-Diagnose zu bauen. Indem man eine kluge Teamstruktur nutzt und der KI eine klare Karte vorgibt, kann ein günstigeres Open-Source-Modell eine fantastische Arbeit leisten. Dies ist von großer Bedeutung, da solche Werkzeuge auch an Orten eingesetzt werden könnten, an denen Geld knapp ist oder die Privatsphäre ein großes Anliegen ist (da das Open-Source-Modell auf lokalen Computern laufen kann, ohne Daten an große Tech-Unternehmen zu senden).

Das Team räumt ein, dass sie keinen perfekten „Head-to-Head“-Test durchgeführt haben, bei dem alles außer dem Modell exakt gleich geblieben wäre, da sich die Wettbewerbsregeln wöchentlich änderten. Aber die vorliegenden Beweise deuten stark darauf an, dass eine kleinere KI mit der richtigen Anleitung weit über ihre eigentliche Gewichtsklasse hinaus leisten kann.