DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

Stel je een wereld voor waarin een vriendelijke, pratende robot naast iemand kan gaan zitten en op een zachte manier kan achterhalen of diegene zich neerslachtig voelt, zonder ooit de enge, directe vragen te stellen als "Ben je depressief?". Dit is de droom van conversationele depressie-screening. Wetenschappers weten al lang dat instrumenten zoals de Beck Depression Inventory (BDI-II) geweldig zijn in het meten van verdriet en andere symptomen, maar ze hebben meestal een getrainde menselijke arts nodig om de vragen te stellen. Dat is duur en moeilijk op te schalen. Maak kennis met Large Language Models (LLMs): superintelligente computerprogramma's die kunnen praten als mensen. De grote vraag die onderzoekers zich stellen is: Kunnen we een robot-interviewer bouwen die slim genoeg is om de tekenen van depressie te herkennen door simpelweg te chatten, zonder dat er een mens aan te pas komt? De uitdaging is lastig omdat deze robots de antwoorden niet zomaar kunnen "weten"; ze moeten een gok wagen op basis van een gesprek, en ze kunnen niet verteld worden wat het juiste antwoord is terwijl ze leren.

In dit artikel probeert een team van Georgia Tech (DS@GT) dit puzzelstukje op te lossen voor een wedstrijd genaamd eRisk 2026. Ze bouwden een systeem om computerpersonages (genaamd "persona's") te interviewen die doen alsover dat ze verschillende niveaus van depressie hebben. Het doel was om een score te krijgen en de top vier symptomen op te sommen, terwijl het gesprek natuurlijk bleef. Het team begon met een simpel idee: gebruik gewoon één superdure, krachtige AI om het hele werk te doen. Maar dat was kostbaar en soms inconsistent. Dus evolueerden ze hun systeem naar een "team" van AI's: één om te chatten, één om te beoordelen, en een manager om de boel op koers te houden. Hun grootste ontdekking? Ze vervingen de dure "sterspeler" interviewer door een goedkoper, open-source model (Gemma 27B) en gebruikten slimme wiskundige trucjes om het op de rails te houden. Verrassend genoeg presteerde dit goedkopere team bijna net zo goed als het dure team, wat bewijst dat je niet altijd het krachtigste (en duurste) brein nodig hebt om de klus te klaren, zolang je maar een goed speelboek hebt.

Het Verhaal van het Praatende Robotteam

Het Georgia Tech-team, bekend als DS@GT, deed mee aan een wedstrijd waarbij ze een systeem moesten bouwen om 20 verschillende computerpersonages te interviewen. Elk personage was een "persona" die een persoon simuleerde met een specifiek niveau van depressie. De regels waren streng: het systeem moest een natuurlijke conversatie voeren, nooit directe vragen stellen zoals "Ben je verdrietig?", maar in plaats daarvan het antwoord achterhalen door te luisteren naar de chat. Aan het einde moest het systeem een totaalscore raden (van 0 tot 63) en tot vier belangrijke symptomen benoemen.

Het team probeerde drie verschillende benaderingen, vergelijkbaar met het stap voor stap upgraden van een automotor.

1. Het Single-Engine Prototype
Eerst probeerden ze een "monolithisch" systeem. Stel je één enkele robot voor die alles doet: de vragen stelt, naar de antwoorden luistert en de stemming beoordeelt, allemaal tegelijk. Het werkte, maar het was een beetje wankel. Soms raakte de robot in de war, gaf verschillende scores voor dezelfde persoon op verschillende dagen, of kwam tijd tekort voordat alle belangrijke gevoelens waren besproken. Het was alsof een student probeert een toets te maken, een essay te schrijven en het essay te nakijken in één enkele ademteug — te veel om in één keer te verwerken.

2. Het Multi-Agent Team (De Baseline)
Om de verwarring op te lossen, verdeelden ze de taak. Ze bouwden een Multi-Agent Systeem. Zie dit als een klein team van specialisten:

• De Interviewer: Een robot wiens enige taak het is om natuurlijk te chatten en de juiste vervolgvragen te stellen.
• De Scorer: Een andere robot die de hele chat bekijkt en de score en het betrouwbaarheidsniveau voor elk mogelijk symptoom constant bijwerkt.
• De Orchestrator: Een manager-robot die de Interviewer vertelt: "Hé, we hebben nog niet over slaap gesproken, ga daar nu naar vragen!" en beslist wanneer het gesprek moet stoppen.

Deze teambenadering was veel betrouwbaarder. Het had echter een nadeel: het was duur. Omdat ze een betaalde, hoogwaardige AI (GPT-5-nano) gebruikten voor de Interviewer, en ze de conversatie vele malen moesten draaien om een goed gemiddelde te krijgen, liepen de kosten snel op.

3. De Hybride Configuratie (Het Grote Experiment)
Het team stelde een gedurfde vraag: Kunnen we de dure Interviewer vervangen door een goedkoper, open-source model (Gemma 27B) als we het betere instructies geven?

Ze vervingen de betaalde Interviewer door de open-source Gemma 27B. Maar ze wisten dat dit model wat "zwakker" was — het zou de instructies misschien niet zo perfect opvolgen of niet zo diep in emoties graven. Om dit op te lossen, vertrouwden ze niet alleen op geluk; ze bouwden drie "algoritmische veiligheidsnetten" om het zwakkere model te begeleiden:

• De Dialoogboom: In plaats van de robot vragen ter plekke te laten verzinnen, gaven ze het een vooraf geschreven kaart (een boom). Het begon met specifieke vragen over verdriet en volgde een vertakkend pad op basis van de antwoorden. Dit voorkwam dat de robot uit de bocht vloog.
• Reliability-Weighted Aggregation: Omdat het zwakkere model fouten zou kunnen maken, voerden ze de interview 20 keer uit in plaats van 10. Vervolgens gebruikten ze, in plaats van alleen het middelste antwoord te kiezen, een slimme wiskundige methode (geïnspireerd door het "Weaver"-framework) om de antwoorden te wegen. Als de meeste runs het eens waren over een symptoom, kreeg dat antwoord meer gewicht. Het is alsof je 20 studenten een vraag stelt en het antwoord vertrouwt waar de meeste van hen het over eens zijn, in plaats van slechts één te kiezen.
• Cluster Imputation: Soms miste de robot een symptom volledig omdat de tijd op was. Het systeem had een back-up plan: als het een symptom miste maar wel sterke signalen zag van gerelateerde symptomen (zoals "vermoeidheid" en "slaapproblemen" zien wanneer het "gebrek aan energie" miste), zou het de ontbrekende score raden op basis van die aanwijzingen. Dit voorkwam dat de eindscore te laag uitviel, enkel omdat de robot vergat een vraag te stellen.

De Resultaten: Goedkoper en Net zo Goed

Het team draaide hun systeem op alle 20 persona's en diende drie verschillende versies van hun resultaten in.

• Run 1 gebruikte het dure, betaalde team (Baseline).
• Runs 2 en 3 gebruikten het goedkopere, hybride team met de open-source Interviewer.

De resultaten waren verrassend. Het hybride systeem, met het goedkopere Gemma 27B-model, presteerde zelfs beter dan het dure betaalde systeem in de belangrijkste scoringsmetriek (ADODL).

• Run 3 (Hybride) scoorde 0.9063, waarmee het 3e werd van alle runs van alle teams in de wedstrijd.
• Run 1 (Betaalde Baseline) scoorde 0.8841.

Nog indrukwekkender: het hybride systeem kostte ongeveer $2 per persona, terwijl het betaalde systeem ongeveer $8 kostte. Dat is een kostenreductie van 75% voor betere resultaten!

De auteurs suggereren dat dit bewijst dat een zwakker, open-source model kan concurreren met een sterker, betaald model, mits je het genoeg "algoritmisch toezicht" geeft (de kaart, de wiskunde en de back-up plannen). Ze merkten echter ook een klein gebrek op: het hybride systeem was erg goed in het herkennen van fysieke symptomen (zoals vermoeidheid of slaapproblemen), maar miste soms de diepere emotionele symptomen (zoals schuldgevoel of verdriet). Dit leidde tot iets lagere scores voor het identificeren van specifieke symptomen, ook al was de algemene depressiescore accuraat.

Wat dit Betekent

Het paper concludeert dat je niet noodzakelijkerwijs de duurste AI nodig hebt om een goed instrument voor mentale gezondheidsscreening te bouwen. Door een slim teamstructuur te gebruiken en de AI een duidelijke kaart te geven, kan een goedkoper, open-source model een fantastisch werk doen. Dit is een grote zaak, omdat dergelijke tools gebruikt kunnen worden op plaatsen waar geld schaars is of waar privacy een enorme zorg is (omdat het open-source model op lokale computers kan draaien zonder gegevens naar grote techbedrijven te sturen).

Het team geeft toe dat ze geen perfecte "head-to-head" test hebben gedaan waarbij ze alles exact hetzelfde hielden behalve het model, omdat de regels van de wedstrijd week per week veranderden. Maar de bewijzen die ze hebben, suggereren sterk dat een kleiner AI-model, met de juiste begeleiding, veel zwaarder kan slaan dan zijn gewicht doet vermoeden.