DS@GT ARC at eRisk 2026: Hybrid Multi-Agent LLM System with Structured Algorithmic Guidance for Conversational Depression Screening

Immaginate un mondo in cui un robot amichevole e chiacchierone potrebbe sedersi accanto a qualcuno e capire delicatamente se si sente giù di morale, senza mai porre domande spaventose e dirette come "Sei depresso?". Questo è il sogno dello screening conversazionale della depressione. Gli scienziati sanno da tempo che strumenti come l'Indice di Depressione di Beck (BDI-II) sono ottimi per misurare la tristezza e altri sintomi, ma di solito richiedono un medico umano addestrato per porre le domande. Questo è costoso e difficile da scalare. Entrano in gioco i Large Language Models (LLM): programmi informatici super intelligenti che possono parlare come gli esseri umani. La grande domanda che i ricercatori si pongono è: possiamo costruire un robot intervistatore abbastanza intelligente da individuare i segni della depressione semplicemente conversando, senza bisogno di un essere umano nel processo? La sfida è complicata perché questi robot non possono semplicemente "sapere" la risposta; devono indovinare basandosi su una conversazione, e non possono essere istruiti sulla risposta corretta mentre stanno imparando.

In questo articolo, un team della Georgia Tech (DS@GT) cerca di risolvere questo enigma per una competizione chiamata eRisk 2026. Hanno costruito un sistema per intervistare personaggi informatici (chiamati "persona") che fingono di avere diversi livelli di depressione. L'obiettivo era ottenere un punteggio e un elenco dei quattro sintomi principali, il tutto mantenendo la conversazione naturale. Il team è partito con un'idea semplice: usare un unico IA super costoso e potente per fare tutto il lavoro. Ma questo era dispendioso e talvolta incoerente. Così, hanno evoluto il loro sistema in un "team" di IA: uno per chattare, uno per dare i voti e un manager per tenere tutto sotto controllo. La loro scoperta più grande? Hanno sostituito l'intervistatore "star player" costoso con un modello open-source più economico (Gemma 27B) e hanno usato trucchi matematici astuti per aiutarlo a rimanere concentrato sul compito. Sorprendentemente, questo team più economico è stato quasi altrettanto bravo di quello costoso, dimostrando che non serve sempre il cervello più potente (e costoso) per portare a termine il lavoro, purché si abbia un buon piano d'azione.

La storia del team di robot parlanti

Il team della Georgia Tech, noto come DS@GT, è entrato in un concorso in cui doveva costruire un sistema per intervistare 20 diversi personaggi informatici. Ogni personaggio era una "persona" che simulava una persona con un livello specifico di depressione. Le regole erano rigide: il sistema doveva agire come una conversazione naturale, senza mai fare domande dirette come "Sei triste?", ma invece capire la risposta ascoltando la chat. Alla fine, il sistema doveva indovinare un punteggio totale (da 0 a 63) e nominare fino a quattro sintomi chiave.

Il team ha provato tre approcci diversi, come aggiornare il motore di un'auto passo dopo passo.

1. Il prototipo a motore singolo
Per prima cosa, hanno provato un sistema "monolitico". Immaginate un singolo robot che fa tutto: pone le domande, ascolta le risposte e valuta l'umore tutto in una volta. Funzionava, ma era un po' instabile. A volte il robot si confondeva, dava punteggi diversi alla stessa persona in giorni diversi o finiva il tempo prima di aver chiesto di tutti i sentimenti importanti. Era come uno studente che cerca di sostenere un esame, scrivere un saggio e correggere il saggio tutto in un unico respiro: troppo da gestire contemporaneamente.

2. Il team Multi-Agente (Il Baseline)
Per risolvere la confusione, hanno diviso il lavoro. Hanno costruito un Sistema Multi-Agente. Pensate a questo come a un piccolo team di specialisti:

• L'Intervistatore: Un robot il cui unico compito è chattare in modo naturale e porre le giuste domande di approfondimento.
• Lo Scorer (Il Valutatore): Un secondo robot che osserva l'intera chat e aggiorna costantemente il punteggio e il livello di confidenza per ogni possibile sintomo.
• L'Orchestratore: Un robot manager che dice all'Intervistatore: "Ehi, non abbiamo ancora chiesto del sonno, vai a chiedere quello dopo!" e decide quando terminare la conversazione.

Questo approccio a team era molto più affidabile. Tuttavia, aveva un difetto: era costoso. Poiché stavano usando un'IA pagata e di alto livello (GPT-5-nano) per l'Intervistatore, e dovevano eseguire la conversazione molte volte per ottenere una buona media, i costi aumentavano rapidamente.

3. La configurazione Ibrida (Il Grande Esperimento)
Il team si è posto una domanda audace: Possiamo sostituire l'Intervistatore costoso con un modello open-source più economico (Gemma 27B) se gli diamo istruzioni migliori?

Hanno sostituito l'Intervistatore a pagamento con il modello open-source Gemma 27B. Ma sapevano che questo modello era un po' "più debole" — poteva non seguire le istruzioni in modo perfetto o non scavare così a fondo nelle emozioni. Per risolvere questo, non si sono limitati a sperare nel meglio; hanno costruito tre "reti di sicurezza algoritmiche" per guidare il modello più debole:

• L'Albero del Dialogo: Invece di lasciare che il robot inventasse domande al volo, gli hanno dato una mappa pre-scritta (un albero). Partiva da domande specifiche sulla tristezza e seguiva un percorso ramificato basato sulle risole. Questo ha impedito al robot di andare fuori tema.
• Aggregazione Pesata sulla Affidabilità: Poiché il modello più debole poteva commettere errori, hanno eseguito l'intervista 20 volte invece di 10. Poi, invece di scegliere semplicemente la risposta centrale, hanno usato un metodo matematico intelligente (ispirato al framework "Weaver") per pesare le risposte. Se la maggior parte delle sessioni concordava su un sintomo, quella risposta riceveva un peso maggiore. È come chiedere a 20 studenti una domanda e fidarsi della risposta su cui la maggioranza concorda, piuttosto che sceglierne una a caso.
• Imputazione per Cluster: A volte il robot saltava completamente un sintomo perché finiva il tempo. Il sistema aveva un piano di riserva: se mancava un sintomo ma vedeva segni forti di sintomi correlati (come vedere "fatica" e "problemi del sonno" quando mancava "perdita di energia"), il sistema indovinava il punteggio mancante basandosi su quegli indizi. Questo evitava che il punteggio finale fosse troppo basso solo perché il robot si era dimenticato di fare una domanda.

I Risultati: Più economico e altrettanto efficace

Il team ha testato il proprio sistema su tutte le 20 persone e ha inviato tre diverse versioni dei loro risultati.

• Run 1 utilizzava il team costoso e pagato (Baseline).
• Run 2 e 3 utilizzavano il team ibrido più economico con l'Intervistatore open-source.

I risultati sono stati sorprendenti. Il sistema ibrido, utilizzando il modello più economico Gemma 27B, è stato in realtà migliore del sistema costoso a pagamento nella metrica principale di punteggio (ADODL).

• Run 3 (Ibrido) ha ottenuto 0.9063, piazzandosi al 3° posto tra tutti i run di tutti i team della competizione.
• Run 1 (Baseline Pagata) ha ottenuto 0.8841.

Ancora più impressionante, il sistema ibrido costava circa $2 per persona, mentre il sistema pagato costava circa $8. Si tratta di una riduzione dei costi del 75% per risultati migliori!

Gli autori suggeriscono che questo dimostra come un modello open-source più debole possa competere con un modello pagato più forte se dotato di sufficiente "supervisione algoritmica" (la mappa, la matematica e i piani di riserva). Tuttavia, hanno anche notato un piccolo difetto: il sistema ibrido era molto bravo a individuare i sintomi fisici (come la stanchezza o i problemi del sonno) ma a volte mancava i sentimenti emotivi più profondi (come il senso di colpa o la tristezza). Ciò ha portato a punteggi leggermente inferiori per l'identificazione di specifici sintomi, anche se il punteggio generale della depressione era accurato.

Cosa significa questo

L'articolo conclude che non è necessariamente necessario l'IA più costosa per costruire un buon strumento di screening della salute mentale. Utilizzando una struttura di team intelligente e fornendo all'IA una mappa chiara da seguire, un modello open-source più economico può fare un lavoro fantastico. Questo è un grande passo avanti perché significa che tali strumenti potrebbero essere utilizzati in luoghi dove il denaro è scarso o dove la privacy è una grande preoccupazione (poiché il modello open-source può essere eseguito su computer locali senza inviare dati alle grandi aziende tecnologiche).

Il team ammette di non aver effettuato un test "testa a testa" perfetto dove tutto rimaneva esattamente lo stesso tranne il modello, perché le regole della competizione cambiavano di settimana in settimana. Tuttavia, le prove raccolte suggeriscono fortemente che, con la guida giusta, un'IA più piccola può competere ben oltre il proprio peso naturale.