When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

Sintesi Tecnica: Quando le scale di valutazione sono insufficienti: la scoperta assistita da LLM di segnali di ADHD nelle narrazioni degli insegnanti in lingua turca

Definizione del problema
La diagnosi del Disturbo da Deficit di Attenzione e Iperattività (ADHD) nei bambini si basa tipicamente su una combinazione del giudizio clinico, di scale di valutazione standardizzate (come la Conners' Teacher Rating Scale–Revised Short Form, CTRS-R:S) e di rapporti di genitori e insegnanti. Sebbene gli strumenti strutturati come la CTRS-R:S quantifichino efficacemente specifici sintomi comportamentali, essi possono trascurare segnali complementari presenti nelle narrazioni aperte e qualitative fornite dagli insegnanti. Queste narrazioni contengono osservazioni contestuali riguardanti il rendimento scolastico, la personalità, le relazioni tra pari e il contesto familiare che raramente vengono analizzate sistematicamente. Il problema centrale affrontato è l'entità con cui le narrazioni degli insegnanti codificano segnali comportamentali che sfuggono alle scale di valutazione strutturate, in particolare nei casi in cui le valutazioni strutturate non riescono a distinguere chiaramente tra studenti con ADHD e non con ADHD.

Metodologia
Lo studio utilizza un dataset di 199 moduli di valutazione degli insegnanti in lingua turca, de-identificati, raccolti da una clinica di psichiatria dell'infanzia e dell'adolescenza (166 ADHD, 33 controllo). La metodologia prevede un'analisi comparativa in due fasi:

1. Pipeline di classificazione duale:

   • Pipeline strutturata: Un classificatore di regressione logistica è stato addestrato sui 28 item comportamentali della CTRS-R:S, integrati con variabili demografiche (età, classe, genere). Le caratteristiche sono state standardizzate utilizzando la normalizzazione z-score.
   • Pipeline narrativa: Un separato classificatore di regressione logistica è stato addestrato sulle narrazioni aperte degli insegnanti. Il testo è stato pre-elaborato (conversione in minuscolo, rimozione delle stopword) e rappresentato tramite Term Frequency–Inverse Document Frequency (TF-IDF) con caratteristiche di unigramma e bigramma.
   • Entrambi i modelli sono stati valutati utilizzando una validazione incrociata (cross-validation) stratificata a cinque pieghe per garantire condizioni comparabili.

2. Analisi focalizzata sugli errori:

   • Lo studio ha analizzato specificamente i "falsi negativi strutturati"—casi di ADHD classificati erroneamente dal modello strutturato ma identificati correttamente (o con pattern distintivi) dal modello narrativo.
   • Sono stati condotti confronti statistici (test di Mann–Whitney U) per valutare i punteggi di gravità e il potere discriminativo delle narrazioni all'interno di questo sottogruppo.

3. Scoperta dei temi assistita da LLM:

   • Per interpretare i pattern comportamentali nelle narrazioni, gli autori hanno impiegato un modello linguistico di grandi dimensioni (LLM) locale e open-weight (Llama 3.3 70B Instruct) per estrarre temi comportamentali.
   • Utilizzando un prompt strutturato, l'LLM ha estratto temi concisi (2–6 parole) che descrivono punti di forza o difficoltà osservabili in quattro domini: rendimento scolastico, personalità/salute mentale, relazioni sociali e contesto familiare.
   • I temi estratti sono stati mappati manualmente da un esperto del settore in dieci categorie comportamentali di livello superiore (ad es., difficoltà di attenzione, forza comportamentale, supporto familiare) per consentire un confronto sistematico tra il gruppo dei falsi negativi strutturati e il gruppo di controllo.

Risultati chiave

• Segnali complementari: Sebbene entrambi i modelli abbiano raggiunto un'alta discriminazione (PR-AUC > 0,98), il classificatore narrativo ha dimostrato una recall significativamente più alta per i casi di ADHD (0,958) rispetto al classificatore strutturato (0,856).
• Sovrapposizione minima negli errori: Il modello strutturato ha mancato 24 casi di ADHD, mentre il modello narrativo ne ha mancati solo 7. Fondamentalmente, c'è stato un solo falso negativo sovrapposto tra i due modelli, indicando che le due modalità catturano informazioni comportamentali ampiamente distinte.
• Divergenza quantitativa: Nel sottogruppo dei falsi negativi strutturati, il classificatore basato sulla narrazione ha raggiunto un ROC-AUC di 0,84, superando sensibilmente i punteggi di gravità strutturati (ROC-AUC 0,69). La correlazione tra i punteggi strutturati e le probabilità di predizione narrativa era trascurabile ($r = 0,07$).
• Pattern qualitativi: L'analisi dei temi assistita da LLM ha rivelato che le narrazioni dei casi di ADHD con falso negativo strutturato contenevano significativamente più temi "relativi alle difficoltà" (specificamente difficoltà di attenzione e comportamentali) e meno temi "relativi ai punti di forza" rispetto alle narrazioni di controllo. Al contrario, le narrazioni di controllo presentavano frequenze più elevate di temi relativi ai punti di forza accademici e socio-emotivi e al supporto familiare.

Contributi chiave

1. Analisi congiunta: Un'analisi comparativa che dimostra come i punteggi strutturati della CTRS-R:S e le descrizioni narrative degli insegnanti identifichino set di casi di ADHD parzialmente distinti.
2. Evidenza di complementarità: Prova empirica del fatto che il testo narrativo cattura segnali comportamentali che sfuggono alle scale standardizzate, in particolare nei casi limite in cui i punteggi strutturati si sovrappongono ai controlli.
3. Framework di interpretabilità: L'introduzione di una pipeline assistita da LLM per estrarre e categorizzare i temi comportamentali dalle narrazioni cliniche, colmando il divario tra il testo grezzo e le categorie cliniche interpretabili.
4. Rilascio del dataset: Il rilascio di un dataset de-identificato di 199 moduli di valutazione degli insegnanti in lingua turca, fornendo una risorsa per la ricerca NLP in una lingua e un dominio meno studiati.

Significatività e affermazioni
Il documento afferma che l'elaborazione del linguaggio naturale (NLP) applicata alle narrazioni degli insegnanti può scoprire pattern comportamentali clinicamente rilevanti che non sono esplicitamente catturati dagli strumenti di screening tradizionali. Lo studio non propone di sostituire le valutazioni strutturate, ma suggerisce che combinare le valutazioni strutturate con l'analisi narrativa offra una visione più completa del comportamento dello studente. Gli autori evidenziano che le narrazioni degli insegnanti forniscono prove complementari per l'identificazione delle difficoltà legate all'ADHD, in particolare nei casi in cui le scale standardizzate producono risultati ambigui. Il lavoro dimostra il potenziale degli LLM nel servire come strumenti interpretativi per estrarre intuizioni strutturate dal testo clinico non strutturato, migliorando così l'utilità dei flussi di lavoro diagnostici esistenti senza agire come classificatori diagnostici autonomi.

Limitazioni
Gli autori riconoscono i limiti relativi al dataset piccolo e sbilanciato (166 vs 33), che ha reso necessario l'uso di modelli lineari più semplici rispetto ad architetture neurali complesse. Notano inoltre l'inerente soggettività delle narrazioni degli insegnanti e la potenziale mancanza di generalizzabilità ad altri contesti educativi o culturali a causa della natura a singola fonte dei dati. Infine, la mappatura dei temi estratti dall'LLM verso categorie di livello superiore comporta decisioni di progettazione informate dall'esperto, introducendo un certo grado di soggettività.