Keyphrase Generative Representation of Youth Crisis Conversations Beyond Static Taxonomies

Riepilogo Tecnico: Rappresentazione Generativa di Frasi Chiave delle Conversazioni sulla Crisi Giovanile Oltre le Tassonomie Statiche

Enunciato del Problema

I Risponditori alle Crisi (CR) presso i servizi di supporto per giovani, come Kids Help Phone (KHP), devono valutare rapidamente migliaia di conversazioni SMS non strutturate per identificare preoccupazioni relative alla salute mentale. Attualmente, questi servizi si affidano a tassonomie a etichette fisse (ad esempio, ansia, autolesionismo) per mappare le conversazioni su categorie predefinite. Sebbene queste tassonomie statiche offrano coerenza e tracciabilità, non riescono a catturare il linguaggio in evoluzione, culturalmente radicato e specifico del contesto utilizzato dai giovani in difficoltà. Comprimere narrazioni complesse in un insieme limitato di etichette rischia di rendere invisibili segnali contestuali importanti, ostacolando potenzialmente le revisioni di escalation, il monitoraggio dell'equità e l'identificazione di tendenze emergenti nella salute mentale. Inoltre, mantenere sistemi di etichette aggiornati in modo esaustivo è difficile man mano che i contesti socioculturali cambiano. Sebbene i Modelli Linguistici di Grande Dimensione (LLM) offrano capacità generative per portare alla luce temi sfumati, le uscite non vincolate sollevano preoccupazioni riguardo all'allucinazione, alla specificità variabile e alla mancanza di trasparenza necessaria per il dispiegamento clinico nel mondo reale.

Metodologia

Lo studio ha utilizzato un dataset di 703.975 conversazioni sulla crisi giovanile anonimizzate raccolte da KHP tra il 2018 e il 2023. La ricerca ha impiegato un framework ibrido che combina classificazione strutturata con rappresentazione generativa vincolata:

1. Espansione della Tassonomia: La tassonomia delle problematiche legacy a 19 etichette è stata espansa a uno schema gerarchico a 39 etichette che copre quattro domini: Salute e Benessere, Sicurezza e Violenza, Identità e Relazioni, e Altro. Questa espansione è stata sviluppata attraverso consultazioni iterative con esperti clinici e CR di prima linea.
2. Classificazione Multi-Etichetta: È stata utilizzata una configurazione zero-shot del modello Llama 3 8B per assegnare etichette dalla tassonomia espansa a 39 voci. Le previsioni del modello sono state valutate rispetto alle annotazioni degli esperti utilizzando tre schemi di aggregazione: "Any" (selezionato da almeno un annotatore), "Top-2 Majority" (maggioranza dei primi due) e "Top-2 Consensus" (consenso dei primi due).
3. Rappresentazione Generativa di Frasi Chiave (KGR): Per affrontare i limiti delle etichette statiche, gli autori hanno introdotto la KGR, un framework basato su LLM vincolato. Il sistema invia prompt a Llama 3 per generare fino a cinque frasi chiave concise e specifiche della conversazione che descrivono le problematiche principali, i temi emergenti e le esperienze legate all'identità, senza produrre etichette diagnostiche.
   • Vincoli: La generazione è limitata a frasi brevi, non diagnostiche e allineate al linguaggio giovanile.
   • Valutazione: Gli output della KGR sono stati valutati tramite due metodi:
     • Valutazione Esperta: 129 conversazioni sono state annotate da tre CR formati (387 annotazioni totali) per valutare accuratezza, pertinenza rispetto all'esperienza vissuta e capacità di catturare dettagli sottili.
     • Valutazione Automatizzata: Le frasi chiave generate sono state mappate sulla tassonomia legacy a 19 etichette utilizzando corrispondenza esatta, corrispondenza di sottotitoli e similarità basata su embedding (utilizzando all-MiniLM-L6-v2) per misurare l'allineamento con le categorie strutturate.
4. Test del Flusso di Lavoro Operativo: Lo studio ha confrontato un flusso di lavoro di recupero degli argomenti basato sulla KGR con un flusso di lavoro manuale di analisti utilizzando ricerche per parole chiave su argomenti specifici (bullismo e immagine corporea). Il recupero KGR ha utilizzato la similarità del coseno tra gli argomenti target e le frasi chiave generate, integrato da prompt di Chain-of-Thought (CoT) per estrarre estratti testuali di supporto.

Risultati Chiave

• Espansione della Tassonomia: La tassonomia espansa a 39 etichette ha raggiunto un'alta affidabilità di consenso tra gli esperti. Sotto lo schema di aggregazione "Top-2 Consensus", il modello ha raggiunto un'accuratezza di 0,96 e un AUROC di 0,82, superando altri schemi di aggregazione.
• Accuratezza e Utilità della KGR: La revisione esperta ha indicato che l'81% delle frasi chiave generate rifletteva accuratamente il contenuto della conversazione. Inoltre, il 74% degli esperti ha concordato che le frasi chiave hanno migliorato la chiarezza e il 71% le ha trovate utili per comprendere le conversazioni.
• Temi Emergenti: La KGR ha portato alla luce con successo temi legati all'identità e situazionali assenti dalla tassonomia fissa, inclusi problemi di immigrazione, onere dei caregiver, contesti delle comunità indigene, sopravvivenza alle scuole residenziali e microaggressioni.
• Prestazioni nel Recupero degli Argomenti: Nei test operativi, il recupero basato sulla KGR ha superato significativamente i flussi di lavoro manuali degli analisti. Per le conversazioni relative al bullismo, la KGR ha raggiunto un'accuratezza del 70% rispetto al 25% per il recupero manuale (un miglioramento di 45 punti percentuali). Per gli argomenti relativi all'immagine corporea, la KGR ha raggiunto un'accuratezza del 73% contro il 53% degli analisti. Il miglioramento è stato guidato da una maggiore precisione, poiché la KGR ha evitato i falsi positivi comuni nelle ricerche basate su parole chiave mantenendo al contempo un richiamo (recall) del 100%.
• Variazione per Categoria: L'accordo è stato più alto per le categorie ad alta salienza (ad esempio, Razzismo, Ableismo, Suicidio) e più basso per le categorie relative allo stato del servizio o interazionali (ad esempio, Scherzo, Test del Servizio), suggerendo che le rappresentazioni generative sono più efficaci per i segnali semantici espliciti di disagio.

Contributi Chiave

1. Dataset ed Espansione della Tassonomia: Gli autori hanno valutato un dataset su scala nazionale di oltre 700.000 conversazioni e hanno dimostrato che l'espansione della tassonomia delle problematiche da 19 a 39 etichette migliora la copertura degli argomenti e l'identificazione strutturata delle problematiche, consentendo una rappresentazione più ampia delle preoccupazioni relative alla salute mentale e all'identità dei giovani.
2. Rappresentazione Generativa di Frasi Chiave (KGR): Lo studio introduce la KGR, un framework LLM vincolato che integra le etichette statiche con frasi chiave concise e non diagnostiche. È stato dimostrato che questo approccio riflette accuratamente il contenuto della conversazione rivelando al contempo nuovi pattern contestuali e legati all'identità che le etichette fisse non colgono.
3. Evidenza Operativa per Sistemi Ibridi: Il documento fornisce prove che la KGR può portare alla luce preoccupazioni emergenti e culturalmente radicate (ad esempio, sfide dell'immigrazione, onere dei caregiver) e supporta un flusso di lavoro di recupero degli argomenti che supera significativamente i processi manuali degli analisti in termini di accuratezza.

Significato e Affermazioni

Il documento sostiene che la KGR segna un passaggio verso rappresentazioni generative ibride e interpretabili che estendono la risposta alle crisi oltre le tassonomie statiche. Gli autori affermano che, sebbene un'alta accuratezza di classificazione all'interno di uno spazio di etichette sia preziosa, non garantisce l'adeguatezza dello spazio delle etichette stesso per catturare la diversità e l'evoluzione del disagio giovanile.

Il significato di questo lavoro risiede nella sua dimostrazione che i metodi generativi, se opportunamente vincolati e ancorati all'interno di framework tassonomici consolidati, possono funzionare come livelli complementari. Questi livelli arricchiscono le rappresentazioni post-conversazione senza sostituire i sistemi di classificazione consolidati, preservando così la continuità operativa e la tracciabilità, mentre portano alla luce segnali contestuali che altrimenti rimarrebbero latenti. Lo studio sostiene che questo approccio ibrido offre una via pragmatica per integrare l'IA generativa nell'analisi della salute mentale, bilanciando la necessità di affidabilità e trasparenza con la capacità di catturare pattern di disagio sfumati e culturalmente radicati.