Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

Sintesi Tecnica: Modelli di Linguaggio di Grandi Dimensioni per l'Analisi Qualitativa Rigorosa su Larga Scala nella Ricerca Applicata sui Servizi Sanitari

Problematica
Gli approcci qualitativi sono essenziali per la ricerca sui servizi sanitari per comprendere i fattori contestuali e interpersonali che plasmano l'erogazione delle cure. Tuttavia, gli studi applicati su larga scala spesso affrontano vincoli di tempo e risorse, rendendo necessaria la tempestività dei risultati per rimanere rilevanti per i professionisti del settore. Sebbene i Modelli di Linguaggio di Grandi Dimensioni (LLM) offrano il potenziale per migliorare l'efficienza analitica, la loro integrazione in flussi di lavoro qualitativi rigorosi rimane scarsamente guidata. La letteratura esistente evidenzia rischi quali classificazioni superficiali e prive di contesto, una compromessa trasparenza metodologica e una mancanza di prove su come gli LLM influenzino i risultati della ricerca nel mondo reale. Inoltre, gli strumenti attuali spesso non riescono a supportare le esigenze specifiche e dipendenti dal contesto degli studi sanitari applicati, e le piattaforme commerciali mancano frequentemente della sicurezza o della trasparenza richieste per dati medici ad alto rischio.

Metodologia
Gli autori propongono un framework agnostico rispetto al modello e al compito per progettare metodi di analisi qualitativa uomo-LLM, applicato all'interno di uno studio multi-sito sulla cura del diabete presso i Centri per la Salute di Qualità Federale (FQHC). Lo studio ha coinvolto 12 FQHC, 167 interviste e quattro team di ricerca. Il framework consiste in quattro fasi iterative:

1. Definire il Compito: Completamento manuale del compito su un piccolo campione per chiarire gli obiettivi, finalizzare i formati di output e identificare le componenti che richiedono la familiarità del ricercatore umano.
2. Progettare il Metodo Uomo-LLM: Decomposizione del compito per distinguere tra azioni che richiedono la conoscenza tacita umana (es. giudizio dipendente dal contesto) e quelle adatte all'automazione.
3. Valutare su Piccola Scala: Confronto tra gli output solo umani e quelli uomo-LLM su un piccolo dataset rispetto agli obiettivi specifici del compito e ai criteri di rigore qualitativo (es. radicamento nei dati, allineamento con le domande di ricerca) piuttosto che a metrici quantitativi come l'inter-rater reliability.
4. Applicare e Valutare: Implementazione del metodo validato sull'intero dataset e valutazione del suo impatto sull'efficienza e sugli obiettivi della ricerca.

Lo studio ha utilizzato due compiti distinti per testare questo framework:

• Compito 1 (Sintesi Qualitativa): Generazione di rapporti di sintesi comparativa per gli FQHC basati su sintesi di sito generate dai ricercatori (~31.200 parole). Il team ha utilizzato ChatGPT-4o di OpenAI per l'organizzazione tematica delle sintesi di sito e il modello o1 per generare sintesi trasversali tra i siti.
• Compito 2 (Codifica Deduttiva): Raffinamento di un intervento di trasformazione delle pratiche attraverso la codifica di 167 trascrizioni di interviste (~1,3 milioni di parole) rispetto a 19 codici predefiniti. A causa dei limiti della finestra di contesto e della necessità di recupero semantico, il team ha implementato la Generazione Aumentata dal Recupero (RAG) utilizzando il recupero basato su embedding (text-embedding-3-large di OpenAI) e un database vettoriale Qdrant. Per mitigare il "bias di esempio" e il "bias di positività", il team ha impiegato una strategia di formulazione di sotto-domande con e senza esempi, e ha accoppiato le domande con contro-prospettive sulle barriere.

La sicurezza e l'infrastruttura sono state gestite tramite Stanford SecureGPT per accedere agli LLM commerciali (ChatGPT-4o, o1, Gemini, Claude, DeepSeek) tramite API, garantendo la conformità agli standard per dati medici ad alto rischio.

Risultati Chiave

• Risultati del Compito 1: Gli LLM hanno organizzato con successo i dati a livello di sito in temi, allineandosi strettamente alla raggruppazione umana. Tuttavia, gli LLM hanno carezzato la sfumatura necessaria per determinare la novità o l'azionabilità degli insight, includendo spesso dati irrilevanti o fallendo nel filtrare input non allineati. Il workflow finale uomo-LLM prevedeva che gli LLM organizzassero i dati, che i ricercatori avrebbero poi raffinato nelle sintesi finali. Questo approccio ha ridotto il tempo di analisi del 30–55% mantenendo una qualità analitica paragonabile a quella di due ricercatori umani con prospettive diverse.
• Risultati del Compito 2: Il metodo uomo-LLM basato su RAG ha identificato con successo estratti rilevanti attraverso un ampio dataset. Tuttavia, gli LLM hanno spesso sovra-generalizzato i risultati, hanno mancato di prospettiva e hanno perso il contesto a causa di estratti frammentati e decontestualizzati. L'analisi umana ha fornito spiegazioni più dettagliate e ha identificato dinamiche interpersonali, mentre gli LLM si sono concentrati su strutture e processi. Il team ha riscontrato che gli output degli LLM richiedevano una significativa validazione e contestualizzazione da parte del ricercatore.
• Guadagni di Efficienza: Senza l'uso di LLM, si stimava che la codifica dell'intero dataset (12 siti, 19 codici) avrebbe richiesto quasi due anni di lavoro a tempo pieno. L'approccio uomo-LLM ha reso fattibile l'incorporazione di tutti i 167 trascrizioni nel raffinamento dell'intervento entro una scadenza di nove mesi.

Significatività e Rivendicazioni
Il documento sostiene di dimostrare come gli LLM possano essere integrati nella ricerca applicata sui servizi sanitari per migliorare l'efficienza preservando al contempo il rigore metodologico. Gli autori affermano che il loro framework fornisce la guida necessaria per sfruttare la generalità degli LLM in metodi specifici per compito e formalizzati. I contributi chiave includono:

• Guida Metodologica: Un approccio strutturato per determinare dove gli LLM aggiungono valore (passaggi organizzativi, analitici di alto livello) rispetto a dove il controllo interpretativo umano è essenziale (sviluppo della teoria, generazione finale degli insight).
• Collaborazione Interdisciplinare: Lo studio evidenzia la necessità di collaborazione tra ricercatori qualitativi e informatici per sviluppare strumenti personalizzati, sicuri e trasparenti che affrontino specifici colli di bottiglia analitici, poiché le soluzioni pronte all'uso erano insufficienti.
• Applicazione nel Mondo Reale: Il lavoro offre prove dell'utilità degli LLM nell'analizzare dataset ampi ed eterogenei tipici della ricerca sanitaria applicata, portando a un feedback tempestivo per i professionisti e al raffinamento di un intervento per la cura del diabete per il futuro.

Gli autori rimangono modesti riguardo ai limiti, osservando che gli attuali LLM mancano della capacità di ragionamento a lungo contesto su interi dataset e che i ricercatori umani devono mantenere il controllo interpretativo per garantire trasparenza e credibilità. Suggeriscono che i progressi futuri nel ragionamento a lungo contesto e nel trasferimento della conoscenza di dominio possano migliorare ulteriormente le capacità degli LLM in questo dominio.