Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

Technische Samenvatting: Grote taalmodellen voor grootschalige, rigoureuze kwalitatieve analyse in toegepast gezondheidsdienstenonderzoek

Probleemstelling
Kwalitatieve benaderingen zijn essentieel voor gezondheidsdienstenonderzoek om de contextuele en interpersoonlijke factoren te begrijpen die de zorgverlening vormgeven. Echter, grootschalige, toegepaste studies worden vaak geconfronteerd met beperkingen in tijd en middelen, wat tijdige bevindingen noodzakelijk maakt om relevant te blijven voor praktijkbeoefenaars. Hoewel Large Language Models (LLM's) potentieel bieden voor het verbeteren van de analytische efficiëntie, blijft hun integratie in rigoureuze kwalitatieve workflows onderbelicht. Bestaande literatuur wijst op risico's zoals oppervlakkige, context-blinde classificaties, een aangetaste methodologische transparantie en een gebrek aan bewijs over hoe LLM's reële onderzoeksresultaten beïnvloeden. Bovendien schieten huidige tools vaak tekort in het ondersteunen van de specifieke, contextafhankelijke behoeften van toegepast gezondheidsonderzoek, en missen commerciële platforms vaak de veiligheid of transparantie die vereist is voor hoog-risico medische gegevens.

Methodologie
De auteurs stellen een model- en taak-agnostisch framework voor het ontwerpen van mens-LLM kwalitatieve analysemethoden, toegepast binnen een multi-site studie naar diabeteszorg bij Federally Qualified Health Centers (FQHC's). De studie omvatte 12 FQHC's, 167 interviews en vier onderzoeksteams. Het framework bestaat uit vier iteratieve stappen:

1. Taak definiëren: Handmatige voltooiing van de taak op een kleine steekproef om doelen te verhelderen, outputformaten te finaliseren en componenten te identificeren die menselijke onderzoeksbekendheid vereisen.
2. Mens-LLM methode ontwerpen: Het deconstrueren van de taak om onderscheid te maken tussen acties die menselijke impliciete kennis vereisen (bijv. contextafhankelijke oordeelsvorming) en acties die geschikt zijn voor automatisering.
3. Evalueren op kleine schaal: Het vergelijken van mens-alleen en mens-LLM outputs op een kleine dataset tegen taakspecifieke doelen en criteria voor kwalitatieve rigor (bijv. gronding in data, aansluiting bij onderzoeksvragen) in plaats van kwantitatieve metrieken zoals inter-rater betrouwbaarheid.
4. Toepassen en evalueren: Het implementeren van de gevalideerde methode op de volledige dataset en het beoordelen van de impact op efficiëntie en onderzoeksdoelen.

De studie maakte gebruik van twee verschillende taken om dit framework te testen:

• Taak 1 (Kwalitatieve Synthese): Het genereren van vergelijkende samenvattende rapporten voor FQHC's op basis van door onderzoekers gegenereerde site-samenvattingen (~31.200 woorden). Het team gebruikte OpenAI's ChatGPT-4o voor thematische organisatie van site-samenvattingen en het o1-model voor het genereren van cross-site syntheses.
• Taak 2 (Deductieve Codering): Het verfijnen van een interventie voor praktijktransformatie door 167 interviewtranscripten (~1,3 miljoen woorden) te coderen tegen 19 vooraf gedefinieerde codes. Vanwege beperkingen in het contextvenster en de noodzaak voor semantische extractie, implementeerde het team Retrieval-Augmented Generation (RAG) met behulp van embedding-gebaseerde retrieval (OpenAI's text-embedding-3-large) en een Qdrant vector database. Om "voorbeeldbias" en "positiviteitsbias" te mitigeren, hanteerde het team een strategie waarbij subvragen met en zonder voorbeelden werden gesteld, en vragen werden gekoppeld aan tegenperspectieven op barrières.

Beveiliging en infrastructuur werden beheerd via Stanford SecureGPT om toegang te krijgen tot commerciële LLM's (ChatGPT-4o, o1, Gemini, Claude, DeepSeek) via API, wat zorgde voor naleving van de standaarden voor hoog-risico medische gegevens.

Belangrijkste Resultaten

• Resultaten Taak 1: LLM's slaagden er succesvol in om site-niveau data te organiseren in thema's, waarbij ze nauw aansloten bij de menselijke groepering. Echter, LLM's misten de nuance om de nieuwheid of actiegerichtheid van inzichten te bepalen, waarbij ze vaak irrelevante data bevatten of faalden in het wegfilteren van niet-overeenstemmende inputs. De uiteindelijke mens-LLM workflow bestond uit het organiseren van data door LLM's, waarna onderzoekers deze verfijnden tot de definitieve synthese. Deze aanpak verminderde de analyse tijd met 30–55% terwijl de analytische kwaliteit vergelijkbaar bleef met die van twee menselijke onderzoekers met verschillende perspectieven.
• Resultaten Taak 2: De RAG-gebaseerde mens-LLM methode slaagde er succesvol in om relevante fragmenten over een grote dataset te identificeren. Echter, LLM's generaliseerden bevindingen vaak te veel, misten perspectief en misten context door gefragmenteerde, gedecontextualiseerde fragmenten. Menselijke analyse bood meer gedetailleerde verklaringen en identificeerde interpersoonlijke dynamiek, terwijl LLM's zich concentreerden op structuren en processen. Het team stelde vast dat de outputs van LLM's aanzienlijke validatie en contextualisering door onderzoekers vereisten.
• Efficiëntiewinst: Zonder LLM's werd geschat dat het coderen van de volledige dataset (12 sites, 19 codes) bijna twee jaar aan fulltime werk zou vereisen. De mens-LLM aanpak maakte het mogelijk om alle 167 transcripten binnen een deadline van negen maanden te integreren in de interventie-verfijning.

Betekenis en Claims
Het artikel claimt aan te tonen hoe LLM's kunnen worden geïntegreerd in toegepast gezondheidsdienstenonderzoek om de efficiëntie te verhogen met behoud van methodologische rigor. De auteurs stellen dat hun framework de nodige begeleiding biedt voor het benutten van de algemeenheid van LLM's in geformaliseerde, taakspecifieke methoden. De belangrijkste bijdragen zijn:

• Methodologische Begeleiding: Een gestructureerde aanpak voor het bepalen waar LLM's waarde toevoegen (organisatorische, hoog-niveau analytische stappen) versus waar menselijke interpretatieve controle essentieel is (theorieontwikkeling, definitieve generatie van inzichten).
• Interdisciplinaire Samenwerking: De studie benadrukt de noodzaak van samenwerking tussen kwalitatieve en computerwetenschappelijke onderzoekers om aangepaste, veilige en transparante tools te ontwikkelen die specifieke analytische knelpunten aanpakken, aangezien standaardoplossingen onvoldoende waren.
• Real-World Toepassing: Het werk biedt bewijs voor de bruikbaarheid van LLM's bij het analyseren van grote, heterogene datasets die typerend zijn voor toegepast gezondheidsonderzoek, wat resulteert in tijdige feedback aan praktijkbeoefenaars en de verfijning van een diabeteszorg-interventie voor toekomstige implementatie.

De auteurs blijven bescheiden over de beperkingen en merken op dat huidige LLM's niet over de capaciteit beschikken voor long-context redeneren over volledige datasets, en dat menselijke onderzoekers de interpretatieve controle moeten behouden om transparantie en geloofwaardigheid te waarborgen. Zij suggereren dat toekomstige vooruitgang in long-context redeneren en domeinkennisoverdracht de mogelijkheden van LLM's in dit domein verder kunnen verbeteren.