💬 NLP

Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation

Dit paper introduceert een open-source raamwerk voor betrouwbare kwalitatieve analyse met meerdere LLM's dat Cohen's Kappa en semantische gelijkenis combineert om consensus-thema's te valideren, waarbij Gemini 2.5 Pro de hoogste betrouwbaarheid behaalde.

Oorspronkelijke auteurs: Nilesh Jain, Hyungil Suh, Seyi Adeyinka, Leor Roseman, Aza Allsop

Gepubliceerd 2026-02-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nilesh Jain, Hyungil Suh, Seyi Adeyinka, Leor Roseman, Aza Allsop

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel groot, ingewikkeld raadsel probeert op te lossen: een gesprek tussen een therapeut en een patiënt. Je wilt weten wat de belangrijkste boodschappen zijn in dat gesprek. In de wereld van onderzoek noemen we dit "kwalitatief onderzoek".

Vroeger was dit een zware klus. Je moest een groep mensen (zoals een panel van experts) bij elkaar roepen, ze elk het gesprek laten lezen, en dan kijken of ze het met elkaar eens waren over de belangrijkste thema's. Dit duurde lang, kostte veel geld en vaak waren ze het toch niet helemaal eens.

Nu hebben we een nieuwe, slimme oplossing: Kunstmatige Intelligentie (AI), of specifieker: grote taalmodellen (zoals ChatGPT of Gemini). Maar hier zit een addertje onder het gras: AI is soms wispelturig. Als je het dezelfde vraag twee keer stelt, kan het twee verschillende antwoorden geven. Hoe weet je dan of het antwoord betrouwbaar is?

Deze paper introduceert een slimme manier om dit probleem op te lossen. Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Wispelturige Vertaler"

Stel je voor dat je een vertaler hebt die een boek naar het Nederlands vertaalt. Maar deze vertaler is een beetje dronken of heeft net een nieuwe bril op. Soms zegt hij "hond", soms "dier", en soms "vierpotige vriend". Als je maar één keer vraagt, weet je niet of "dier" de juiste vertaling is of dat het toeval is.

In het verleden vroegen onderzoekers aan de AI: "Wat zijn de thema's?" en hoopten ze op een goed antwoord. Maar zonder controle was het een gok.

2. De Oplossing: Het "Zes Man Team"

De auteurs van dit paper zeggen: "Laten we de AI niet één keer laten werken, maar zes keer."

Ze laten dezelfde AI (bijvoorbeeld Gemini of GPT-4) het gesprek zes keer analyseren, maar ze geven de AI elke keer een heel klein, onzichtbaar verschil mee (een zogenaamde 'seed'). Het is alsof je zes verschillende vertalers uitnodigt, of één vertaler zes keer laat werken met een lichtjes andere insteek.

De Analogie: Stel je voor dat je een schilderij bekijkt. Als je er één keer naar kijkt, zie je misschien alleen de kleuren. Als je er zes keer naar kijkt, vanuit zes verschillende hoeken, zie je pas het volledige beeld. Als alle zes de hoeken zeggen: "Hier is een boom", dan weet je zeker dat er een boom staat. Als één zegt "een boom" en de ander "een struik", dan moet je daar extra naar kijken.

3. De Twee Meetlatjes (De "Reliability Metrics")

Om te controleren of deze zes keer werken goed zijn, gebruiken ze twee meetlatjes:

Meetlatje 1: Cohen's Kappa (De "Stemmen")
Dit meet of de zes versies het exact met elkaar eens zijn over de onderwerpen. Het is alsof je kijkt of alle zes de vertalers dezelfde woorden gebruiken. Als ze het allemaal over "kunst" hebben, is de score hoog.
Meetlatje 2: Cosine Similariteit (De "Betekenis")
Soms gebruiken ze andere woorden, maar bedoelen ze hetzelfde. Bijvoorbeeld: "mensen die moeite hebben met praten" versus "mensen die het moeilijk vinden om hun gevoelens te verwoorden". Woord voor woord zijn het niet dezelfde zinnen, maar de betekenis is identiek. Deze meetlatje kijkt naar de smaak van de zin, niet alleen de letters.

4. Wat Vonden Ze?

Ze testten dit met drie van de slimste AI's ter wereld (Gemini, GPT-4o en Claude) op een gesprek over kunst en therapie.

Het Resultaat: Het werkte verrassend goed! De AI's waren het bijna perfect met elkaar eens (een score van meer dan 80% tot 90%).
De Winnaar: De AI genaamd Gemini was het meest consistent. Het gaf bijna elke keer hetzelfde, sterke antwoord.
De Consensus: Door de zes antwoorden te combineren, konden ze de "echte" thema's filteren. Alles wat in 5 van de 6 runs terugkwam, was een betrouwbaar thema. Alles wat maar 1 keer terugkwam, was waarschijnlijk toeval of een "hallucinatie" van de AI en werd weggefilterd.

5. Waarom is dit geweldig?

Snelheid en Kosten: In plaats van 6 mensen te betalen om urenlang te lezen, kost dit een paar centen aan computerkracht en duurt het seconden.
Betrouwbaarheid: Het geeft onderzoekers een "veiligheidsnet". Ze weten nu niet alleen wat de AI zegt, maar ook hoe zeker ze kunnen zijn van dat antwoord.
Flexibiliteit: Het werkt met elke AI en elk type gesprek, zolang je maar de juiste vragen (prompts) stelt.

Samenvattend

Deze paper zegt eigenlijk: "Vraag de AI niet één keer, vraag het zes keer. Kijk of ze het met elkaar eens zijn. Als ze het eens zijn, heb je een betrouwbaar antwoord. Als ze het niet eens zijn, weet je dat je voorzichtig moet zijn."

Het is alsof je een groep vrienden vraagt om een film te bespreken. Als ze allemaal zeggen "De plot was geweldig", dan was de plot waarschijnlijk echt geweldig. Als één zegt "Geweldig" en de ander "Vervelend", dan is het misschien maar een mening van één persoon. Deze methode helpt onderzoekers om de echte "geweldige plots" van de AI te vinden.

Titel: Multi-LLM Thematische Analyse met Dual Betrouwbaarheidsmetrieken: Combinatie van Cohen's Kappa en Semantische Similariteit voor Validatie in Kwalitatief Onderzoek

1. Het Probleem

Kwalitatief onderzoek staat voor een kritieke uitdaging op het gebied van betrouwbaarheid (reliabiliteit). Traditionele methoden voor inter-rater betrouwbaarheid vereisen meerdere menselijke coderaars die onafhankelijk dezelfde data analyseren. Dit proces is:

Tijdrovend en duur: Het vereist aanzienlijke menselijke inspanning.
Beperkt consistent: Menselijke coderaars bereiken vaak slechts een matige overeenstemming (Cohen's kappa tussen 0,40 en 0,60).
Moeilijk te reproduceren: Het is lastig om exacte resultaten te repliceren.

Hoewel Large Language Models (LLM's) potentie bieden om dit proces te versnellen, missen bestaande LLM-gestuurde benaderingen vaak systematische validatiemechanismen. Eén enkele uitvoering (single-run) van een LLM biedt geen statistische onderbouwing; het is onduidelijk of een gegenereerd thema een robuust resultaat is of slechts een artefact van de stochastische aard van het model. Er is een gebrek aan kwantitatieve maatstaven voor de stabiliteit van de analyse over meerdere runs heen.

2. Methodologie

De auteurs stellen een multi-perspectief validatiekader voor dat gebruikmaakt van een ensemble-benadering met twee complementaire betrouwbaarheidsmetrieken.

Ensemble Validatie Framework:
- Het systeem voert 6 onafhankelijke analyse-runs uit per model, gebruikmakend van vaste random seeds (42, 123, 456, 789, 1011, 1213).
- Dit wordt gezien als een "semantische Monte Carlo-simulatie", waarbij elke run een steekproef is uit de posterior-verdeling van het model.
- Dit maakt 15 paarwise vergelijkingen mogelijk, wat de standaardfout met ongeveer 41% verlaagt ten opzichte van drie runs.
Dual Betrouwbaarheidsmetrieken:
1. Cohen's Kappa ( $\kappa$ ): Meet de statistische overeenstemming tussen runs, gecorrigeerd voor toeval. Dit volgt de traditionele kwalitatieve standaarden (Landis-Koch criteria), waarbij $\kappa > 0,80$ wordt beschouwd als "bijna perfect".
2. Cosine Similariteit: Meet de semantische consistentie tussen thema-beschrijvingen, zelfs als de woordkeuze verschilt. Hiervoor worden embeddings gegenereerd met het all-MiniLM-L6-v2 model (384-dimensionale vectorruimte).
Consensus Extractie:
- Een adaptief algoritme groepeert thema's met een cosine similarity > 0,70 in equivalentieklassen.
- Alleen thema's die in ≥50% van de runs voorkomen, worden als "consensus-thema's" geselecteerd.
- Het systeem onderscheidt tussen hoge betrouwbaarheid (5-6/6 runs) en gemiddelde betrouwbaarheid (3-4/6 runs).
Technische Implementatie:
- Configuratie: Gebruikers kunnen het aantal seeds (1-6) en de temperatuur (0,0-2,0) aanpassen voor reproduceerbaarheid en variatie.
- Prompt Engineering: Ondersteuning voor aangepaste prompts met variabele substitutie (bijv. {seed}, {text}).
- Structure-Agnostic: Het systeem parseert willekeurige JSON-structuren zonder vooraf gedefinieerde schema's, wat flexibiliteit biedt voor verschillende onderzoeksvragen.
- Privacy: Alle verwerking (preprocessing, embedding, consensus) vindt plaats client-side in de browser (Next.js/React), zodat ruwe data niet naar externe servers wordt gestuurd.

3. Belangrijkste Resultaten

Het kader werd gevalideerd op een transcript van een semi-gestructureerd interview over kunsttherapie in combinatie met ketamine-psychotherapie, getest op drie toonaangevende LLM's (Gemini 2.5 Pro, GPT-4o, Claude 3.5 Sonnet) met elk 6 runs.

Betrouwbaarheid: Alle drie de modellen behaalden een "bijna perfecte" overeenstemming ( $\kappa > 0,80$ $κ > 0, 80$ ):
- Gemini 2.5 Pro: $\kappa = 0,907$ , Cosine Similariteit = 95,3% (hoogste consistentie).
- GPT-4o: $\kappa = 0,853$ , Cosine Similariteit = 92,6%.
- Claude 3.5 Sonnet: $\kappa = 0,842$ , Cosine Similariteit = 92,1%.
Thema-extractie:
- Gemini identificeerde 6 consensus-thema's (50-83% consistentie).
- GPT-4o identificeerde 5 thema's.
- Claude identificeerde 4 thema's.
Cross-Model Validatie: Thema's zoals "Integratie van IFS" (Internal Family Systems) werden door alle modellen herkend met hoge semantische overlap, wat de robuustheid van deze bevindingen bevestigt.
Kosten: De analyse kost ongeveer $0,15 - $0,20 per transcript, vergeleken met $20 - $40 voor menselijke codering.

4. Kernbijdragen

Dual Metrieken: De combinatie van Cohen's Kappa (statistische strengheid) en Cosine Similariteit (semantische nuance) biedt een completer validatiekader dan bestaande methoden.
Reproduceerbaarheid: Door het gebruik van configureerbare seeds en temperaturen wordt reproduceerbaar onderzoek mogelijk gemaakt, wat vaak ontbreekt bij generatieve AI.
Structure-Agnostic Design: Het vermogen om consensus te extraheren uit willekeurige JSON-formaten maakt het kader flexibel voor diverse onderzoeksvragen zonder code-aanpassingen.
Open Source Implementatie: Een volledig werkend, open-source tool is beschikbaar dat onderzoekers transparante betrouwbaarheidsmetrieken en flexibele configuratie biedt.

5. Betekenis en Toekomstperspectief

Dit onderzoek vestigt de methodologische grondslagen voor betrouwbare AI-ondersteunde kwalitatieve research. Het bewijst dat ensemble-methoden (meerdere runs) de stochastische variabiliteit van LLM's kunnen kwantificeren en filteren, waardoor resultaten vergelijkbaar worden met traditionele multi-coder studies, maar tegen een fractie van de kosten en tijd.

Beperkingen: De huidige validatie is beperkt tot één dataset en Engels taalgebruik. De kwaliteit blijft afhankelijk van prompt-engineering en menselijk toezicht blijft noodzakelijk voor ethische oordelen en theoretische integratie.
Toekomstig Werk: Uitbreiding naar diverse domeinen (klinisch, educatief), talen en het vergelijken van AI-consensus met menselijke ground-truth codering.

De studie concludeert dat dit framework een brug slaat tussen computationele efficiëntie en de strenge validatiestandaarden die essentieel zijn voor kwalitatief wetenschappelijk onderzoek.