🤖 AI

Theory-Guided Deception Detection: A RAG-Based Artificial Intelligence Exploration

Deze studie evalueert zeven Retrieval-Augmented Generation (RAG)-modellen die gebaseerd zijn op deceptietheorieën tegenover baseline-modellen over 700 beweringen, waarbij wordt vastgesteld dat hoewel theoretische perspectieven de responsbias significant beïnvloedden, ze de detectie nauwkeurigheid niet verbeterden, die vergelijkbaar bleef met typische menselijke prestaties en statistisch ononderscheidbaar was tussen RAG- en baseline-benaderingen.

Oorspronkelijke auteurs: David M. Markowitz, Timothy R. Levine

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David M. Markowitz, Timothy R. Levine

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een leugenaar probeert te vangen. Decennialang hebben mensen geprobeerd machines te bouwen die leugens beter kunnen opsporen dan wij, in de hoop op een hoogtechnologische "leugendetector" die nooit faalt. Meestal kijken deze machines naar aanwijzingen zoals een trillende stem, een knipperend oog of zweet door nervositeit. Maar wat als de machine alleen de woorden heeft om mee te werken? Dit is de wereld van tekstgebaseerde misdaaddetectie, waar wetenschappers zich afvragen: Kan een computer een verhaal lezen en vertellen of het waar of nep is door enkel naar de woorden te kijken?

Om deze studie te begrijpen, moet je twee grote ideeën kennen. Ten eerste zijn er theorieën over liegen. Dit zijn als regelboeken geschreven door experts die zeggen: "Leugenaars doen X, Y en Z." Sommige regelboeken zeggen dat leugenaars details weglaten; andere zeggen dat ze te veel woorden gebruiken; sommige zeggen dat ze feiten vermijden die gecontroleerd kunnen worden. Ten tweede is er AI (Artificiële Intelligentie), specifiek een soort die kan lezen en schrijven als een mens. Recentelijk zijn wetenschappers begonnen deze AI "referentiegidsen" te geven, genaamd RAGs (Retrieval-Augmented Generation). Denk aan een RAG als een student die, voordat hij een toets maakt, een specifiek tekstboek mag openslaan om het antwoord te vinden, in plaats van simpelweg vanuit het geheugen te gokken. De grote vraag was: Als je een AI een specifieke "regelboek" geeft over hoe je leugenaars betrapt en de AI laat de regels opzoeken voordat het een oordeel velt, zal het dan beter worden in het opsporen van de waarheid?

Het Grote AI Leugendetector Experiment

In deze studie besloten twee onderzoekers om zeven verschillende "regelboeken" (theorieën over misleiding) op de proef te stellen. Ze wilden zien of een AI een betere detective kon worden door deze regelboeken als hun referentiegidsen te gebruiken. Ze zetten een enorme experiment op met 700 verschillende beweringen—sommige waar, sommige leugens—afkomstig uit vijf verschillende werkelijke situaties, zoals hotelrecensies, transcripten van rechtszaken en interviews over misleiding in een quizprogramma.

Ze gebruikten vier verschillende superintelligente AI-modellen (denk aan vier verschillende detective-persoonlijkheden) om deze 700 beweringen te beoordelen. Voor elke bewering had de AI twee manieren om het spel te spelen:

De "Geen Referentiegids"-modus (Baseline): De AI moest raden of de bewering een leugen of de waarheid was, gebruikmakend van alleen zijn eigen interne kennis.
De "Referentiegids"-modus (RAG): Voordat de AI gokte, mocht de AI de specifieke regels van één van de zeven misleidings-theorieën opzoeken om de beslissing te sturen.

Ze voerden deze hele opstelling 39.200 keer uit om ervoor te zorgen dat de resultaten solide waren.

De Grote Verrassing: Referentiegidsen Maakten Ze Niet Slimer

De resultaten waren een beetje teleurstellend voor iedereen die hoopte op een wondermiddel. Wanneer de onderzoekers de "Referentiegids"-detectives vergeleken met de "Geen Referentiegids"-detectives, waren ze even slecht in het opsporen van leugens.

De Nauwkeurigheid: Beide groepen hadden ongeveer 54,5% tot 54,6% van de antwoorden goed. Dit is nauwelijks beter dan het opgooien van een muntje (wat 50% zou zijn). De studie vond geen statistisch verschil tussen het gebruik van de theorieën en het niet gebruiken ervan. Met andere woorden: het geven van een specifieke theorie om te volgen, hielp de AI niet om meer leugenaars te vangen.

De referentiegidsen veranderden echter wel de persoonlijkheid van de AI, of wat wetenschappers "bias" noemen.

De "Waarheidsbias": Zonder referentiegids had de AI de neiging om mensen te geloven die de waarheid spraken in 59,7% van de gevallen, zelfs wanneer ze loog. Dit wordt "waarheids-gebiased" genoemd.
Het "Referentiegids"-effect: Wanneer de AI de referentiegidsen gebruikte, werd hij iets minder vertrouwend en geloofde hij de waarheid slechts 57,0% van de tijd. Hoewel dit een verandering is, merkt de studie op dat het effect zeer klein is.

De Regelboeken Waren Niet Gelijk Geschapen

Hier wordt het interessant. Hoewel de referentiegidsen de algemene score niet verbeterden, lieten verschillende regelboeken de AI op totaal verschillende manieren handelen.

Het "Details"-regelboek: De theorie die zegt dat "eerlijke mensen meer details en complicaties geven", werkte het beste. Het was de meest nauwkeurige van de groep.
Het "Verifieerbaarheid"-regelboek: Deze theorie zegt dat "eerlijke mensen feiten geven die gecontroleerd kunnen worden". De AI die dit regelboek gebruikte, werd extreem wantrouwig en beoordeelde slechts 32,2% van de beweringen als waar. Het was "leugen-gebiased".
Het "Truth-Default"-regelboek: Deze theorie zegt dat "mensen er meestal van uitgaan dat mensen eerlijk zijn". De AI die dit regelboek gebruşt, werd extreem vertrouwend en beoordeelde 88,1% van de beweringen als waar. Het was super "waarheid-gebiased".

De studie suggereert dat hoewel de theorie de AI niet hielp om de waarheid beter te zien, het wel fungeerde als een draaiknop die het vertrouwensniveau van de AI omhoog of omlaag draaide.

De "Denkstijl" van de AI

De onderzoekers keken ook naar hoe de AI zijn beslissingen uitlegde. Ze vonden dat de AI-modellen die de meeste "cognitieve inspanning" gebruikten (woorden die lieten zien dat het model hard nadacht, zoals "omdat", "begrijpen" of "weten"), de modellen waren die de meest nauwkeurige resultaten behaalden. Het lijkt erop dat wanneer de AI het probleem echt "doorwerkte", het iets beter deed, maar dit was een observatie en geen gegarandeerde oplossing.

De Kern van het Verhaal

Het paper concludeert dat theorie-gestuurde AI nog niet klaar is om een professionele leugendetector te zijn. Net als een menselijke detective is de AI nog steeds vatbaar voor fouten en wordt hij sterk beïnvloed door of hij van nature vertrouwend of wantrouwend is.

De studie sluit expliciet de mogelijkheid uit dat het simpelweg voeden van een AI met een theorie over misleiding de AI een "silver bullet" zal maken voor het vangen van leugenaars. De nauwkeurigheid bleef rond de 54,5% steken, wat niet goed genoeg is voor serieus gebruik in de echte wereld, zoals in rechtszalen of bij beveiligingscontroles. De auteurs suggereren dat hoewel de AI niet slimmer werd, het experiment nog steeds waardevol was omdat het ons liet zien dat verschillende theorieën de manier waarop de AI denkt veranderen, zelfs als ze niet veranderen hoe goed de AI denkt. Voorlopig staat het vangen van leugenaars met AI nog in de kinderschoenen, en we moeten niet verwachten dat een robot het mysterie zomaar oplost.

Technische Samenvatting: Theorie-gestuurde Detectie van Misleiding via RAG-gebaseerde AI

Probleemstelling
Het vakgebied van misleidingsdetectie zoekt al lang naar technologische "silver bullets" om de beruchte lage nauwkeurigheid van menselijke leugendetectie (doorgaans rond de 54%) te overwinnen. Hoewel recente studies de inzet van Large Language Models (LLM's) voor deze taak hebben verkend, zijn de resultaten gemengd en is er een gebrek aan consensus over hun nut. Cruciaal is dat eerder onderzoek naar AI-gebaseerde misleiding zelden gevestigde theoretische kaders heeft geïntegreerd om de oordelen van de modellen te sturen. In plaats daarvan vertrouwen de meeste AI-studies op "out-of-the-box" prompting of zero-shot learning zonder de AI te funderen in specifieke misleidingstheorieën. Dit artikel adresseert de kloof in het begrip of het funderen van AI-misleidingsoordelen in leidende theoretische perspectieven — via Retrieval-Augmented Generation (RAG) — de detectienauwkeurigheid verbetert of de responsbiases verandert ten opzichte van baseline (niet-RAG) modellen.

Methodologie
De auteurs ontwikkelden een uitgebreid experimenteel framework waarbij ze theorie-gestuurde RAG-modellen vergeleken met baseline LLM's over meerdere dimensies:

Theoretische Kaders: Zeven dominante misleidingstheorieën werden geoperationaliseerd in RAG-systemen: (1) Details en Complicaties, (2) Ekman's Leakage Approach, (3) Four-Factor Theory, (4) Information Manipulation Theory (IMT), (5) Interpersonal Deception Theory (IDT), (6) Truth-Default Theory (TDT), en (7) De Verifiability Approach.
RAG-constructie: Volgens het "Seven C's"-framework (Bailenson et al., 2026) verzamelden de auteurs tot 10 kernbronteksten per theorie (totaal 50 bronnen), reinigden deze (verwijderen van tabellen en referenties) en deelden ze deze op in 5.808 doorzoekbare eenheden. Deze werden ingebed met text-embedding-3-large en opgeslagen in theorie-specifieke ChromaDB vector stores.
Retrieval-proces: Voor elk oordeel maakte het systeem gebruik van een hybride retrieval-strategie die combineerde keyword search (BM25) met semantische zoekopdrachten. De top zes gefuseerde chunks werden opgehaald en als context aan de LLM doorgegeven.
Modellen en Data: De studie maakte gebruik van vier verschillende LLM's (gpt-4o, claude-sonnet-4-6, ollama/llama3, deepseek-v4-flash) en vijf diverse datasets (hotelbeoordelingen, meningen van vrienden, rechtbankverslagen en transcripten van gesprekken over ontrouw), in totaal 70er verklaringen. De studie streefde naar een gelijkmatige verdeling van de grondwaarheid tussen misleidende en waarheidsgetrouwe proeven waar mogelijk, door 100 van elk te selecteren uit grotere datasets of alle beschikbare gevallen te gebruiken als er minder dan 200 aanwezig waren.
Experimenteel Ontwerp: Er werden in totaal 39.200 oordelen afgelegd binnen een 2 (Run-type: RAG vs. Baseline) × 7 (Theorie) × 4 (LLM) × 5 (Dataset) ontwerp. Baseline-modellen ontvingen identieke prompts maar zonder de opgehaalde theoretische context.
Analyse: De studie mat de algehele detectienauwkeurigheid, de waarheidsbias, de waarheidsnauwkeurigheid en de leugennauwkeurigheid. Er werd ook een exploratieve analyse uitgevoerd van de gegenereerde rationales van de LLM's met behulp van Linguistic Inquiry and Word Count (LIWC) om analytisch denken en cognitieve verwerking te beoordelen.

Belangrijkste Resultaten

Nauwkeurigheid: De algehele detectienauwkeurigheid was 54,6%, consistent met de typische menselijke prestaties. Er was geen statistisch significant verschil in nauwkeurigheid tussen RAG-gebaseerde modellen (54,5%) en baseline-modellen (54,6%).
Responsbias: Hoewel de nauwkeurigheid ongewijzigd bleef, waren RAG-modellen iets minder waarheidsbiased (57,0%) dan baseline-modellen (59,7%), hoewel het effect klein was ( $d = 0,06$ ).
Theoretische Variatie: De specifieke gebruikte theorie had een verwaarloosbare impact op de nauwkeurigheid (variërend van 50,9% tot 58,8%), maar een substantiële impact op de responsbias. De bias varieerde van sterk leugen-biased (Verifiability Approach bij 32,2%) tot sterk waarheid-biased (Truth-Default Theory bij 88,1%).
Moderators:
- Content-effecten: Nauwkeurigheid en bias varieerden significant op basis van de dataset. Zo varieerde de nauwkeurigheid voor transcripten van gesprekken over ontrouw met meer dan 40 procentpunten tussen de verschillende theorieën, terwijl andere datasets stabiel bleven.
- Model-effecten: Het claude-sonnet-4-6 model was significant nauwkeuriger en meer waarheidsbiased dan de andere drie LLM's.
Cognitieve Inspanning: Theorieën met de hoogste detectienauwkeurigheid (Details en Complicaties, Verifiability Approach) waren geassocieerd met LLM-rationales die hogere percentages termen voor cognitieve verwerking bevatten, wat wijst op een verband tussen de "inspanning" van de gegenereerde redenering en de kwaliteit van het oordeel.

Belangrijkste Bijdragen

Ontkoppeling van Discriminatiekracht en Bias: De studie toont aan dat het voorzien van een theoretisch kader aan een AI niet noodzakelijkerwijs de bekwaamheid van de AI verbetert om leugens van waarheden te onderscheiden (diagnostiek). In plaats daarvan fungeren theorieën primair als beslisregels die de responsbias van het model veranderen. De effectgrootte voor bias ( $\eta^2 = .11$ ) was bijna 40 keer groter dan die voor nauwkeurigheid ( $\eta^2 = .003$ ).
Matching van Theorie en Data: De resultaten ondersteunen de hypothese dat theorieën die steunen op nonverbale signalen (bijv. Leakage, Four-Factor) slecht presteren in tekstuele taken, terwijl verbale kaders (bijv. Details/Complicaties, Verifiability) relatief beter presteren. Zelfs de best presterende theorieën hadden echter moeite om aanzienlijk boven het toevalsniveau uit te komen in deze context.
Theorie als Experimentele Variabele: Het artikel introduceert een nieuw methodologisch benadering waarbij theorieën worden behandeld als manipuleerbare variabelen. Door theorieën om te zetten in RAG's, evalueerden de auteurs duizenden oordelen om te observeren hoe theoretische principes opereren in AI-besluitvorming, waarmee de traditionele relatie van theorie-testen effectief wordt omgekeerd.
Exploratieve Linguïstische Analyse: De studie biedt vroeg bewijs dat de linguïstische markers van "cognitieve inspanning" in LLM-rationales mogelijk correleren met de kwaliteit van misleidingsoordelen.

Betekenis en Claims
De auteurs concluderen dat theorie-gestuurde AI-misleidingsdetectie momenteel onbetrouwbaar is voor forensisch of toegepast gebruik. Hoewel RAG's de nauwkeurigheid niet verbeterden, boden ze wel een mechanisme om de waarheidsbias licht te verminderen, wat waardevol kan zijn in scenario's met een hoog volume aan factchecking waarbij het aannemen van eerlijkheid een nadeel is.

Het artikel benadrukt dat misleidingsdetectie met AI zich nog in de "infancy" (het beginstadium) bevindt. De bevindingen suggereren dat het simpelweg injecteren van theoretische kennis in een LLM via RAG onvoldoende is om de fundamentele beperkingen van de huidige modellen in dit domein te overwinnen. De auteurs pleiten voor toekomstig onderzoek dat prioriteit geeft aan betere matching tussen theorie en data (bijv. het gebruik van audiovisuele data voor nonverbale theorieën) en verdere investigatie naar hoe LLM's "denken" door misleidingsoordelen heen. Ze waarschuwen expliciet tegen het zien van huidige AI-tools als klaar voor breed gebruik in misleidingsdetectie, waarbij ze opmerken dat decennia aan beloften in het veld vaak gepaard gingen met "valse beloften".