💻 computer science

When the Interviewer Is a Bot: Behavior, Breakdowns, and Trust in MLLM-Led Interviews

Dit artikel presenteert een empirische studie naar "InterviewBot", een real-time multimodale LLM-systeem gebruikt als onderzoeksinstrument, die onthult dat het weliswaar functioneert als een levensvatbare interviewtool, maar gedragslimieten vertoont zoals excessieve bevestigingen en beurten met meerdere vragen, kampt met specifieke technische defecten tijdens de implementatie, en de dynamiek van vertrouwen en openheid bij deelnemers op manieren verandert die nieuwe ontwerpstrategieën vereisen voor diepgang, transparantie en authentiek luisteren.

Oorspronkelijke auteurs: He Zhang, Kambinachi Chukwuma, ChanMin Kim, John M. Carroll

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: He Zhang, Kambinachi Chukwuma, ChanMin Kim, John M. Carroll

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Interviewer in de Machine

Stel je voor dat je probeert te begrijpen hoe mensen denken, voelen of problemen oplossen. Decennialang hebben wetenschappers dit gedaan door met mensen te gaan zitten en hen vragen te stellen op een "semi-gestructureerde" manier. Denk hierbij aan een begeleide wandeling: de onderzoeker heeft een kaart (een overzicht van onderwerpen om te behandelen), maar kan ook van het pad afwijken om interessante zijpaden te volgen die de wandelaar aanwijst. Deze methode is krachtig vanwege de flexibiliteit, maar het is ook uitputtend. Het kost een mens veel tijd en energie om te luisteren, de juiste vervolgvragen te stellen en het gesprek natuurlijk te laten verlopen.

Onlangs is er een nieuw instrument op het toneel verschenen: het Large Multimodal Model (MLLM). Je kent ze misschien wel als de superintelligente AI-chatbots die kunnen praten, luisteren en zien. Wetenschappers begonnen zich af te vragen: "Kunnen we de AI gewoon het interview laten doen?" Het klinkt als een droom die uitkomt wat betreft efficiëntie. Maar er is een addertje onder het gras. Interviews zijn niet alleen data-extractie; het zijn sociale dansen gebouwd op vertrouwen, oogcontact en het gevoel dat er echt naar je geluisterd wordt. Als we de mens vervangen door een bot, werkt de dans dan nog wel? Of stopt de muziek? Dit artikel duikt in precies die vraag en test wat er gebeurt wanneer een robot het voortouw neemt in een echt gesprek.

De Bot die Mens wilde zijn

Een team van onderzoekers bouwde een systeem genaamd InterviewBot om te ontdekken wat er werkelijk gebeurt wanneer een AI een real-time, spraakgestuurd interview aflegt. Ze bouwden geen fancy nieuwe robothersenen; in plaats daarvan namen ze een krachtig, kant-en-klaar AI-model en wikkelden dit in een eenvoudige interface waarmee ze een lijst met onderwerpen konden invoeren. Ze wilden zien hoe deze "standaard" AI zich zou gedragen wanneer deze aan zijn lot werd overgelaten om als interviewer te fungeren voor 15 echte mensen.

De opzet was simpel: een deelnemer ging zitten en de InterviewBot stelde vragen over hun ervaringen met AI-tools. Nadat de bot klaar was, kwam een menselijke onderzoeker terug om de deelnemer te vragen: "En, hoe voelde dat?"

De resultaten waren een mix van verrassende glitches en enkele diepe inzichten in hoe wij machines vertrouwen. Dit is wat de onderzoekers ontdekten.

De "Slechte Gewoontes" van de Bot

Toen de onderzoekers de gespreksturns van de bot analyseerden (de specifieke momenten waarop de bot sprak), ontdekten ze dat de AI enkele duidelijke eigenaardigheden had.

Ten eerste was de bot erg goed in knikken, maar slecht in diepgang zoeken. Het was "overmatig gericht op erkenning, maar licht in doorvragen". Van alle beurten die de bot maakte, besteedde hij veel tijd aan zaken als "Dat is interessant" of "Ik begrijp het". Echter, wanneer het aankwam op het stellen van diepe, vervolgvragen om meer details te krijgen, deed hij dat nauwelijks. Slechts 4,9% van zijn beurten bestond uit diepe doorvragen. Het was als een vriend die op alles "Wauw!" zegt, maar nooit vraagt "Waarom?" of "Vertel eens meer?".

Ten tweede had de bot moeite met het volgen van de meest basale regel van een gesprek: één vraag tegelijk. Ondanks dat de onderzoekers de bot expliciet vertelden: "Stel één vraag tegelijk", negeerde de bot deze instructie in 28,7% van de gevallen waarin hij vragen stelde. De bot propt twee of drie vragen in één enkele zin. Het resultaat? De deelnemers raakten vaak in de war en beantwoordden alleen het eerste deel, waardoor de rest van de data onbenut bleef.

Ten derde had het systeem enkele technische haperingen. De onderzoekers merkten vier hoofdmomenten op waarop het interview uiteenviel:

Informatieverlies: Omdat de bot te veel vragen tegelijk stelde, misten mensen delen van de prompt.
Voortijdige Beëindiging: In één geval stopte de bot gewoon met praten terwijl de deelnemer nog midden in een gedachte zat.
Latentie: Soms duurde het antwoorden van de bot zo lang dat mensen dachten dat hij vastliep of hen vergeten was.
Onderbreking: Het systeem probeerde mensen toe te laten om te onderbreken (een functie genaamd "barge-in"), maar de technologie was niet perfect. In plaats van mensen te laten praten, onderbrak de bot hen vaak, waardoor het gesprek schokkerig en onbeleefd aanvoelde.

Hoe mensen zich voelden: De "Geest" in de kamer

Het meest fascinerende deel van de studie was niet de fouten van de bot, maar hoe de mensen daarop reageerden. De onderzoekers ontdekten drie grote thema's in hoe mensen zich voelden bij het worden geïnterviewd door een robot.

1. De Paradox van de "Veilige Ruimte" versus de "Oppervlakkige Gesprek"
Sommige deelnemers voelden zich verrassend comfortabel bij het praten met de bot. Omdat er geen mens voor hen zat die naar hun accent of ideeën keek, voelden zij minder druk. Eén persoon merkte op: "Het raakte niet in de war... het kreeg mijn punt heel snel overgebracht." Dit gebrek aan oordeel zorgde voor een gevoel van veiligheid.

Er was echter een keerzijde. Omdat ze niet de sociale druk voelden om een mens te imponeren, voelden ze ook niet de noodzaak om de moeite te nemen om hun gedachten diepgaand uit te leggen. Eén deelnemer gaf toe: "Ik voelde simpelweg niet de behoefte om dieper in al mijn antwoorden te duiken." De bot creëerde een ruimte waar het makkelijk was om te beginnen met praten, maar moeilijk om de diepte in te gaan. Het was als praten tegen een spiegel: je kunt alles zeggen, maar de spiegel pusht je niet om méér te zeggen.

2. Vertrouwen in de "Institutie", niet in de "Stem"
Wanneer mensen beoordeelden of het interview eerlijk of legitiem was, keken ze niet naar hoe goed de bot sprak. Ze keken naar wat de bot vertegenwoordigde. Als de bot werd gebruikt voor een gestandaardiseerde taak (zoals een korte enquête), vonden mensen het prima. Maar als het voelde alsof de organisatie een bot gebruikte omdat ze te druk waren om met hen te praten, voelden mensen zich niet gerespecteerd.

Eén deelnemer zei: "Als ik aan een AI-interview denk, denk ik eigenlijk dat het bedrijf geen tijd had om even met mij te gaan zitten." De bot was niet alleen een hulpmiddel; het was een signaal. Als een bedrijf een bot gebruikte, signaleerde dat zij niet genoeg tijd wilden investeren in de persoon. Dit gebeurde zelfs terwijl de bot eigenlijk heel goed was in het volgen van het script!

3. Luisteren versus Alleen maar Nikken
De deelnemers waren zeer scherp in het herkennen van 'nep-luisteren'. De bot gebruikte veel generieke zinnen zoals "Wauw, dat is interessant" of "Ik begrijs het". De deelnemers haatten dit. Ze noemden het "herhalende zinnen" en vonden het hol.

In plaats daarvan waren ze dol op het moment dat de bot daadwerkelijk parafraseerde wat zij zeiden. Wanneer de bot hun specifieke woorden nam en deze anders formuleerde om te laten zien dat hij de inhoud begreep, voelden de deelnemers zich gehoord. Het blijkt dat voor een robot "actief luisteren" niet betekent dat je zegt "Ik voel je", maar dat je bewijst dat je de feiten hebt begrepen.

De Belangrijkste Conclusie

De studie concludeert dat hoewel AI technisch gezien een interview kan voeren, het de hele sociale dynamiek verandert. Het is niet simpelweg een snellere versie van een menselijke interviewer; het is een totaal andere vorm van interactie.

De onderzoekers suggereren dat als we in de toekomst AI voor interviews willen gebruiken, we het niet zomaar de vrije loop kunnen laten. We moeten systemen ontwerpen die:

Diepgang afdwingen: Zorgen dat de bot vervolgvragen stelt en niet zomaar doorgaat.
Transparant zijn: Duidelijk uitleggen waarom een bot wordt gebruikt, zodat mensen zich niet genegeerd voelen.
Echt luisteren: De bot programmeren om te parafraseren en samen te vatten, in plaats van alleen maar "cool" of "wauw" te zeggen.

Uiteindelijk suggereert het artikel dat AI een krachtig hulpmiddel is, maar geen magische vervanging voor menselijk contact. Als we rijke, diepe verhalen van mensen willen horen, moeten we voorzichtig zijn dat de efficiëntie van de bot niet precies datgene doodt wat een gesprek waardevol maakt: het gevoel dat er écht naar je geluisterd wordt.

Technische Samenvatting: Wanneer de Interviewer een Bot is: Gedrag, Breuken en Vertrouwen in door MLLM geleide Interviews

Probleemstelling
Semi-gestructureerde interviews zijn een hoeksteen van kwalitatief onderzoek, maar zijn arbeidsintensief en gevoelig voor interviewerbias. Hoewel recente Large Language Model (LLM) systemen hebben aangetoond het vermogen te hebben om menselijke, contextueel relevante vervolgvragen te genereren, is er een gebrek aan empirisch begrip over hoe off-the-shelf, real-time Multimodale LLM's (MLLM's) zich daadwerkelijk gedragen wanneer ze zonder menselijke bemiddeling als interviewer worden ingezet. Bestaande literatuur evalueert geautomatiseerde interviewing vaak op basis van outputkwaliteit (bijv. responsvolume) of vertrouwt op "Wizard-of-Oz"-opstellingen waarbij een mens de AI aanstuurt. Er is een kritiek gat in het begrip van de moment-tot-moment dialooghandelingen van een ingezette bot, de specifieke technische breuken die optreden in real-time spraakinteracties, en de sociale betekenis die participanten toeschrijven aan het geïnterviewd worden door een AI.

Methodologie
De auteurs ontwikkelden InterviewBot, een spraakgebaseerd interviewingsysteem dat een commerciële real-time MLLM (OpenAI Realtime API, gpt-4o-realtime-preview-2025-06-03) inkapselt met een door een onderzoeker geschreven outline. Het systeem was bewust ontworpen als een "dunne wrapper" in plaats van een nieuwe architectuur, dienend als een onderzoeksinstrument om het standaard MLLM-gedrag te observeren.

Studieontwerp: Een praktijkstudie met $N=15$ participanten (voornamelijk studenten) uitgevoerd op afstand via Zoom.
Procedure: Elke sessie bestond uit drie fasen:
1. Een korte menselijke introductie.
2. Een door een bot geleid semi-gestructureerd interview (ca. 15–30 min) geleid door een outline die AI-gebruik, AI in studies en AI in banen beslaat. De bot kreeg de instructie om één vraag tegelijk te stellen en vervolgvragen natuurlijk aan te passen.
3. Een door een mens geleid reflectie-interview (ca. 20 min) gericht op de ervaring van de participant met de bot.
Analyse:
- Interactieanalyse: Alle 428 bot-beurten uit de 15 sessies werden inductief gecodeerd in een wederzijds uitsluitende hiërarchie van dialooghandelingen (bijv. Open Vragen, Probes, Bevestigingen, Gestapelde Vragen).
- Kwalitatieve Analyse: Transcripten van de 15 reflectiesessies werden geanalyseerd met behulp van snelle thematische analyse om de percepties van participanten met betrekking tot vertrouwen, legitimiteit en interactiekwaliteit te identificeren.

Belangrijkste Bijdragen
Het artikel levert drie primaire empirische bijdragen:

Turn-Level Gedragsanalyse: Een kwantitatieve karakterisering van het dialooghandeling-profiel van de MLLM-interviewer.
Catalogus van Breuken: Een inductieve lijst van vier specifieke foutmodi bij dataverzameling waargenomen in een ingezet, real-time systeem.
Sociale Dynamiek van Vertrouwen: Een analyse van hoe participanten hun openheid herijken, institutionele legitimiteit beoordelen en "luisteren" interpreteren wanneer de interviewer een AI is.

Belangrijkste Resultaten

Gedragspatronen:
- Bevestigings-zwaar, Probe-licht: De bot vertrouwde zwaar op bevestigingen en herformuleringen (34,1% van de beurten) maar voerde zelden verdiepende probes uit (slechts 4,9% van de beurten).
- Systematische Protocolschending: Ondanks expliciete instructies om "één vraag tegelijk te stellen", bevatten 28,7% van de vraagstellende beurten meerdere vragen (gestapelde vragen).
- Evaluatieve Opname: De bot bood frequent evaluatieve commentaar (bijv. "Dat zijn geweldige voorbeelden") die soms substantiële standpunten bekrachtigde in plaats van simpelweg uitdieping te stimuleren.
Technische Breuken:
Vier terugkerende foutmodi werden geïdentificeerd:
1. Informatieverlies: Veroorzaakt door gestapelde vragen, waarbij participanten slechts de eerste subvraag beantwoordden.
2. Voortijdige Beëindiging: De bot die een sessie beëindigt terwijl de participant nog betrokken is.
3. Latentie: Lange pauzes die onzekerheid veroorzaakten over de actieve status van de bot.
4. Onderbreking: Het "barge-in" mechanisme (ontworpen om onderbrekingen toe te staan) functioneerde niet goed, waardoor de bot participanten afbrak.
Sociale Dynamiek (Reflecties van Participanten):
- Calibratie van Openheid: De afwezigheid van een menselijke luisteraar verminderde de sociale druk, waardoor sommige participanten (vooral niet-moedertaalsprekers) zich comfortabeler voelden. Dit leidde echter ook tot een "verplattingseffect", waarbij participanten minder verplicht voelden om diepgaand uit te weiden.
- Institutionele Legitimiteit: Vertrouwen was niet uitsluitend gebaseerd op conversationele vloeiendheid, maar op de waargenomen belangen. Participanten beschouwden AI als legitiem voor gestandaardiseerde taken, maar interpreteerden het gebruik ervan in situaties met hoge inzet (bijv. sollicitatiegesprekken) als een signaal van institutionele desinteresse of een gebrek aan zorg.
- Conversationele Gronding: Participanten maakten onderscheid tussen "luisteren" en "invullen". Generieke bevestigingen (bijv. "Wauw, dat is interessant") werden als hol en repetitief ervaren. Echt luisteren werd pas herkend wanneer de bot een op de inhoud gebaseerde parafrasering uitvoerde.

Significantie en Claims
Het artikel stelt dat MLLM-gebaseerde interviewing geen eenvoudige "plug-and-play" vervanging is voor menselijke onderzoekers. De auteurs beargumenteren dat hoewel geautomatiseerde systemen een responsvolume kunnen handhaven dat vergelijkbaar is met menselijke interviews, ze fundamenteel het sociale contract van het interview veranderen.

Het "Bot-effect": Het verwijderen van een menselijke interviewer creëert een tweeledig mechanisme: het verlaagt de drempel voor openheid (verhoogt de toegankelijkheid), maar verlaagt tegelijkertijd het plafond voor narratieve diepgang (vermindert de uitdieping).
Institutionele Signalering: De inzet van een AI-interviewer wordt door participanten geïnterpreteerd als een signaal van organisatorische waarden. In scenario's met hoge inzet kan automatisering worden opgevat als een gebrek aan investering in de participant, ongeacht de technische prestaties van het systeem.
Ontwerpimplicaties: De auteurs concluderen dat effectieve automatisering vereist:
- Dieptecontrole: Verder gaan dan prompt-instructies naar turn-level beperkingen die diepgang (probing) afdwingen en gestapelde vragen voorkomen.
- Transparante Overdrachten: Het helder kaderen van de rol van de bot binnen de onderzoeksworkflow om verwachtingen en institutionele legitimiteit te beheren.
- Gegronde Luistervaardigheid: Het ontwerpen van actieve luistermechanismen die prioriteit geven aan op de inhoud gebaseerde parafras boven getextureerde sociale opvulwoorden.

De studie positioneert zichzelf als een empirisch snapshot van een specifieke modelversie, waarbij benadrukt wordt dat deze bevindingen de noodzaak onderstrepen voor mensgerichte vormgeving van interviewautomatisering in plaats van de volledige vervanging van menselijke interviewers.