📄 sociale wetenschappen

Search in Transition: A Mixed-Methods Study of LLMs and Search Engines in English Test Preparation

Dit onderzoek met gemengde methoden onthult dat universiteitsstudenten die zich voorbereiden op Engelse taaltests strategisch LLM's combineren voor efficiëntie en zoekmachines voor verificatie, waarbij zij die een gebalanceerde hybride aanpak hanteren de hoogste nauwkeurigheid bereiken ondanks langere taakvoltooiingstijden, wat uiteindelijk een nieuw interface-model ondersteunt voor betrouwbaar AI-gemedieerd leren.

Oorspronkelijke auteurs: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Gepubliceerd 2026-10-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tarek Rahman, Md Shaharia Hossen, Mark Protik Mondol, Jannatun Noor Mukta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elk jaar bereiden miljoenen studenten over de hele wereld zich voor op cruciale Engelse taalexamens zoals de IELTS of TOEFL. Deze toetsen zijn vaak de laatste poortwachters voor het studeren in het buitenland of het veiligstellen van een carrière, waarbij niet alleen een beheersing van vocabulaire en grammatica vereist is, maar ook het vermogen om complexe informatie snel te synthetiseren. Decennialang was de standaardmethode voor deze voorbereiding de traditionele zoekmachine. Een student typt een vraag in, sift door een lijst met links, leest meerdere artikelen en brengt het antwoord samen. Het is een methode gebouwd op autoriteit en verificatie, maar het kan traag en mentaal uitputtend zijn. In de afgelopen jaren is er een nieuw hulpmiddel op het toneel verschenen: het grote taalmodel. Dit zijn conversatieve kunstmatige intelligentiesystemen die vragen kunnen beantwoorden, essays kunnen schrijven en regels kunnen uitleggen in één enkel, vloeiend antwoord. Ze voelen als het hebben van een tutor die op elk moment beschikbaar is. Maar naarmate deze twee technologieën in de hoofden van studenten botsen, rijst een kritische vraag: concurreren ze met elkaar, of werken ze beter samen?

Onderzoekers aan de United International University in Bangladesh gingen op zoek naar het antwoord door te observeren hoe studenten zich daadwerkelijk gedragen wanneer ze geconfronteerd worden met echte toetsopdrachten. Ze vroegen studenten niet simpelweg wat hun voorkeur had; ze keken hoe ze werkten. Het team verzamelde een grote groep van 140 universiteitsstudenten om enquêtes in te vullen over hun gewoonten en gevoelens tegenover deze hulpmiddelen. Om een diepere blik te krijgen, brachten ze 20 van deze studenten mee voor een meer intieme sessie. In deze tweede fase kregen de studenten de opdracht om zeven specifieke taken te voltooien die de uitdagingen van een Engelse taalvaardigheidstoets nabootsen, zoals het samenvatten van een moeilijke tekst, het corrigeren van grammaticafouten of het schrijven van een kort opiniestuk. De onderzoekers keken vervolgens nauwlettend naar welke hulpmiddelen de studenten gebruikten, hoe lang de taken duurden en hoe accuraat de uiteindelijke antwoorden waren.

De resultaten onthulden een duidelijk patroon in hoe studenten dit digitale landschap navigeren. Wanneer studenten uitsluitend vertrouwden op de conversatieve AI, werkten ze snel en voltooiden ze hun taken in gemiddeld 24 minuten. Hun antwoorden waren vloeiend en goed gestructureerd, met een accuratesse-score van 88 procent. Wanneer studenten vasthielden aan de traditionele zoekmachine, deden ze er langer over, met een gemiddelde van 31 minuten, en daalde hun accuratesse naar 80 procent. De zoekmachine vereiste dat ze tussen veel verschillende webpagina's sprongen om informatie te vinden en te verifiëren, een proces dat vaak leidde tot verwarring of gemiste details. De meest succesvolle groep was echter niet de groep die voor slechts één hulpmiddel koos. De studenten die een hybride strategie hanteerden — waarbij ze de AI gebruikten om een snelle conceptversie of uitleg te genereren en vervolgens overschakelden naar de zoekmachine om feiten te verifiëren en regels te bevestigen — behaalden de hoogste accuratesse van 90 procent.

Deze superieure prestatie ging gepaard met een prijs. De hybride groep deed er het langst over om hun werk te voltooien, met een gemiddelde van 35 minuten. Ze moesten stoppen, nadenken en van context wisselen tussen de conversatieve interface en de lijst met zoekresultaten. Ondanks de extra tijd rapporteerden deze studenten dat ze meer vertrouwen hadden in hun antwoorden. Ze begrepen dat de AI een krachtige generator van ideeën was, maar af en toe fouten kon maken of vage verklaringen kon geven, terwijl de zoekmachine een betrouwbare bron van waarheid was, maar overweldigend kon zijn om te navigeren. Door ze te combineren, slaagden ze erin het beste van beide werelden te krijgen: de snelheid en helderheid van de AI, ondersteund door de geloofwaardigheid van de zoekmachine.

De studie suggereert dat de toekomst van leren in deze context niet gaat over het kiezen tussen de ene of de andere technologie, maar over het integreren ervan. De onderzoekers observeerden dat studenten van nature neigden naar een workflow waarbij de AI het zware werk van het schrijven en samenvatten op zich nam, terwijl de zoekmachine diende als een vangnet voor het controleren van feiten. Dit gedrag benadrukt een groeiende behoefte aan hulpmiddelen die gebruikers niet dwingen te kiezen tussen efficiëntie en nauwkeurigheid. De auteurs stellen een nieuw soort interface voor waarbij de conversatieve AI direct binnen de zoekmachine leeft. In dit geïmageerde systeem zou een student een vraag kunnen stellen, een helder, samengevat antwoord van de AI kunnen krijgen, en de specifieke links naar de oorspronkelijke bronnen direct daarnaast te zien krijgen. Dit zou de noodzaak elimineren om voortdurend tussen verschillende tabbladen of applicaties te wisselen, waardoor de mentale inspanning die nodig is om informatie te verifiëren, wordt verminderd.

Uiteindelijk geeft het onderzoek aan dat studenten al optreden als hun eigen ontwerpers, door uit te zoeken hoe ze deze technologieën kunnen mengen om succesvol te zijn. Ze behandelen de AI niet als een vervanging voor de zoekmachine, noch negeren ze de AI ten gunste van oude methoden. In plaats daarvan bouwen ze een persoonlijke workflow die de sterke punten van elk instrument benut. De studie concludeert dat voor hoogwaardig leren de meest effectieve weg vooruit een hybride benadering is die de snelheid van kunstmatige intelligentie respecteert terwijl de rigoureuze verificatie van traditionele zoekopdrachten wordt gehandhaafd, zodat de antwoorden die studenten vinden niet alleen snel zijn, maar ook waar.

Technische Samenvatting: Zoeken in Transitie

Probleemstelling
Naarmate Large Language Models (LLM's) een steeds grotere invloed krijgen op het zoeken naar academische informatie, nemen universiteitsstudenten hybride workflows over die conversionele AI combineren met traditionele zoekmachines. Er is echter een gebrek aan empirisch onderzoek naar hoe deze hulpmiddelen strategisch worden geïntegreerd tijdens de voorbereiding op veeleisende Engelse taalexamens (bijv. IELTS, TOEFL). Hoewel LLM's efficiënt zijn in het genereren van verklaringen en inhoud, kunnen ze vloeiende maar feitelijk onjuiste of contextueel irrelevante informatie produceren. Omgekeerd bieden traditionele zoekmachines verifieerbare, gezaghebbende bronnen, maar vereisen ze een aanzienlijke cognitieve inspanning om doorheen te navigeren, te synthetiseren en te verifiëren over meerdere webpagina's. Het kernprobleem dat wordt aangepakt is de afweging tussen efficiëntie en betrouwbaarheid, en de specifieke strategieën die studenten hanteren om de cognitieve belasting en epistemische vertrouwensrelaties te beheren bij het oplossen van Engelse taalexamentoefeningen.

Methodologie
De studie maakt gebruik van een mixed-methods onderzoeksontwerp bestaande uit twee afzonderlijke fasen:

Kwantitatieve Enquête: Een enquête werd afgenomen onder 140 universiteitsstudenten uit diverse disciplines (voornamelijk Informatica, Engineering, Bedrijfskunde en Engels) aan de United International University, Bangladesh. Het instrument mat vier kerndimensies voor zowel LLM-gebaseerde tools als traditionele zoekmachines: gebruiksfrequentie, tevredenheid, waargenomen efficiëntie en gebruiksgemak. De gegevens werden geanalyseerd met behulp van descriptieve statistiek, Wilcoxon signed-rank tests (voor gepaarde vergelijkingen), Friedman-tests (voor verschillen binnen de dimensies van een tool) en Chi-kwadraat-tests (voor de associatie tussen geslacht en voorkeur).
Kwalitatieve Taakgestuurde Interviews: Diepte-interviews werden uitgevoerd met 20 studenten die zeven representatieve Engelse taalexamentoefeningen hadden voltooid (samenvatten, grammatica correctie, woordkeuze, parafraseren en schrijfopdrachten). Deelnemers werden gecategoriseerd in vier gebruiksgroepen: LLM-alleen, Zoekmachine-alleen, Tool-balancerend (sequentiële toepassing van beide) en Flexibele-keuze. Prestaties bij taken werden geëvalueerd met behulp van vooraf gedefinieerde rubrieken door twee onafhankelijke beoordelaars (inter-beoordelaarsbetrouwbaarheid $\kappa = 0,82$ ), waarbij nauwkeurigheid en voltooiingstijd werden gemeten. Thematische analyse werd toegepast op de interviewtranscripten en open vragen uit de enquête.

Belangrijkste Resultaten

Waargenomen Verschillen: Descriptieve statistieken gaven aan dat LLM's als meer bevredigend en efficiënt werden ervaren, terwijl traditionele zoekmachines hoger werden beoordeeld op gebruiksgemak en gebruiksfrequentie. Echter, gepaarde statistische vergelijkingen (Wilcoxon signed-rank tests) toonden geen statistisch significante verschillen aan tussen de twee typen hulpmiddelen over de vier gemeten dimensies op een $\alpha = 0,05$ niveau.
Prestatie-afwegingen: In de interviewfase behaalde de Tool-balancerende groep (studenten die afwisselden tussen LLM's en zoekmachines) de hoogste taaknauwkeurigheid (90%), maar had de langste voltooiingstijd nodig (35 minuten). De LLM-alleen groep was de snelste (24 minuten) met een nauwkeurigheid van 88%, terwijl de Zoekmachine-alleen groep een nauwkeurigheid van 80% en een voltooiingstijd van 31 minuten had.
Kwalitatieve Thema's: Vier dominante thema's kwamen naar voren:
1. Taakgeschiktheid: LLM's worden geprefereerd voor samenvatten, parafraseren en concepten schrijven; zoekmachines worden geprefereerd voor regelverificatie en gezaghebbende bronnen.
2. Betrouwbaarheid: Studenten vertrouwen zoekmachines voor factchecking vanwege zorgen over LLM-hallucinaties, ondanks de waardering voor de vloeiendheid van de LLM.
3. Cognitieve Belasting: LLM's verminderen de cognitieve inspanning door directe output te bieden, maar hybride workflows leiden, hoewel tijdrovend, tot hogere zelfverzekerdheid en kwaliteit.
4. Interactie: LLM's worden gezien als conversationele tutors, terwijl zoekmachines worden gezien als stabiel maar meer gebruikersinitiatief vereisend.
Voorkeur: De meerderheid van de deelnemers uitte een voorkeur voor een hybride strategie boven exclusieve afhankelijkheid van één van beide tools.

Belangrijkste Bijdragen

Empirisch Bewijs: De studie levert vergelijkende gegevens over de prestaties van LLM's versus traditionele zoekmachines specifief binnen de context van de voorbereiding op Engelse taalexamens, waarbij numerieke waarden voor bekwaamheid en foutenpercentages worden geboden op basis van verschillende informatiezoekstrategieën.
Gedragsanalyse: Het biedt kwalitatieve inzichten in de cognitie van de lerende, vertrouwen en de transitie tussen conversationele AI en traditioneel zoeken, waarbij de contextafhankelijke aard van de toolselectie wordt benadrukt.
Hybride Interface Model: Op basis van de bevindingen stellen de auteurs een Human-Computer Interaction (HCI) georiënteerd hybride interface model voor. Dit conceptuele prototype implementeert een LLM-assistent direct binnen een traditionele zoekomgeving. Het ontwerp beoogt conversationele assistentie te bieden (samenvattingen, concepten) terwijl de gegenereerde output expliciet wordt gekoppeld aan onderliggende bronnen om verificatie te ondersteunen, waardoor workflowfragmentatie en cognitieve belasting worden verminderd zonder de academische integriteit in gevaar te brengen.

Betekenis en Claims
Het artikel beweert dat LLM's en traditionele zoekmachines niet moeten worden gezien als concurrerende technologieën, maar als complementaire componenten van een effectieve academische workflow. De studie suggereert dat studenten van nature adaptieve strategieën adopteren om een balans te vinden tussen efficiëntie en nauwkeurigheid. De betekenis ligt in het aantonen dat een "gebalanceerde hybride" aanpak de hoogste nauwkeurigheid oplevert, zij het met een tijdskost, wat wijst op een noodzakelijke afweging in omgevingen met hoge inzet voor het leren.

De auteurs kaderen hun voorgestelde prototype bescheiden als een conceptueel ontwerp bedoeld om interactieprincipes te illustreren, in plaats van een volledig geïmplementeerd systeem. Ze erkennen beperkingen, waaronder de steekproef van één instelling, de afhankelijkheid van zelfgerapporteerde gegevens en het gebruik van gecontroleerde taken die de langetermijn leerervaringen mogelijk niet volledig weerspiegelen. Dienovereenkomstig roept het artikel op tot toekomstig onderzoek met grotere, cross-culturele steekproeven, objectieve gedragsgegevens (bijv. clickstream, eye-tracking) en longitudinale studies om het voorgestelde hybride interactiemodel in authentieke educatieve omgevingen te valideren.

Meer zoals dit