Investigating the Effects of LLM Use on Critical Thinking Under Time Constraints: Access Timing and Time Availability

Dit onderzoek toont aan dat de invloed van Large Language Models op kritisch denken onder tijdsdruk afhangt van het moment van toegang: vroege of continue toegang verbetert de prestaties bij tijdsgebrek maar verslechtert ze bij voldoende tijd, terwijl onafhankelijk beginnen het tegenovergestelde effect heeft.

De kern

Stel je voor dat je een complexe puzzel moet oplossen, bijvoorbeeld het vinden van de beste oplossing voor een vervuild meer in een stad. Je hebt een hele stapel documenten, rapporten en nieuwsartikelen om te lezen. Dit is een taak die kritisch denken vereist: je moet informatie vergelijken, bronnen controleren en een goed onderbouwd besluit nemen.

Nu komt er een nieuwe speler in het spel: een LLM (zoals een slimme chatbot). De vraag is: helpt deze robot je om een beter besluit te nemen, of maakt hij je lui?

De onderzoekers van dit paper hebben ontdekt dat het antwoord niet simpelweg "ja" of "nee" is. Het hangt volledig af van tijd. Ze hebben een experiment gedaan met 393 mensen en twee belangrijke variabelen:

1. Hoeveel tijd hadden ze? (Weinig tijd = stress, Veel tijd = rustig nadenken).
2. Wanneer mochten ze de chatbot gebruiken? (Direct aan het begin, de hele tijd, pas op het einde, of helemaal niet).

Hier is wat ze ontdekten, vertaald naar alledaagse metaforen:

1. De "Stress-Situatie": Weinig Tijd

Stel je voor dat je in een race zit en de klok tikt hard. Je hebt maar 10 minuten om die puzzel op te lossen.

• Wat gebeurde er? Mensen die de chatbot direct aan het begin gebruikten, deden het het beste.
• De metafoor: Het is alsof je in een storm loopt en iemand je direct een paraplu geeft. Die paraplu (de chatbot) geeft je direct steun en structuur. Het helpt je om snel de belangrijkste informatie te vinden en een eerste plan te maken. Zonder die hulp (of als je pas op het einde een paraplu krijgt) ben je te laat en maak je minder goede beslissingen.
• Conclusie: Als je haast hebt, is het slim om de AI direct te gebruiken als een "kruk" om op te leunen.

2. De "Rustige Situatie": Veel Tijd

Nu stel je voor dat je een hele middag (30 minuten) hebt om diezelfde puzzel op te lossen. Je kunt rustig nadenken.

• Wat gebeurde er? Hier draaide het verhaal om! Mensen die de chatbot direct aan het begin gebruikten, deden het slechter dan mensen die eerst zelf hard werkten. Mensen die eerst zelf nagedachten en de chatbot pas aan het einde gebruikten, maakten de beste beslissingen.
• De metafoor: Stel je voor dat je een schilderij maakt. Als je direct een AI laat tekenen wat er in het schilderij moet komen, ga je die lijn volgen. Je probeert niet meer zelf na te denken over andere kleuren of vormen. Je wordt "gevangen" in het eerste idee van de AI.
  • Mensen die eerst zelf werkten, hadden hun eigen ideeën ontwikkeld. Toen ze de AI aan het einde gebruikten, was het alsof ze een tweede mening vroegen: "Heb ik iets gemist?" De AI hielp hen om hun eigen ideeën te verbeteren en eenzijdige gedachten te corrigeren.
  • Mensen die direct de AI gebruikten, leerden de documenten niet echt uit hun hoofd (ze onthielden minder informatie) en bleven vastzitten in het eerste idee van de robot.
• Conclusie: Als je tijd hebt, is het slim om eerst zelf te werken. Gebruik de AI pas op het einde als een "spiegel" om te checken of je niets over het hoofd hebt gezien.

De Grote Leerervaring: Het "Tijds-Paradox"

De belangrijkste les uit dit onderzoek is een tijdsomkering:

• Wat je helpt als je haast hebt (AI direct gebruiken), hindert je als je tijd hebt.
• Wat je hindert als je haast hebt (eerst zelf werken), helpt je als je tijd hebt.

Waarom is dit belangrijk voor de toekomst?

De onderzoekers zeggen dat we AI-apps niet "één maat past iedereen" moeten maken.

• Voor haastige taken: Laat de AI direct helpen om snel op gang te komen.
• Voor leer- en denk-taken: Zorg dat de AI eerst even "stil" blijft. Laat de gebruiker eerst zelf nadenken. Pas als ze klaar zijn met hun eigen gedachten, mag de AI komen om te helpen, te checken of te verbeteren.

Kort samengevat:
Als je in de war bent en haast hebt, vraag de AI om direct hulp. Maar als je echt iets wilt leren of een diep besluit wilt nemen, doe het eerst zelf. Gebruik de AI pas op het einde om te zeggen: "Heb ik iets gemist?" Zo voorkom je dat je je eigen brein uit zet en afhankelijk wordt van de robot.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Investigating the Effects of LLM Use on Critical Thinking Under Time Constraints: Access Timing and Time Availability", vertaald en samengevat in het Nederlands.

Titel: Onderzoek naar de effecten van LLM-gebruik op kritisch denken onder tijdsdruk: Toegangstijdstip en Beschikbaarheid van Tijd

Auteurs: Jiayin Zhi, Harsh Kumar, en Mina Lee (Universiteit van Chicago en Universiteit van Toronto)
Publicatie: CHI '26 (Conference on Human Factors in Computing Systems)

---

1. Probleemstelling

Hoewel er groeiende aandacht is voor de impact van Large Language Models (LLMs) op kritisch denken, blijft de rol van tijd als contextuele factor onderbelicht. Bestaand onderzoek is vaak beperkt tot zelfrapportages of vergelijkt simpelweg "met LLM" versus "zonder LLM", zonder rekening te houden met de temporele dynamiek.

De auteurs identificeren twee cruciale tijdsdimensies die de mens-AI-samenwerking beïnvloeden:

1. Toegangstijdstip (Access Timing): Wanneer krijgt de gebruiker toegang tot de LLM? (Aan het begin, continu, aan het einde, of nooit).
2. Beschikbaarheid van Tijd (Time Availability): Heeft de gebruiker voldoende tijd om de taak grondig te voltooien, of staat deze onder tijdsdruk?

De centrale vraag is of het effect van LLMs op kritisch denken uniform is, of dat het afhankelijk is van deze tijdscontext.

2. Methodologie

De auteurs voerden een preregistreerde, tussen-proefpersonen experiment uit met 393 deelnemers (via Prolific).

• Experimenteel Ontwerp: Een $4 \times 2$ factorial design.
  • Factor 1: Toegangstijdstip LLM (4 niveaus):
    • Early: Toegang alleen in het eerste derde deel van de taak.
    • Continuous: Toegang gedurende de hele taak.
    • Late: Toegang alleen in het laatste derde deel van de taak.
    • No LLM: Geen toegang tot de LLM.
  • Factor 2: Beschikbaarheid van Tijd (2 niveaus):
    • Insufficient (Onvoldoende): 10 minuten (induceert tijdsdruk).
    • Sufficient (Voldoende): 30 minuten (staat grondige deliberatie toe).
• Taak: Gebruikmakend van het iPAL-framework (International Performance Assessment of Learning), moesten deelnemers een redenerend besluit nemen over een realistisch civiel scenario (waterverontreiniging door een bedrijf). Ze kregen toegang tot een set documenten met variërende betrouwbaarheid, relevantie en standpunten.
• Afhankelijke Variabelen:
  1. Essay Score: Kwaliteit van het geschreven betoog (aantal geldige argumenten, bronverwijzingen, evaluatie van betrouwbaarheid, straf voor fabricages).
  2. Myside Bias: Mate van eenzijdigheid in het betoog.
  3. Recall: Vermogen om de inhoud van de documenten te onthouden (vrije herinnering).
  4. Evaluation: Correctheid van het beoordelen van bronkenmerken (relevantie, betrouwbaarheid, standpunt).
  5. Comprehension: Begrip van feitelijke informatie uit de documenten.
• Analyse: ANCOVA (Analysis of Covariance) met correctie voor covariaten zoals LLM-ervaring en zelfvertrouwen.

3. Belangrijkste Resultaten

De studie onthulde een opmerkelijke temporele omkering (temporal reversal): het effect van LLM-toegang is tegengesteld afhankelijk van de tijdsbeschikbaarheid.

A. Effect van Toegangstijdstip onder verschillende tijdscondities

• Onder Tijdsdruk (Insufficient Time):
  • Toegang vanaf het begin (Early en Continuous) verbeterde de prestaties van het essay significant in vergelijking met onafhankelijk werken (Late/Geen LLM).
  • Mechanisme: De LLM fungeerde als "scaffolding" (ondersteuning) die hielp bij het snel genereren van argumenten en het overwinnen van de initiële cognitieve last.
• Onder Voldoende Tijd (Sufficient Time):
  • Toegang vanaf het begin (Early en Continuous) verslechterde de prestaties van het essay in vergelijking met onafhankelijk werken.
  • Deelnemers die eerst onafhankelijk werkten (Late/Geen LLM) presteerden het beste.
  • Mechanisme: Vroege toegang leidde tot "anchoring" (verankering) in de eerste ideeën van de LLM, wat verdere diepe deliberatie en het integreren van diverse perspectieven blokkeerde.

B. Effect op Cognitieve Processen (Recall & Evaluatie)

• Recall (Onthouden): Onder voldoende tijd presteerden deelnemers met vroege LLM-toegang significant slechter in het onthouden van documentinhoud dan diegenen zonder LLM. Dit suggereert dat vroege LLM-gebruik de interne verwerking en internalisatie van informatie verhindert.
• Myside Bias (Eenzijdigheid): Onder voldoende tijd verminderde Late LLM-toegang de eenzijdigheid van het betoog aanzienlijk in vergelijking met "Geen LLM", terwijl het aantal argumenten gelijk bleef. De LLM fungeerde hier als een laatste check om over het hoofd geziene perspectieven toe te voegen.

C. Zelfrapportage vs. Prestatie

Er was een groot verschil tussen zelfgerapporteerde kritische denkvaardigheden en de daadwerkelijke prestaties. Zelfrapportages toonde weinig variatie tussen de condities, wat aantoont dat gebruikers zich niet bewust zijn van hoe LLMs hun cognitieve processen onder tijdsdruk beïnvloeden.

4. Bijdragen en Significantie

Technische Bijdragen

1. Empirisch Bewijs voor Tijdsafhankelijkheid: Het paper weerlegt het idee dat LLMs inherent goed of slecht zijn voor kritisch denken. Het bewijst dat de timing van de interactie de uitkomst fundamenteel bepaalt.
2. Ontwerprichtlijnen voor Human-AI Collaboratie:
   • Bij Tijdsdruk: Het is effectief om LLM-toegang direct aan te bieden om de initiële cognitieve last te verlagen en snelle argumentatie mogelijk te maken.
   • Bij Voldoende Tijd: Het is cruciaal om gebruikers eerst te laten werken zonder AI (of AI pas laat toe te staan) om onafhankelijk denken, broninternalisatie en het vermijden van bias te stimuleren.
3. Methodologische Innovatie: Het gebruik van een gestructureerd prestatieassessment (iPAL) in plaats van zelfrapportage biedt een objectiever beeld van de cognitieve impact van AI.

Implicaties voor Ontwerp

• Adaptieve Interfaces: LLM-toepassingen zouden dynamisch moeten reageren op de beschikbare tijd van de gebruiker. Bij weinig tijd kan directe scaffolding worden geboden; bij veel tijd moet de interface gebruikers aanmoedigen om eerst zelf na te denken (bijv. via "frictie" of nudges).
• Verdediging tegen Bias: Late toegang tot LLMs kan een effectieve strategie zijn om "echo chambers" en eenzijdig redeneren te doorbreken, door AI te gebruiken als een laatste validatiestap voor diverse perspectieven.
• Cognitieve Behoud: Ontwerpers moeten rekening houden met het risico dat vroege LLM-toegang de langetermijnverwerking van kennis en het onthouden van bronmateriaal ondermijnt, zelfs als de directe taakprestatie hoog is.

Conclusie

De studie concludeert dat tijd een centrale variabele is in het ontwerp van mens-AI-samenwerking. Wat onder tijdsdruk een hulpmiddel is (vroege LLM-toegang), kan onder rustige omstandigheden een belemmering worden voor diep kritisch denken. Optimale samenwerking vereist een tijdsbewuste benadering waarbij AI-toegang wordt afgestemd op de beschikbare tijd en de aard van de cognitieve taak.