🤖 AI

Seeking Information with RAG-Assistants: Does Model Size Matter in Human-AI Collaborations?

Deze studie evalueert door RAG ondersteunde chatbots in realistische multi-turn informatievraagscenario's en stelt vast dat, hoewel mens-AI-samenwerking de prestaties aanzienlijk verbetert ongeacht de grootte van het onderliggende model, de gebruikerstevredenheid en de waargenomen bruikbaarheid grotendeels onbeïnvloed blijven door de schaal van het model.

Oorspronkelijke auteurs: Lennard C. Froma, Tom Kouwenhoven, Maaike H. T. de Boer, Catholijn M. Jonker, Max J. van Duijn

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lennard C. Froma, Tom Kouwenhoven, Maaike H. T. de Boer, Catholijn M. Jonker, Max J. van Duijn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complex raadsel op te lossen, maar de instructies zijn verstopt in een enorme, 400 pagina's tellende handleiding vol met technische jargon. Je hebt twee hulpmiddelen om je te helpen: een slimme assistent (een AI-chatbot) en de handleiding zelf.

Dit artikel is als een rapportkaart over hoe goed verschillende maten van deze "slimme assistenten" werken wanneer mensen samenwerken met hen om deze raadsels op te lossen. De onderzoekers wilden weten: Maakt het hebben van een "groter brein" (een groter AI-model) het mens-AI-team echt beter, of is een kleiner, goedkoper brein net zo goed wanneer een mens in de loop zit?

Hier is de uiteenzetting van hun experiment en bevindingen, met gebruikmaking van eenvoudige analogieën:

De Opzet: Drie Soorten Assistenten

De onderzoekers creëerden drie versies van de AI-assistent, elk met een verschillende "hersengrootte" (modelgrootte):

Het Compacte Brein (3B): Klein, snel en efficiënt. Denk hierbij aan een zeer slimme stagiair die de basis kent, maar misschien subtiele details mist.
Het Middelgrote Brein (8B): Een stap verder. Denk aan een junior manager die vrij bekwaam is.
Het Reuzegrote Brein (70B): Een massief, krachtig model. Denk aan een senior expert met een enorme bibliotheek aan kennis.

De Twist: Geen van deze assistenten mocht gewoon "gissen" vanuit hun geheugen. Ze waren allemaal verbonden met de 400 pagina's tellende handleiding (een techniek genaamd RAG, of "Retrieval-Augmented Generation"). Dit is alsof je de assistent een directe telefoonlijn naar de bibliotheek geeft zodat ze direct feiten kunnen opzoeken, in plaats van te vertrouwen op wat ze op school hebben gememoriseerd.

Het Experiment: Mensen versus Machines

De onderzoekers huurden 112 mensen in om te fungeren als "piloten" (hoewel het geen echte piloten waren) en vroegen hen specifieke vragen over de handleiding te beantwoorden. Ze werden verdeeld in drie groepen:

Groep A: Gebruikte de Compacte Brein-assistent.
Groep B: Gebruikte de Middelgrote Brein-assistent.
Groep C: Gebruikte de Reuzegrote Brein-assistent.

Deelnemers konden kiezen om de AI te vragen, de PDF-handleiding direct te lezen, of een mix van beide te gebruiken. Ze kregen extra betaald als ze de antwoorden goed hadden, dus ze waren gemotiveerd om nauwkeurig te zijn.

De Grote Bevindingen

1. De Kracht van de "Mens-in-de-Lus"

De belangrijkste ontdekking was dat mensen die samenwerken met AI aanzienlijk beter waren dan AI die alleen werkte.

De Analogie: Stel je een GPS voor (de AI) die je routeaanwijzingen geeft. Als je blindelings de GPS volgt, kun je een afgesloten weg missen. Maar als je een menselijke bestuurder hebt die naar de kaart kan kijken, de GPS kan bevragen en zeggen: "Wacht, dat ziet er niet goed uit", komt het team veel sneller en nauwkeuriger op de bestemming aan.
Het Resultaat: Of de AI nu het "Compacte", "Middelgrote" of "Reuzegrote" brein was, het mens-AI-team sloeg de scores van de AI die alleen werkte.

2. Maakt een Groter Brein Uit? (De Nauwkeurigheids Test)

Wanneer de AI alleen werkt: Het "Reuzegrote Brein" (70B) was het beste in het vinden van antwoorden op zichzelf. Het "Compacte Brein" (3B) had meer moeite.
Wanneer de Mens helpt: Hier wordt het interessant. Wanneer mensen samenwerkten met het "Compacte Brein", hielpen de mensen de gaten op te vullen. De prestaties van het team steekten zo hoog dat de kloof tussen het kleine brein en het reuzegrote brein verdween.
De Conclusie: Een menselijke partner kan helpen een kleiner, goedkoper AI net zo goed te laten presteren als een massief, duur model.

3. Wat Voelden de Mensen? (De Tevredenheidstest)

De onderzoekers vroegen de deelnemers: "Vond je de assistent leuk? Was het makkelijk te gebruiken? Vertrouwde je het?"

De Verrassing: Hoewel het "Reuzegrote Brein" technisch gezien het slimste was wanneer het alleen werkte, voelden de mensen geen groot verschil tussen de drie assistenten wanneer ze samenwerkten.
De Nuance: De enige duidelijke voorkeur was dat mensen het "Reuzegrote Brein" iets betrouwbaarder vonden. Voor alles anders (hoe makkelijk het was om mee te praten, hoezeer ze het leuk vonden, hoe boeiend het was) werden het "Compacte", "Middelgrote" en "Reuzegrote" brein bijna gelijk beoordeeld.
De Analogie: Het is alsof je drie verschillende auto's rijdt (een compacte auto, een sedan en een luxe SUV) met een copiloot. Zelfs als de luxe SUV een krachtigere motor heeft, voel je misschien niet dat de luxe auto een betere rijervaring biedt dan de compacte, zodra je een copiloot hebt die navigeert.

Waarom Dit Belangrijk Is

Het artikel stelt dat we vaak geobsedeerd raken door het steeds groter maken van AI-modellen om hogere scores te behalen op computertoetsen (benchmarks). Maar in de echte wereld, waar mensen de tools daadwerkelijk gebruiken:

Samenwerking is cruciaal: Mensen + AI is een winnend team, ongeacht de grootte van de AI.
Groter wordt niet per se "voeld" als beter: Gebruikers voelden niet noodzakelijkerwijs dat de enorme, dure modellen veel beter waren om mee te werken dan de kleinere.
Efficiëntie: Omdat kleinere modellen goedkoper en sneller zijn, en mensen kunnen helpen ze net zo goed te laten presteren, hoeven we misschien niet voor elke taak enorme, energievretende modellen te bouwen.

Kortom: Je hebt niet altijd een supercomputer nodig om een probleem op te lossen als je een slimme mens hebt die je helpt een kleiner, eenvoudiger hulpmiddel te gebruiken. Het mens-AI partnerschap maakt het speelveld gelijk.

Technische Samenvatting: Informatie zoeken met RAG-assistenten: Doet Modelgrootte Er Toe in Mens-AI Samenwerkingen?

Probleemstelling
Hoewel uitgebreid onderzoek naar Large Language Models (LLM's) zich richt op het verhogen van benchmarkprestaties, blijft de evaluatie van deze modellen in realistische, meertraps mens-AI samenwerkingsworkflow onderontwikkeld. Huidige evaluaties vertrouwen vaak op kwantitatieve metrics (nauwkeurigheid, precisie, recall) die zijn afgeleid van single-turn interacties, wat grotere commerciële modellen in het voordeel brengt en de nuances van professionele informatievraagstukken niet vastlegt. In werksituaties met gevoelige data en strikte naleving (bijvoorbeeld de EU AI Act) is er behoefte aan lokaal inzetbare, open-weight modellen. Het blijft echter onduidelijk hoe klein deze modellen kunnen zijn wanneer ze worden geïntegreerd in Retrieval-Augmented Generation (RAG) systemen, terwijl voldoende prestaties en bruikbaarheid in een samenwerkende setting behouden blijven.

Methodologie
De auteurs voerden een gebruikersexperiment uit met 112 deelnemers om een chatbot-stijl RAG-assistent te evalueren in een realistisch informatievraagstuk.

Taak: Deelnemers beantwoordden negen gedetailleerde vragen op basis van een vluchthandleiding van meer dan 400 pagina's, een document gekozen omwille van zijn structurele complexiteit en domeinspecificiteit.
Condities: De studie vergeleek drie modelgroottes uit de Llama-familie (3B, 8B en 70B) in twee settings:
1. Basislijn (LLM+RAG): Een single-shot interactie waarbij de RAG-assistent de oorspronkelijke vraag direct beantwoordt.
2. Mens-AI Samenwerking: Deelnemers konden over meerdere beurten met de RAG-assistent interageren, ervoor kiezen om het brondocument direct te raadplegen, of beide methoden combineren.
Systeemarchitectuur: De RAG-pijplijn gebruikte een sequentiële aanpak. Een document werd opgedeeld in chunks (grootte 1024) en ingebed met behulp van intfloat/multilingual-e5-large-instruct. Bij ontvangst van een query, haalde het systeem de top 5 relevante chunks op op basis van cosinus-ähnelijkheid en gaf deze door aan de generator LLM met een systeemprompt.
Evaluatiemetrics:
- Objectieve Prestaties: Nauwkeurigheid van antwoorden (correct, gedeeltelijk correct, incorrect) gemeten via een lineair gemengd-effectmodel dat controleerde voor variabiliteit tussen deelnemers en vragen.
- Subjectieve Metrics: Waargenomen bruikbaarheid en tevredenheid werden beoordeeld met behulp van een vragenlijst met 10 items gebaseerd op het ASA-framework (5-punts Likert-schaal).
- Efficiëntie: De tijd voor taakvoltooiing werd geregistreerd.

Belangrijkste Bijdragen

Systematische Evaluatie van Modelgroottes: Een vergelijkende analyse van RAG-assistenten gebaseerd op kleine, open-weight LLM's (3B, 8B, 70B) in een hybride mens-AI setting.
Simulatie van Realistische Scenario's: Een experimenteel ontwerp dat professionele informatievraagstukken nabootst die grote, complexe documenten betreffen, en verder gaat dan standaard benchmarkdatasets.
Analyse van Meertraps Interactie: Een experiment dat nauwkeurigheid, bruikbaarheid en tevredenheid meet over meerdere beurten, waarbij de dynamiek van mens-AI samenwerking wordt benadrukt in plaats van single-turn prestaties.

Resultaten

Waarde van Mens-AI Samenwerking: De mens-AI setting presteerde significant beter dan zowel de LLM-only als de LLM+RAG basislijnsettings over alle modelgroottes heen ( $p < .001$ ). Dit bevestigt de toegevoegde waarde van menselijke interactie in informatievraagstukken.
Invloed van Modelgrootte op Nauwkeurigheid:
- In de basislijn (LLM+RAG) setting nam de prestatie significant toe van 3B naar 8B en van 3B naar 70B.
- In de Mens-AI setting werd de prestatiekloof tussen de 8B en 70B modellen gesloten; het 8B model presteerde vergelijkbaar met het 70B model wanneer het werd bijgestaan door mensen.
- Het 3B model profiteerde het meest van menselijke samenwerking, waardoor de kloof met grotere modellen werd verkleind.
Waargenomen Bruikbaarheid en Tevredenheid: In tegenstelling tot de trends in objectieve prestaties, toonden waargenomen bruikbaarheid en tevredenheid weinig verschil tussen de modelgroottes.
- Het 70B model werd significant hoger beoordeeld dan het 8B model op betrouwbaarheid en totale ASA-scores, maar het 3B model scoorde even goed of beter op betrokkenheid en responsiviteit.
- Over het algemeen zagen deelnemers de grotere modellen niet als beslissend capabeler dan de kleinere modellen wat betreft gebruikerservaring.
Interactiestrategieën: Deelnemers gebruikten overwegend een "copy-paste" strategie. Wanneer dit faalde, pasten ze strategieën toe zoals "verdeling" (vragen opsplitsen), "contextualisatie" (uitsneden verstrekken) en "teruglopen".

Betekenis en Claims
Het artikel betoogt dat hoewel modelgrootte de basislijnprestaties beïnvloedt, mens-AI samenwerking fungeert als een mitigerende factor die prestatiekloven tussen kleinere en grotere modellen kan dichten. De studie benadrukt een "nuancereerde afweging" waarbij grotere modellen niet noodzakelijkerwijs een hogere waargenomen bruikbaarheid of tevredenheid opleveren in vergelijking met kleinere, efficiëntere modellen.

De auteurs claimen dat hun werk de noodzaak aantoont om AI-toepassingen te evalueren in daadwerkelijke meertraps interacties met menselijke gebruikers. Zij suggereren dat het zich uitsluitend richten op benchmarkprestaties een onvolledig beeld geeft, omdat het de synergetische voordelen van hybride systemen en de subjectieve gebruikerservaring over het hoofd ziet. De bevindingen ondersteunen de levensvatbaarheid van het gebruik van kleinere, lokaal inzetbare modellen in RAG-toepassingen, mits deze worden geïntegreerd in samenwerkingsworkflow waar menselijk toezicht modelbeperkingen kan compenseren.