Stel je voor dat je een superintelligente robotvriend hebt die elk boek ter wereld kan lezen en direct je vragen kan beantwoorden. Dit is de belofte van Large Language Models (LLM's), de AI-hersenen achter veel moderne chatbots. Maar hier zit een addertje onder het gras: als je deze robot naar een specifiek, ingewikkeld onderwerp vraagt — zoals de regels voor elektriciteitsprijzen in een specifieke provincie — kan hij in de war raken. Waarom? Omdat het "geheugen" van de robot beperkt is, en als je een hele bibliotheek aan documenten in één keer in zijn brein dumpt, raakt hij overweldigd. Het is alsof je probeert een specifieke naald in een hooiberg te vinden door de hele hooiberg in een klein doosje te proppen; de naald is technisch gezien aanwezig, maar hij is begraven onder te veel rommel. Dit is het probleem van "context engineering": uitzoeken hoe je de robot precies de juiste hoeveelheid informatie voert, zodat hij helder kan nadenken zonder de weg kwijt te raken.

De grote vraag die onderzoekers stellen is: Hoe bouwen we een systeem dat niet alleen gokt, maar ook daadwerkelijk zoekt naar de juiste antwoorden in een enorme, constant veranderende stapel juridische en technische documenten? Het papier dat je nu gaat lezen, verkent deze reis. Het beweegt van een eenvoudige "zoek-en-lees"-methode naar een veel slimmer, meerstaps detectiefproces. De auteurs suggereren dat het in plaats van het hertrainen van het robotbrein om elke nieuwe wet te onthouden (wat duur en traag is), beter is om de robot te leren hoe hij een betere onderzoeker kan zijn. Ze ontdekten dat de sleutel niet ligt in het geven van meer ruimte aan de robot om na te denken, maar in het geven van betere instrumenten om de exacte feiten te vinden die hij nodig heeft, stap voor stap, terwijl de kosten en tijd in de gaten worden gehouden.

---

Van "Gewoon Vragen" naar "Superdetective": De Evolutie van een AI-onderzoeker

Dit papier vertelt het verhaal van hoe een team bij Ontario Power Generation (OPG) hun AI-systeem heeft geüpgraded om de enorme, complexe taak van regelgevingscompliance aan te kunnen. Zie het als het verhaal van een junior bibliothecaris die langzaam leert een meesterdetectief te worden.

De Startlijn: De "Naïeve" Bibliothecaris

In het begin gebruikte het team een "Naïve RAG"-systeem. Stel je een bibliothecaris voor die, wanneer je een vraag stelt, de eerste 20 boeken pakt die vaag gerelateerd lijken en ze allemaal tegelijk op je bureau smijt. Als je vraagt: "Wat kostte de waterkrachtcentrale in 2022?", kan de bibliothecaris 25.000 woorden aan tekst op je dumpen, inclusief pagina's over 2019, 2023 en ongerelateerde apparatuur.

Het probleem? De AI (de "lezer") raakt overweldigd. Het is alsof je probeert een specifieke zin in een roman te vinden terwijl iemand 50 andere zinnen in je oor schreeuwt. Hoe meer tekst je het voert, hoe slechter het wordt in het vinden van het juiste antwoord. Dit is wat de auteurs "context rot" noemen. De feiten zijn er wel, maar ze raken verloren in de ruis. De bibliothecaris blijft maar meer boeken toevoegen, in de hoop dat het antwoord erin zit, maar dat maakt het proces alleen maar trager en duurder.

Level Up: De "Actieve" Detective

Het team realiseerde zich dat de AI niet langer een passieve ontvanger moest zijn, maar een actieve onderzoeker. Dit was Fase II: Agentic Retrieval.

Nu, in plaats van een stapel boeken op het bureau te dumpen, gedraagt de AI zich als een detective met een vergrootglas. Hij vraagt de bibliothecaris om telkens slechts vijf pagina's tegelijk. Hij leest ze, denkt na, en zegt dan: "Oké, deze pagina's vermelden '2022', maar ik moet specifiek het 'Exhibit C'-bestand controleren." Vervolgens vraagt hij om een nieuwe, specifiekere set pagina's.

Dit wordt progressive discovery genoemd. De AI gokt niet alleen; hij verfijnt zijn zoektocht. Als hij een heel veelbelovend spoor vindt op één enkele pagina, kan hij besluiten om het volledige document te lezen om zeker te zijn. Maar hij is voorzichtig! Hij doet dit volledige leesproces alleen als de "aanwijzing" sterk genoeg is om de extra tijd en kosten te rechtvaardigen. Het is als een detective die besluit of hij een huis binnenvalt: doe het alleen als het bewijs suggereert dat de crimineel er daadwerkelijk is.

De Masterclass: De "Deep Agent" met een Team

In Fase III wordt het systeem nog slimmer. De AI zoekt niet alleen; de AI plant. Voordat hij zelfs maar begint met zoeken, breekt hij een grote, angstaanjagende vraag op in een lijst van kleinere, beheersbare taken.

Stel je voor dat je de kosten van twee verschillende elektriciteitscentrales over tien jaar moet vergelijken. Een simpele AI zou in de war raken. Maar deze "Deep Agent" maakt een onderzoeksplan:

1. "Zoek de kosten van 2020 voor Centrale A."
2. "Zoek de kosten van 2020 voor Centrale B."
3. "Vergelijk ze."

Om dit aan te pakken, huurt de hoofd-AI een team van sub-agents in (kleine helper-robots). Eén helper leest een enorm document en vat het samen in een kort briefje. De hoofd-AI ziet nooit het rommelige, 50 pagina's tellende document; hij ziet alleen de schone, 2-zinnen tellende samenvatting. Dit voorkomt dat "context rot" opnieuw optreedt. De hoofd-AI blijft fris en gefocust, terwijl de helpers het zware werk doen.

Omdat er bovendien strikte privacywetten in Canada gelden, heeft het systeem een speciale truc. Sommige documenten bevatten grafieken en diagrammen die een "vision" AI vereisen om gelezen te worden. Omdat de hoofd-AI deze afbeeldingen niet naar een buitenlandse server kan sturen, heeft het systeem een speciale "lokale" AI in Canada die de afbeeldingen leest en alleen de tekst terugstuurt. Het is alsof je een gespecialiseerde vertaler hebt die in de kamer blijft, zodat er geen geheimen het gebouw verlaten.

De Geheime Saus: PEA-CAE

De auteurs hebben deze slimme, stapsgewijze aanpak geformaliseerd in een framework dat ze PEA-CAE noemen (Progressive Evidence Acquisition with Cost-Aware Escalation).

Zie het als een regelboek voor een slimme shopper:

• Begin klein: Kijk eerst naar de prijskaartjes (tekstfragmenten/chunks).
• Koop niet de hele winkel: Koop pas het hele artikel (lees het volledige document) als het prijskaartje verdacht goed lijkt.
• Comprimeer je lijst: Vat je bevindingen samen zodat je niet te veel gewicht met je meedraagt.

Het papier laat zien dat deze methode werkt. In hun tests deed het systeem 67 "chunk"-zoekopdrachten, maar escaleerde slechts 7 keer naar het lezen van een volledig document. Dat is een ratio van ongeveer 10 op 1. Dit betekent dat het systeem meestal gelijk heeft met slechts een snelle blik, wat enorm veel tijd en geld bespaart. Wanneer het wel een volledig document moest lezen, duurde dat tussen de 0,7 en 12 seconden, wat bewijst dat de "volledige leesbeurt" een zwaar instrument is dat alleen wordt gebruikt wanneer dat nodig is.

Wat dit betekent voor de toekomst

De belangrijkste les van dit papier is dat je voor enorme, veranderende bibliotheken van regels en voorschriften niet het brein van de AI hoeft te hertrainen. Je hoeft hem niet elke nieuwe wet te leren. In plaats daarvan moet je een betere zoekmachine om hem heen bouwen.

De auteurs stellen dat "context engineering" — de kunst van het voeden van de AI met de juiste hoeveelheid informatie op het juiste moment — de echte magie is. Het is beter dan proberen de AI alles te laten onthouden. Door een systeem te gebruiken dat plant, delegeert en zorgvuldig escaleert, kunnen bedrijven nauwkeurige, traceerbare antwoorden van hun AI krijgen zonder dat deze verdwaalt in een zee van tekst.

Kortom, het papier suggereert dat de toekomst van AI in complexe velden niet gaat over het slimmer maken van de robot in een vacuüm; het gaat over het geven van een betere kaart, een scherper vergrootglas en een team van helpers om het zware werk te doen. Het gaat erom de robot te leren een detective te zijn, en niet alleen een lezer.