The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search

In het moderne digitale landschap zijn zoekmachines geëvolueerd van eenvoudige bibliotheken met documenten naar gesprekspartners die antwoorden synthetiseren. Deze verschuiving steunt op een technologie genaamd retrieval-augmented generation, waarbij een computersysteem eerst relevante documenten uit een enorme database zoekt en deze vervolgens aan een groot taalmodel voert om een reactie te construeren. Jarenlang was de heersende aanname dat de beste manier om de computer te helpen een complexe vraag te beantwoorden, het voeden van zoveel mogelijk informatie tegelijkertijd was. De logica leek sluitend: als een mens een onderwerp wil begrijpen, leest hij vele pagina's; daarom, als een machine een antwoord moet geven, zou hij een enorme blok tekst in één keer moeten lezen. Dit benadering gaat echter uit van de veronderstelling dat de machine informatie precies zoals een mens verwerkt, wat een cruciale fout negeert in hoe deze kunstmatige geesten daadwerkelijk werken. Wanneer een vraag ambigu is of een breed scala aan feiten vereist, leidt het simpelweg dumpen van een enorme hoeveelheid tekst in de "geest" van de machine vaak tot verwarring, waardoor het belangrijke details mist of zichzelf herhaalt. De vraag die onderzoekers bezighield, was of het beter is om de machine één enkele, massieve dosis informatie te geven, of om diezelfde hoeveelheid informatie op te delen in kleinere, gefocuste doses die over meerdere beurten worden geleverd.

Een team van onderzoekers van Peking University en Tencent zette zich af om dit puzzelstuk op te lossen, maar ze realiseerden zich eerst dat ze met een gebroken liniaal werkten. Om te begrijpen hoe een machine de informatie gebruikt die aan haar wordt gegeven, hadden ze een manier nodig om exact te meten op welke delen van een tekst het model daadwerkelijk vertrouwde om zijn antwoord te vormen. Standaardmethoden die door de industrie werden gebruikt, waren als het beoordelen van het essay van een student op basis van hoeveel woorden zij deelden met het bronmateriaal; deze methoden faalden spectaculair wanneer het bronmateriaal veel gelijk klinkende maar irrelevante feiten bevatte. De onderzoekers ontwikkelden een nieuw, preciezer instrument dat werkt als een diagnostische sonde. In plaats van alleen naar het uiteindelijke antwoord te kijken, testten ze de machine door stilletjes één stuk informatie tegelijk uit de input te verwijderen en te kijken of het antwoord veranderde. Als het verwijderen van een specifieke zin ervoor zorgde dat het antwoord verschoof, wisten ze dat dat stuk informatie werkelijk essentieel was. Met behulp van deze rigoureuze methode ontdekten ze een wijdverbreide illusie in het vakgebied: eerdere studies waren misleid door gemakkelijke testgevallen waarbij de machine leek alles te begrijpen, maar wanneer ze geconfronteerd werden met moeilijke, realistische scenario's, stortten die oude meetinstrumenten in, waarbij ze er niet in slaagden te onderscheiden wat de machine daadwerkelijk gebruikte en wat zij slechts negeerde.

Met een betrouwbare manier om aandacht te meten, richtten de onderzoekers zich op de kernvraag over hoe de beperkte rekenkracht van de machine toe te wijzen. Ze voerden een enorme reeks experimenten uit waarbij ze een vaste pool van documenten namen en deze op twee verschillende manieren verdeelden. In één scenario voerden ze alle documenten aan de machine in één enkele, brede prompt, in de hoop dat de machine alles in één keer zou absorberen. In het andere scenario gaven ze de machine exact hetzelfde totaal aantal documenten, maar verspreidden ze deze over veel afzonderlijke, kleinere interacties. De resultages waren scherp en contra-intuïtief. De strategie om in één keer een enorme hoeveelheid tekst te voeren, liep tegen een hard plafond aan; het vermogen van de machine om zich op een enkel stuk bewijs te concentreren, verwaterde naarmate de stapel groter werd, waardoor het overweldigd raakte en niet in staat was het volledige beeld te achterhalen. In contrast hiermee liet de aanpak om de informatie op te delen in kleinere, sequentiële rondes de machine aanzienlijk meer terrein dekken. Door de bewijsvoering te doorlopen in gefocuste uitbarstingen, bereikte het systeem een dramatische verbetering in zijn vermogen om feiten te herinneren, met een winst van tussen de 16,8 en 20,5 procentpunten in dekking vergeleken met de single-pass methode. Deze winst bleef standhouden zelfs toen ze het systeem testten op veel grotere, krachtigere modellen, wat bewees dat de beperking niet een gebrek aan rekenkracht was, maar een fundamentele fout in de strategie om alles tegelijkertijd te proberen te verwerken.

De onderzoekers bouwden vervolgens een nieuwe systeemarchitectuur om deze bevindingen in de praktijk te brengen, waarbij ze afstapten van de oude "open-loop" stijl waarbij een machine een lijst krijgt en het daarna zelf moet uitzoeken. Hun nieuwe systeem werkt als een closed loop, waarbij het constant het eigen werk controleert. Nadat de machine een reactie heeft gegenereerd, gebruikt het systeem hun diagnostische sonde om te zien welke feiten daadwerkelijk werden gebruikt en welke werden genegeerd. Het gebruikt vervolgens deze feedback om te beslissen wat het de machine als volgende zal tonen, waarbij het de machine actief wegstuurt van informatie die het al heeft verwerkt en richting nieuwe, nog niet verkende feiten. Om verder te garanderen dat de machine niet blijft hangen in het herhalen van wat het al weet, voegden ze een mechanisme toe dat de aandacht van de machine voorzichtig richting het nieuwe bewijs duwt, waarbij het natuurlijke instinct om bij vertrouwde patronen te blijven, wordt overruled. Deze combinatie van slimme planning en actieve begeleiding stelde het systeem in staat om elke andere methode die ze testten te overtreffen, inclus de methoden die vertrouwden op complexe wiskundige formules om de input te diversifiëren. Het systeem bewees dat door bewust meer tijd en rekenkracht te investeren in een stapsgewijs proces, in plaats van te proberen een enkel massief antwoord te forceren, machines een niveau van uitgebreid begrip kunnen bereiken dat voorheen als onmogelijk werd beschouwd.

Uiteindelijk herdefinieert dit werk hoe we moeten denken over kunstmatige intelligentie-zoekopdrachten. Het demonstreert dat de weg naar betere antwoorden niet noodzakelijkerwijs ligt in het groter maken van de modellen of het voeren van meer tekst tegelijkertijd, maar in het veranderen van het ritme waarmee zij informatie consumeren. De onderzoekers stelden vast dat voor complexe taken de meest effectieve strategie is om te investeren in een trager, iteratief proces waarbij de machine wordt begeleid om bewijsmateriaal te verkennen in kleine, beheersbare brokken. Deze aanpak transformeert het zoekproces van een statische dump van gegevens naar een dynamische, door feedback gestuurde conversatie, wat ervoor zorgt dat de machine een compleet en accuraat beeld van de waarheid opbouwt, één gefocuste stap tegelijk.