In de wereld van kunstmatige intelligentie is er een groeiende klasse systemen bekend als multimodale grote taalmodellen. Dit zijn krachtige computers die een afbeelding kunnen bekijken, de tekst daarin kunnen lezen en vragen kunnen beantwoorden over wat ze zien. Ze zijn hier opmerkelijk goed in, waarbij ze vaak fungeren als een mens die een document overvlucht en onmiddellijk de algemene betekenis begrijpt. Echter, er blijft een aanzienlijke kloof bestaan tussen het simpelweg zien van een document en het daadwerkelijk met precisie lezen ervan. Wanneer een pagina vol staat met kleine lettertjes, complexe tabellen, gekleurde grafieken of ingewikkelde diagrammen, missen deze modellen vaak de specifieke details die nodig zijn om een moeilijke vraag te beantwoorden. Ze zien misschien dat de pagina er is, maar ze slagen er niet in de exacte waarde, naam of relatie te extraheren die verborgen zit in de visuele ruis. Deze beperking is bijzonder frustrerend omdat de informatie recht voor de computer staat; het systeem kijkt gewoon niet naar de juiste plek met voldoende zorg.

Onderzoekers bij Amazon hebben een nieuwe aanpak ontwikkeld om dit probleem op te lossen, waarbij ze afstappen van het idee dat een computer een vraag moet beantwoorden in één enkele, snelle blik. In plaats daarvan hebben ze een systeem ontwikkeld genaamd Q-Guide, dat lezen behandelt als een traag, doelbewust proces. In plaats van te proberen het hele document in één keer te begrijpen, werkt dit systeem als een zorgvuldige onderzoeker die eerst naar de vraag kijkt, uitfigureert welk specifiek stuk bewijs ontbreekt, en dan inzoomt of speciale hulpmiddelen gebruikt om het te vinden. Het is een methode die prioriteit geeft aan het verkrijgen van de juiste informatie boven het snel krijgen van een antwoord. Door wat extra tijd en rekenkracht te besteden aan het actief zoeken naar de ontbrekende details, kan het systeem problemen oplossen die zelfs de meest geavanceerde modellen die in één enkele passage werken, in verwarring brengen.

De kern van dit werk is dat perceptie gestuurd moet worden door de vraag zelf. In traditionele systemen wordt een document één keer verwerkt, en het model geeft antwoord op basis van wat het toevallig heeft opgevangen tijdens die eerste blik. Dit werkt prima voor eenvoudige documenten, maar het faalt wanneer het antwoord afhangt van een minuscuul label op een kaart of een specifieke cel in een dichte tabel. Het Q-Guide-systeem verandert dit door een lus te introduceren waarbij de computer zichzelf afvraagt wat hij moet weten. Als de vraag gaat over een specifieke waarde in een grafiek, richt het systeem zijn aandacht op die grafiek, zoomt in om de cijfers duidelijk te lezen, en verifieert de informatie voordat het zich vastlegt op een antwoord. Het vertrouwt niet op één enkel, vast beeld van de pagina. In plaats daarvan kan het verschillende hulpmiddelen aanroepen om tekst te herstellen, visuele details te inspecteren of de lay-out van een document te begrijpen, waarbij het alleen de hulpmiddelen gebruikt die nodig zijn voor de specifieke vraag.

Om dit idee te testen, evalueerden de onderzoekers het systeem op twee zeer verschillende soorten uitdagingen. De eerste was een collectie van tachtig vragen afkomstig van acht verschillende soorten documenten, waaronder zakelijke rapporten, technische tekeningen, kaarten en wetenschappelijke posters. Deze documenten waren ontworend om moeilijk te zijn, met alles van kleine tekst tot complexe ruimtelijke relaties. De tweede uitdaging betrof een taak uit een collectie Japanse manga-strips, waarbij het systeem een specifieke personage moest identificeren door hun visuele verschijning en naam over meerdere pagina's heen te matchen. In beide gevallen vergeleken de onderzoekers Q-Guide met standaardmethoden waarbij het model slechts één keer naar de afbeelding kijkt, evenals met andere complexe systemen die proberen het probleem in vele stappen op te splitsen.

De resultaten toonden een duidelijk voordeel voor de trage, doelbewuste aanpak. Op de documenttest behaalde Q-Guide een nauwkeurigheid van 65,0 procent, wat een significante verbetering is ten opzien van de beste standaardmethode die slechts 38,8 procent bereikte. Het presteerde ook beter dan andere geavanceerde systemen die gebruikmaken van meerdere agenten die samenwerken, die slechts 40,0 procent behaalden. De verbetering was nog prominenter in specifieke categorieën zoals technische tekeningen en wetenschappelijke posters, waar het systeem een nauwkeurigheid van 90,0 procent bereikte. Dit suggereert dat het vermogen om de aandacht te richten op het juiste deel van de afbeelding veel waardevoller is dan het hebben van een complexere interne logica of een groter team van virtuele agenten. Bij de manga-taak presteerde het systeem ook beter dan zijn concurrenten, waarbij het personages correct identificeerde in 32,4 procent van de gevallen met standaard tekstlezen, en sprong naar 53,7 procent wanneer het werd voorzien van perfecte tekstgegevens. Dit geeft aan dat de kracht van het systeem ligt in het vermogen om het juiste bewijs te verzamelen, en niet alleen in hoe goed het de tekst kan lezen.

Een van de meest verrassende bevindingen was dat het toevoegen van meer lagen van planning of controle niet hielp. De onderzoekers testten of het geven van een "planner" aan het systeem om een strategie uit te zetten, of een "router" om te beslissen welke weg te nemen, de prestaties zou verbeteren. Ze kwamen tot de conclusie dat deze extra lagen de zaken juist verslechterden of geen effect hadden. De meest succesvolle versie was een eenvoudige, compacte lus waarbij het systeem simpelweg keek naar wat er ontbrak, een hulpmiddel koos om het te vinden, en het proces herhaalde. De nauwkeurigheid van het systeem groeide naarmate het werd toegestaan meer doelbewuste stappen te zetten, maar het vlakte grotendeels af na twee of drie rondes van kijken en controleren. Dit suggereert dat de sleutel tot het oplossen van deze problemen niet is om het redeneerproces complexer te maken, maar om het proces van het zien zorgvuldiger en gerichter te maken.

De onderzoekers ontdekten ook dat het systeem goed werkt over verschillende onderliggende computermodellen heen. Ze testten Q-Guide met drie verschillende versies van het Claude-taalmodel, variërend van de krachtigste tot iets minder capabele versies. In elk geval verbeterde de Q-Guide-methode de resultaten vergeleken met standaard prompting. Dit bewijst dat het voordeel voortkomt uit de strategie van hoe het systeem bewijs verzamelt, in plaats van uit de specifieke capaciteiten van de hersenen die het gebruikt. Zelfs wanneer de tekstleesinstrumenten niet perfect waren, slaagde het systeem er nog steeds in om methoden te overtreffen die toegang hadden tot perfecte tekst maar het vermogen misten om hun aandacht te richten. Dit benadrukt dat de flessenhals in deze taken vaak het falen is om de juiste details waar te nemen, en niet een falen in het begrijpen van de taal.

Ondanks zijn succes is het systeem niet perfect. Het had de meeste moeite met vragen die betrekking hadden op kaarten, waarbij het antwoord afhankelijk was van het volgen van een route of het begrijpen van een ruimtelijke lay-out die de hulpmiddelen niet volledig konden representeren. Het systeem kon de tekst op de kaart lezen en de kleuren zien, maar kon niet gemakkelijk de verbindingen tussen hen navigeren. Dit wijst op een duidelijk gebied voor toekomstige verbetering: het ontwikkelen van instrumenten die kaartlay-outs kunnen omzetten in navigeerbare structuren. Op dezelfde manier, hoewel het systeem zeer effectief was in het matchen van personages in strips, had het soms moeite wanneer veel personages erg op elkaar leken. Deze resterende uitdagingen suggereren dat de volgende stap in dit veld is het bouwen van rijkere manieren om de wereld waar te nemen, in plaats van alleen meer complexe regels toe te voegen voor hoe men erover na moet denken.

Uiteindelijk demonstreert dit werk dat voor computers om complexe documenten echt te kunnen lezen, ze moeten vertragen. De oude manier van een pagina verwerken in één enkele, snelle passage is onvoldoende voor de rommelige, gedetailleerde realiteit van de wereld. Door het systeem toe te staan wat extra tijd te besteden aan het beslissen waar het vervolgens naar moet kijken, en door het de hulpmiddelen te geven om in te zoomen en te verifiëren wat het ziet, hebben de onderzoekers een systeem gecreëerd dat aanzienlijk betrouwbaarder is. De bevindingen suggereren dat de weg vooruit voor kunstmatige intelligentie in visuele taken niet noodzakelijkerwijs is om de modellen slimmer of complexer te maken, maar om ze te leren meer doelbewuste waarnemers te zijn, zodat ze over het juiste bewijs beschikken voordat ze ooit proberen een vraag te beantwoorden.