In de wereld van maatwerk kasten en ingebouwd meubilair begint de reis van een schets naar een afgewerkt stuk met een reeks tekeningen. Dit zijn geen eenvoudige plaatjes; het zijn complexe technische documenten die de details van een enkele kast over meerdere pagina's verspreiden, waarbij de kast vanuit de voorkant, de zijkant en in doorsnede wordt getoond, vaak vergezeld van handgeschreven aantekeningen en piepkleine cijfers. Om deze tekeningen om te zetten in een prijsopgave, moet een menselijke estimator elk onderdeel lezen, elke plank en elk paneel opmeten en de exacte hoeveelheid materiaal berekenen die nodig is. Dit leesproces is traag, duur en foutgevoelig. Onlangs zijn onderzoekers begonnen met de vraag of kunstmatige intelligentie dit werk kan doen. Deze systemen, bekend als multimodale agenten, zijn computerprogramma's die zowel afbeeldingen kunnen "zien" als tekst kunnen "lezen", waardoor ze een tekening kunnen bekijken en kunnen proberen te begrijpen wat deze voorstelt. De hoop is dat deze agenten de saaie taak van het tellen van onderdelen en het meten van afmetingen kunnen automatiseren, zodat mensen zich kunnen concentreren op de uiteindelijke prijs en het ontwerp. Eerdere pogingen lieten echter zien dat hoewel deze machines goed zijn in het lezen van woorden, ze aanzienlijk moeite hebben met de visuele details van technische tekeningen, waarbij ze vaak kleine cijfers missen of verkeerd interpreteren hoe onderdelen in elkaar passen.

Een onderzoeker genaamd Donald Dujardin zette zich in om dit specifieke probleem op te lossen door een agent te bouwen die ontworpen is om tekeningen van interieurwerk te lezen en deze om te zetten in een gestructureerde lijst van onderdelen. In plaats van de computer simpelweg te vertellen om "het beter te doen", behandelde hij de agent als een student die de juiste instrumenten en de juiste informatie op het juiste moment nodig heeft. Gedurende meerdere maanden testte hij meer dan tweehonderd verschillende wijzigingen om te zien wat de agent daadwerkelijk hielp om de cijfers juist te krijgen. Hij vergeleek elk nieuw idee met een vaste set correcte antwoorden die vooraf aan de tests waren voorbereid, waardoor de resultaten objectief werden gemeten. Wat hij ontdekte was een duidelijk patroon: de agent verbeterde drastisch wanneer hij nieuwe informatie kreeg die hij voorheen niet had, maar hij verbeterde helemaal niet wanneer hij meer of striktere instructies kreeg over hoe hij zich moest gedragen.

De meest opvallende verbetering kwam voort uit de manier waarop de agent naar de tekeningen keek. Wanneer de agent probeerde een hele vel papier in één keer te lezen, miste hij bijna alle piepkleine afmetingen, waarbij hij slechts een fractie van hen vond. Dit gebeurde omdat de cijfers op de volledige pagina zo klein waren dat ze bijna onzichtbaar waren voor het "oog" van de computer. De onderzoeker veranderde de aanpak door de tekening aan de agent te tonen in een raster van kleinere, ingezoomde tegels, vergelijkbaar met het kijken naar een kaart door een vergrootglas. Deze eenvoudige verandering stelde de agent in staat de fijne details duidelijk te zien. Op één vel sprong het aantal gevonden afmetingen van slechts vier uit twintig zes naar vijfentwintig uit zesentwintig. Op een ander vel met zelfs nog kleinere cijfers ging de agent van het vinden van twee naar het vinden van vierendertig uit tweeënzeschiedig. De sleutel was niet om de agent te vertellen harder te kijken, maar simpelweg een weergave te geven waar de details daadwerkelijk zichtbaar waren.

Nog een belangrijke doorbraak betrof de manier waarop de agent de tekst op de pagina verbond met de vormen die hij zag. Tekeningen bevatten vaak labels zoals "eiken" of "19mm" die vlakbij een onderdeel staan geschreven, maar de computer had moeite om te weten bij welk onderdeel die woorden hoorden. De onderzoeker merkte dat het gebruik van de tekstlabels uit het digitale bestand als vaste referentiepunten, of ankers, dit probleem oploste. Wanneer de agent de opdracht kreeg zijn bevindingen aan deze specifieke tekstankers te koppelen, schoot zijn vermogen om correct te identificeren welk onderdeel welk was, van minder dan de helft naar meer dan negentig procent. In tegenstelling hiertoe presteerde de agent slecht wanneer de onderzoeker neplabels gebruikte die er hetzelfde uitzagen maar geen echte betekenis hadden. Dit bewees dat de agent een concreet, vast punt nodig had om zich aan vast te houden, en niet alleen een suggestie om ergens op te letten.

De studie testte ook de kracht van voorbeelden versus regels. De onderzoeker probeerde de agent een enkel, duidelijk voorbeeld te geven van hoe een hulpmiddel te gebruiken, zoals hoe om een specifieke meting te vragen, en merkte dat dit het aantal gebroken of verwarde verzoeken met bijna driekwart verminderde. Echter, toen hij probeerde deze voorbeelden te vervangen door een lange lijst met geschreven regels die de agent precies vertelden hoe hij de tekening moest lezen, waren de resultaten niet beter dan een willekeurige reeks tekst van dezelfde lengte. Dit was een verrassende bevinding: het suggereerde dat het simpelweg schrijven van meer instructies of het strenger zijn over wat de agent moest doen, niet hielp. De agent hoefde niet te worden verteld om voorzichtiger te zijn; hij moest worden getoond hoe een correcte actie eruitzag.

Ten slotte ontdekte de onderzoeker dat de timing van informatie ertoe deed. Wanneer de agent op het punt stond een meting te registreren, zorgde het verstrekken van een specifief feit over hoe kasten in dat specifieke atelier worden gebouwd, voor een verbetering van de nauwkeurigheid van de dieptematen. Op dezelfde manier, wanneer een computerprogramma het werk van de agent controleerde en een fout vond, hielp het de agent door een gerichte vraag te stellen over die specifieke fout, wat de fout in ongeveer een derde van de gevallen hielp herstellen. Zonder die specifieke vraag corrigeerde de agent zijn eigen fouten zelden. De studie concludeert dat voor dit soort taken de weg naar betere prestaties niet ligt in betere instructies, maar in betere informatie. De agent slaagt wanneer hij de details duidelijk kan zien, een vast punt heeft om zijn gedachten aan te verankeren, voorbeelden ziet van correct gedrag, en specifieke feiten of vragen krijgt op het exacte moment dat ze nodig zijn. Deze aanpak biedt een praktische gids voor iedereen die probeert intelligente systemen te bouwen die complexe visuele documenten moeten begrijpen: geef de machine de data die hij mist, in plaats van hem alleen maar te vertellen wat hij moet doen.