Retrieval Free Context Augmentation for Image Captioning: Learning from Self-Generated Beam Hypotheses

Computers zijn bijzonder goed geworden in het bekijken van een foto en beschrijven wat ze zien. Deze vaardigheid, bekend als beeldbeschrijving (image captioning), bevindt zich op het snijvlak van twee krachtige gebieden: computer vision, dat machines leert zien, en natuurlijke taalverwerking, dat hen leert spreken. Jarenlang was de standaardmethode om deze systemen te trainen het tonen van duizenden foto's samen met door mensen geschreven beschrijvingen. De computer leert de visuele patronen van de afbeelding te koppelen aan de specifieke woorden die mensen gebruikten. Echter, deze aanpak heeft een verborgen beperking. Door uitsluitend te vertrouwen op de enkele, statische beschrijving die een mens voor elke foto heeft geleverd, blijft het begrip van de computer voor de wereld enigszins nauw en rigide. Het leert te herhalen wat het werd verteld, in plaats van de vele verschillende manieren te verkennen waarop een scène beschreven kan worden. Onderzoekers stellen nu een eenvoudige maar diepzinnige vraag: kan een computer leren betere beschrijvingen te schrijven door te luisteren naar zijn eigen ideeën, in plaats van alleen te wachten op instructies van mensen?

Een team van onderzoekers van de Universiteit van Sfax in Tunesië en een partnerinstelling in Frankrijk heeft een nieuwe methode voorgesteld om deze vraag te beantwoorden. Ze noemen hun aanpak CAG-Cap, een systeem dat ontworpen is om beeldbeschrijvingsmodellen te helpen zichzelf te verbeteren zonder dat ze het internet hoeven te raadplegen voor extra informatie. De kern van het idee is verrassend zelfvoorzienend. In plaats van buiten het model om hulp te zoeken, laten de onderzoekers het model zijn eigen reeks mogelijke beschrijvingen genereren voor elke afbeelding die het tijdens de training ziet. Ze gebruiken deze zelf gegenereerde opties vervolgens als extra leermateriaal. Het is een beetje zoals een student die, nadat hij een wiskundig probleem heeft opgelost, drie verschillende manieren opschrijft waarop hij het had kunnen oplossen, en vervolgens die variaties bestudeert om flexibeler en zelfverzekerder te worden in zijn begrip.

Het proces werkt in twee afzonderlijke stadia. Eerst wordt de computer op de traditionele manier getraind, waarbij hij leert afbeeldingen te koppelen aan de door mensen geschreven bijschriften totdat hij een stabiel niveau van competentie bereikt. Zodra deze initiële training voltooid is, pauzeren de onderzoekers en vragen ze de computer om elke trainingsafbeelding opnieuw te bekijken. Dit keer wordt de computer, in plaats van slechts één antwoord te geven, gevraagd om een kleine lijst van zijn beste gissingen te genereren voor wat de afbeelding afbeeldt. Deze gissingen zijn niet willekeurig; het zijn zorgvuldig geselecteerde opties waarvan het model gelooft dat zij de meest waarschijnlijke beschrijvingen zijn. De onderzoekers slaan deze lijst met zelf gegenereerde bijschriften op in een digitale cache, een tijdelijk opslagbestand dat fungeert als een bibliotheek van de eigen gedachten van het model.

In het tweede stadium gaat het model terug naar de training, maar het lesplan is veranderd. Nu, wanneer de computer naar een afbeelding kijkt, krijgt hij niet alleen de oorspronkelijke menselijke beschrijving te zien. Hij krijgt ook de lijst met zijn eigen eerdere gissingen te zien. Het systeem wordt vervolgens gevraagd om uit beide bronnen gelijktijdig te leren. Het moet voldoen aan de menselijke beschrijving, die fungeert als de grondwaarheid (ground truth), maar wordt ook aangemoedigd om aandacht te besteden aan de diverse variaties die het voor zichzelf heeft gegenereerd. Deze dubbele aanpak stelt het model in staat om te zien dat een enkele afbeelding op vele geldige manieren beschreven kan worden. Door zijn eigen "hypothesen" te bestuderen, leert het model minder rigide en aanpasbaarder te zijn, waarbij het begrijpt dat een rode trein beschreven kan worden als "komend over het spoor" of "reizend over het spoor", zonder dat een van beide fout is.

De resultaten van dit experiment werden getest op twee grote, standaard collecties van afbeeldingen en beschrijvingen: één met meer dan 120.000 foto's en een andere met 31.000. De onderzoekers vonden dat deze zelfverbeterende methode bijschriften produceerde die vaak nauwkeuriger en structureel sterker waren dan die geproduceerd door de standaard trainingsmethode alleen. Op de grotere dataset genereerde de nieuwe methode beschrijvingen die qua woordkeuze dichter bij die van mensen lagen in de eerste woorden van de zin, een teken van scherpere directe nauwkeurigheid. Op de kleinere dataset was de verbetering zelfs breder; het model produceerde bijschriften die beter in staat waren de volledige structuur en betekenis van de scène te vatten. Cruciaal was dat deze verbetering kwam zonder de snelheid van de computer te vertragen tijdens het daadwerkelijke gebruik. Omdat de "bibliotheek" van zelf gegenereerde ideeën vooraf was opgebouwd, hoefde de computer niet te stoppen en extra informatie te zoeken terwijl hij aan het werk was. Hij gebruikte simpelweg de kennis die hij al in zijn eigen geheugen had gedestilleerd.

Deze aanpak daagt een populaire trend in kunstmatige intelligentie uit, genaamd retrieval-augmented generation, waarbij systemen constant externe informatie opzoeken om vragen te helpen beantwoorden. Hoewel die methode werkt, vereist het enorme databases en kan het het systeem aanzienlijk vertragen. De CAG-Cap-methode bewijst dat een model vergelijkbare, en in sommige gevallen zelfs betere, resultaten kan behalen door volledig te vertrouwen op zijn eigen interne capaciteit om diverse mogelijkheden te genereren en ervan te leren. De onderzoekers hebben aangetoond dat het model effectief zijn eigen eerdere outputs kan gebruiken als een vorm van zelfonderricht, waardoor een cyclus ontstaat waarin het systeem beter wordt in het beschrijven van de wereld, simpelweg door te reflecteren op de vele manieren waarop het die wereld zou kunnen beschrijven.

De studie benadrukte ook dat het succes van deze methode afhangt van hoe het systeem wordt afgesteld. De onderzoekers ontdekten dat de balans tussen het luisteren naar de menselijke leraar en het luisteren naar de eigen ideeën van het model delicaat was. Als het model werd gevraagd om te veel aandacht te besteden aan zijn eigen gissingen, daalde de kwaliteit van de beschrijvingen. Echter, wanneer de balans correct werd gevonden, produceerde het model bijschriften die niet alleen accuraat, maar ook rijker aan detail waren. Zo slaagde het model in tests er bijvoorbeeld in om een koe die in een straat staat of een giraffe die door een veld loopt te beschrijven met een detailniveau dat nauw aansluit bij menselijke beschrijvingen, waarbij het vaak de specifieke acties en omgevingen effectiever vastlegde dan eerdere methoden.

Uiteindelijk suggereert dit werk een pad naar efficiëntere en zelfvoorzienendere kunstmatige intelligentie. Door aan te tonen dat een model kan leren van zijn eigen gegenereerde diversiteit, hebben de onderzoekers een manier geboden om deze systemen te verbeteren zonder de zware kosten van het onderhouden van externe databases of het vertragen van het inferentieproces. De bevindingen wijzen erop dat de sleutel tot betere beeldbeschrijving niet altijd het vinden van meer data uit de buitenwereld is, maar het leren aanwijzen van de computer om dieper na te denken over de data die hij al heeft. Deze zelfvoorzienende aanpak biedt een praktische, schaalbare manier om intelligentere visiesystemen te bouwen die onze visuele wereld met grotere helderheid en zelfvertrouwen kunnen beschrijven.