Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

Stel je voor dat je een robot probeert te leren om een foto te beschrijven die hij nog nooit eerder heeft gezien. Je kunt de robot de foto en de juiste beschrijving niet samen laten zien tijdens zijn schooljaren; dat zou "het strikte zero-shot learning protocol schenden" in de wereld van strikt zero-shot leren. In plaats daarvan geef je de robot een enorme bibliotheek met tekstbeschrijvingen en een speciale bril waarmee hij ruwweg kan raden hoe een foto eruitziet op basis van woorden. De taak van de robot is om naar een nieuwe foto te kijken, de meest vergelijkbare beschrijvingen in zijn bibliotheek te vinden en deze vervolgens te gebruiken om een nieuwe bijschrift te schrijven.

Lama lang liep dit proces tegen een frustrerende muur aan. De robot zou een paar vergelijkbare beschrijvingen vinden, de beste kiezen, en dan simpelweg zijn interne "taalbrein" de zin laten afmaken. Het probleem was dat zodra de robot begon te schrijven, hij stopte met controleren of wat hij zei ook daadwerkelijk overeenkwam met de foto. Hij werd te gefocust op het vloeiend en grammaticaal correct klinken, waarbij hij vaak de visuele details negeerde. Het was als een gids die een script over een beroemde berg uit het hoofd heeft geleerd, maar zodra de tour begint, alleen nog maar blijft praten over hoe mooi bergen in het algemeen zijn, en vergeet te vermelden dat de specifieke berg waar ze voor staan eigenlijk een vulkaan is.

Dit artikel pakt dat exacte probleem aan. De onderzoekers, werkzaam in het veld van kunstmatige intelligentie en computer vision, stellen een nieuwe manier voor om de robot eerlijk te houden. Ze noemen hun methode "Adjudicated Captioning" (Gerechtelijke Ondertiteling). In plaats van de robot het hele verhaal te laten vertellen en dan te hopen op het beste, installeren ze een team van strikte "rechters" die het werk op meerdere stadia controleren. Ze trainen het brein van de robot niet opnieuw (wat het zien van de foto's en antwoorden samen zou vereisen); in plaats daarvan voegen ze een slimme, zelfcorrigerende laag toe die draait nadat de robot zijn eerste concept heeft gemaakt.

Zo werkt hun nieuwe systeem, gebruikmakend van een simpel verhaal:

De Oude Manier: De Eenmalige Controle
In het oude systeem keek de robot naar een foto van een snowboarder en vroeg aan zijn bibliotheek: "Welke woorden liggen dicht bij dit?" Hij vond negen vergelijkbare beschrijvingen. Hij koos de beste vijf, en daarna begon zijn taalbrein te schrijven. Hij schreef: "Een snowboarder en een snowboarder zijn aan het poseren." Het systeem stopte daar. Het vroeg nooit: "Wacht, laat de foto eigenlijk wel twee mensen zien?" Het vertrouwde gewoon erop dat zijn taalbrein gelijk had. Dit leidde tot een score van 108,0 op een standaardtest genaamd CIDEr (een manier om te meten hoe goed een bijschrift is).

De Nieuwe Manier: De Rechtbank met Meerdere Stadia
De auteurs realiseerden zich dat de robot meer nodig had dan één controle. Ze bouwden een pijplijn met drie nieuwe "rechters" die samenwerken zonder ooit de "correcte" antwoorden (de ground truth) te zien.

1. De Sterkere Bibliothecaris (Stadium 1): Eerst vervingen ze de bril van de robot voor een veel scherpere bril. In plaats van een standaard lens gebruikten ze een massief, krachtig model (OpenCLIP ViT-bigG/14) om de initiële beschrijvingen te vinden. Dit alleen al maakte de robot slimmer, waardoor de score steeg naar 111,6.
2. De Kruisverhorer (Stadium 2): Vervolgens voegden ze een tweede rechter toe. Deze rechter kijkt niet alleen naar de woorden; hij gebruikt een speciaal "cross-attention" instrument (een BLIP-ITM Verifier) om de relatie tussen de foto en de tekst echt te bestudelen. Hij neemt de top negen beschrijvingen die de bibliothecaris heeft gevonden en rangschikt ze opnieuw, waarbij hij de beste vijf kiest. Deze rechter is anders dan de bibliothecaris; hij vangt dingen op die de bibliothecaris mist. Als de bibliothecaris denkt dat een foto over "een man" gaat, kan deze rechter beseffen dat het eigenlijk "twee mannen" zijn. Deze stap is cruciaal omdat de twee rechters vaak van mening verschillen, en die onenigheid helpt het systeem de waarheid te vinden.
3. De Laatste Arbiter (Stadium 4): Ten slotte genereert de robot een lijst van 20 mogelijke zinnen (een "beam"). Normaal gesproken zou hij er gewoon één kiezen die het meest vloeiend klinkt. Maar nu stappen twee nieuwe, zelfgetrainde, kleine AI-koppen (genaamd TriFuse en MemAttend) in. Deze koppen bekijken de 20 zinnen en stellen voor elke zin drie vragen:
   • Vindt het taalbrein het leuk?
   • Denkt de Sterkere Bibliothecaris dat het bij de foto past?
   • Denkt de Kruisverhorer dat het bij de foto past?

Deze twee nieuwe koppen zijn op een slimme manier getraind. Ze hebben geen leraar nodig met de juiste antwoorden. In plaats daarvan kijken ze naar de drie bovenstaande rechters. Als alle drie de rechters het erover eens zijn dat een specifieke zin de beste is, leren de nieuwe koppen om die zin te kiezen. Het is alsof een student leert door te kijken naar een panel van experts die het eens wordt over het juiste antwoord, in plaats van direct het antwoord te krijgen verteld.

Het Resultaat
Door deze controles toe te voegen, werd het systeem niet alleen beter in taal, maar ook nauwkeuriger. Op de COCO Karpathy-test bereikte het nieuwe systeem een CIDEr-score van 117,6, een enorme sprong vanaf de vorige beste score van 108,0. Nog indrukwekkender is dat het een methode versloeg die "nep" afbeeldingen gegenereerd door andere AI gebruikte om zichzelf te trainen (die een score van 109,9 behaalde), en dat alles zonder dat de robot tijdens zijn training ook maar één gekoppelde afbeelding en bijschrift heeft gezien.

Het artikel testte het systeem ook op verschillende soorten foto's, zoals die van Flickr30k en NoCaps. Het systeem verbeterde die scores ook, met een winst van respectievelijk +8,1 en +5,7 punten, wat bewijst dat deze "multi-judge" benadering zelfs werkt op foto's waar de robot niet specifiek op getraind is.

Wat Ze Uitsloten
De onderzoekers waren voorzichtig om aan te tonen dat dit geen magie was. Ze bewezen dat het simpelweg sterker maken van het taalbrein niet de oplossing was; de verbetering kwam voort uit waar en hoe ze de match tussen beeld en tekst controleerden. Ze toonden ook aan dat het toevoegen van een tweede rechter alleen niet genoeg was; de rechters moesten verschillende soorten modellen zijn (één een "dual encoder" en één een "cross-attention matcher"), zodat ze verschillende soorten fouten konden opvangen. Ze testten zelfs een "negatief" idee: proberen de slechtste beschrijvingen te gebruiken om de robot te leren wat hij niet moet zeggen. Dat maakte de resultaten juist slechter, wat bewees dat het focussen op de beste matches de juiste weg was.

Hoe Zeker Zijn Ze?
Het artikel is zeer zelfverzekerd over deze cijfers. Ze hebben de tests meerdere keren uitgevoerd en vonden de resultaten stabiel, met slechts minimale, willekeurige schommelingen (ongeveer 0,1 punt) door computerhardware-eigenaardigheden. Ze toonden ook aan dat de verbetering niet alleen kwam doordat ze toevallig een specifieke versie van een rechter gebruikten die getraind was op exact dezelfde testset; zelfs toen ze een rechter vervingen die getraind was op een andere set foto's, verbeterde het systeem nog steeds aanzienlijk.

Kortom, dit artikel suggereert dat de reden dat AI-ondertiteling was gestagneerd niet was omdat de robots te dom waren, maar omdat ze te veel vertrouwden op hun eigen woorden. Door een team van onafhankelijke, zelf-gesuperviseerde rechters toe te voegen die het werk in elke stap verifiëren, leerde het systeem de wereld nauwkeuriger te beschrijven, zonder de regels van strikt zero-shot learning te breken.