Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Bild zu beschreiben, das er noch nie zuvor gesehen hat. Sie können ihm während seiner Schuljahre nicht das Bild und die korrekte Beschreibung gemeinsam zeigen; das wäre ein „Verstoß gegen das strikte Zero-Shot-Learning-Protokoll“ in der Welt des strengen Zero-Shot-Learnings. Stattdessen geben Sie dem Roboter eine riesige Bibliothek mit Textbeschreibungen und eine spezielle Brille, mit der er grob schätzen kann, wie ein Bild basierend auf Worten aussehen könnte. Die Aufgabe des Roboters besteht darin, ein neues Foto anzusehen, die ähnlichsten Beschreibungen in seiner Bibliothek zu finden und diese dann zu nutzen, um einen neuen Text zu schreiben.

Lange Zeit stieß dieser Prozess an eine frustrierende Wand. Der Roboter fand ein paar ähnliche Beschreibungen, wählte die besten aus und ließ dann sein internes „Sprachgehirn“ den Satz zu Ende führen. Das Problem war, dass der Roboter, sobald er anfing zu schreiben, aufhörte zu prüfen, ob das, was er sagte, tatsächlich zum Bild passte. Er konzentrierte sich zu sehr darauf, flüssig und grammatikalisch korrekt zu klingen, und ignorierte dabei oft die visuellen Details. Es war wie ein Reiseleiter, der ein Skript über einen berühmten Berg auswendig gelernt hat, aber sobald die Tour beginnt, nur noch darüber spricht, wie schön Berge im Allgemeinen sind, und dabei vergisst zu erwähnen, dass der spezifische Berg vor ihnen eigentlich ein Vulkan ist.

Dieses Paper befasst sich genau mit diesem Problem. Die Forscher, die im Bereich der Künstlichen Intelligenz und des Computer Vision arbeiten, schlagen einen neuen Weg vor, um den Roboter ehrlich zu halten. Sie nennen ihre Methode „Adjudicated Captioning“ (Gerichtliche Bildbeschreibung). Anstatt den Roboter die ganze Geschichte schreiben zu lassen und dann zu hoffen, dass es gut wird, installieren sie ein Team von strengen „Richtern“, die die Arbeit in mehreren Stadien überprüfen. Sie trainieren das Gehirn des Roboters nicht neu (was voraussetzen würde, dass er Bilder und Antworten zusammen sieht); stattdessen fügen sie eine intelligente, selbstkorrigierende Schicht hinzu, die nach dem ersten Entwurf des Roboters läuft.

So funktioniert ihr neues System, erklärt anhand einer einfachen Geschichte:

Der alte Weg: Die einmalige Prüfung
Im alten System sah der Roboter ein Foto eines Snowboarders und fragte seine Bibliothek: „Welche Wörter passen dazu?“ Er fand neun ähnliche Beschreibungen. Er wählte die fünf besten aus, und dann begann sein Sprachgehirn zu schreiben. Er schrieb: „Ein Snowboarder und ein Snowboarder posieren.“ Das System stoppte hier. Es fragte nie: „Warte, zeigt das Bild wirklich zwei Personen?“ Es vertraute einfach darauf, dass sein Sprachgehirn recht hatte. Dies führte zu einem Wert von 108,0 auf einem Standardtest namens CIDEr (ein Maß dafür, wie gut eine Bildunterschrift ist).

Der neue Weg: Der Gerichtssaal mit mehreren Stadien
Die Autoren erkannten, dass der Roboter mehr als eine Prüfung benötigte. Sie bauten eine Pipeline mit drei neuen „Richtern“, die zusammenarbeiten, ohne jemals die „korrekten“ Antworten (die Ground Truth) zu sehen.

1. Der stärkere Bibliothekar (Stufe 1): Zuerst tauschten sie die Brille des Roboters gegen ein viel schärferes Paar aus. Anstatt einer Standardlinse verwendeten sie ein massives, leistungsfähiges Modell (OpenCLIP ViT-bigG/14), um die anfänglichen Beschreibungen zu finden. Dies allein machte den Roboter klüger und hob den Wert auf 111,6.
2. Der Kreuzverhörer (Stufe 2): Als Nächstes fügten sie einen zweiten Richter hinzu. Dieser Richter schaut nicht nur auf die Wörter; er nutzt ein spezielles „Cross-Attention“-Werkzeug (einen BLIP-ITM Verifier), um die Beziehung zwischen dem Foto und dem Text intensiv zu studieren. Er nimmt die neun vom Bibliothekar gefundenen Beschreibungen und ordnet sie neu, um die besten fünf auszuwählen. Dieser Richter unterscheidet sich vom Bibliothekar; er erwischt Dinge, die der Bibliothekar übersieht. Wenn der Bibliothekar denkt, ein Foto handele von „einem Mann“, könnte dieser Richter erkennen, dass es tatsächlich „zwei Männer“ sind. Dieser Schritt ist entscheidend, da die beiden Richter oft uneins sind, und diese Uneinigkeit hilft dem System, die Wahrheit zu finden.
3. Der endgültige Schiedsrichter (Stufe 4): Schließlich generiert der Roboter eine Liste von 20 möglichen Sätzen (einen „Beam“). Normalerweise würde er einfach den auswählen, der am flüssigsten klingt. Aber jetzt treten zwei neue, kleine, selbstgelernte KI-Köpfe (namens TriFuse und MemAttend) ein. Diese Köpfe schauen sich die 20 Sätze an und stellen für jeden Satz drei Fragen:
   • Mag das Sprachgehirn ihn?
   • Glaubt der stärkere Bibliothekar, dass er zum Foto passt?
   • Glaubt der Kreuzverhörer, dass er zum Foto passt?

Diese zwei neuen Köpfe werden auf eine clevere Weise trainiert. Sie benötigen keinen Lehrer mit den richtigen Antworten. Stattdessen beobachten sie die drei oben genannten Richter. Wenn alle drei Richter zustimmen, dass ein bestimmter Satz der beste ist, lernen die neuen Köpfe, diesen Satz zu wählen. Es ist wie ein Schüler, der lernt, indem er ein Panel von Experten beobachtet, wie sie sich auf die richtige Antwort einigen, anstatt die Antwort direkt gesagt zu bekommen.

Das Ergebnis
Durch das Hinzufügen dieser Prüfungen wurde das System nicht nur sprachlich besser, sondern auch präziser. Auf dem COCO Karpathy Test erreichte das neue System einen CIDEr-Wert von 117,6, ein gewaltiger Sprung gegenüber dem bisherigen Bestwert von 108,0. Noch beeindruckender ist, dass es eine Methode schlug, die „falsche“ Bilder generierte, die von anderer KI erstellt wurden, um sich selbst zu trainieren (welche 109,9 erreichte), und das alles, ohne dass der Roboter während seines Trainings ein einziges gepaartes Bild und eine Bildunterschrift gesehen hat.

Das Paper testete das System auch auf verschiedenen Arten von Fotos, wie denen von Flickr30k und NoCaps. Das System verbesserte auch diese Werte, mit einem Gewinn von jeweils +8,1 und +5,7 Punkten, was beweist, dass dieser „Multi-Judge“-Ansatz auch bei Bildern funktioniert, für die der Roboter nicht spezifisch trainiert wurde.

Was sie ausschlossen
Die Forscher waren sorgfältig darin, zu zeigen, dass dies keine Magie war. Sie bewiesen, dass es nicht die Lösung war, einfach nur das Sprachgehirn stärker zu machen; die Verbesserung kam dadurch, wo und wie sie den Abgleich zwischen Bild und Text prüften. Sie zeigten auch, dass das bloße Hinzufügen eines zweiten Richters nicht ausreichte; die Richter mussten unterschiedliche Arten von Modellen sein (einer ein „Dual Encoder“ und einer ein „Cross-Attention Matcher“), damit sie verschiedene Arten von Fehlern entdecken konnten. Sie testeten sogar eine „negative“ Idee: zu versuchen, die schlechtesten Beschreibungen zu nutzen, um dem Roboter beizubringen, was er nicht sagen soll. Das verschlechterte die Ergebnisse tatsächlich, was bewies, dass der Fokus auf die besten Übereinstimmungen der richtige Weg war.

Wie sicher sind sie sich?
Das Paper ist sehr zuversichtlich bei diesen Zahlen. Sie ließen die Tests mehrmals laufen und fanden, dass die Ergebnisse stabil waren, mit nur winzigen, zufälligen Schwankungen (etwa 0,1 Punkte) aufgrund von Hardware-Besonderheiten. Sie zeigten auch, dass die Verbesserung nicht etwa daher rührte, dass sie eine spezifische Version eines Richters verwendeten, der auf genau demselben Testdatensatz trainiert wurde; selbst als sie einen Richter einsetzten, der auf einem anderen Fotosatz trainiert worden war, verbesserte sich das System immer noch signifikant.

Kurz gesagt legt dieses Paper nahe, dass der Grund für das Stocken beim KI-Captioning nicht war, dass die Roboter zu dumm waren, sondern dass sie ihren eigenen Worten zu sehr vertrauten. Durch das Hinzufügen eines Teams von unabhängigen, selbstüberwachten Richtern, die die Arbeit in jedem Schritt verifizieren, lernte das System, die Welt genauer zu beschreiben – und das alles, ohne die Regeln des strengen Zero-Shot-Learnings zu brechen.