Technische Samenvatting: VCap - Hypergeometrische Beloningen voor Weak-to-Strong Visuele Bijschriften

1. Probleemstelling

Visuele bijschriften hebben tot doel visuele perceptie te vertalen naar natuurlijke taal die opvallende feiten (objecten, attributen, relaties, gebeurtenissen) getrouw vastlegt, terwijl het omissies en hallucinaties minimaliseert. De kwaliteit van een bijschrift wordt bepaald door twee complementaire dimensies: Juistheid (elk gesteld feit is verankerd in het visuele signaal) en Volledigheid (alle belangrijke visuele inhoud is voldoende gedekt).

Bestaande benaderingen om de kwaliteit van bijschriften te verbeteren, staan voor aanzienlijke beperkingen:

• Schalen en Data-curatie: Het simpelweg schalen van modellen of het cureren van hoogwaardige referentiedata verspreidt onvermijdelijk bestaande omissies en hallucinaties naar het model, waardoor een prestatiedak ontstaat.
• Beperkingen van Versterkingslering (RL): Huidige RL-belontingsontwerpen voor bijschriften (bijv. VQA-gebaseerd, VLM als rechter, of imitatie-stijl beloningen zoals CIDEr/DPO) falen in het leveren van fijnmazige, betrouwbare signalen voor feitelijke verificatie. Ze beperken het referentiesignaal doorgaans tot één rol (bijv. een doel om te imiteren of een beperkte vragenpool), waardoor het moeilijk is om juistheid en volledigheid op factorniveau gezamenlijk te superviseren. De kernobstakel is dat de volledige set visuele feiten in de praktijk niet beschikbaar is; geen enkele referentie somt deze op, en geen enkele beloningsproxy herstelt deze volledig.

2. Methodologie: Het Getuige-Beslisser Kader

De auteurs stellen VCap voor, een nieuw beloningsmechanisme dat de rollen van de tekstuele referentie en het visuele signaal ontkoppelt, en deze behandelt als afzonderlijke componenten in een "Getuige-Beslisser" kader.

2.1 Kernconcept

• De Getuige (Referentiebijschrift): Het referentiebijschrift wordt niet behandeld als een gouden standaarddoel om te imiteren. In plaats daarvan wordt het beschouwd als een stochastische getuige die een subset van visuele feiten blootlegt. Het fungeert als een recall-anker (waardoor het beleid verplicht wordt om genoemde feiten te dekken) en als een foutdetector (die potentiële hallucinaties signaleert).
• De Beslisser (Visueel Signaal): De afbeelding of video fungeert als de beslisser. Het verifieert overeenkomsten en afwijkingen op de specifieke "slots" die door de getuige worden geactiveerd. Cruciaal is dat het visuele signaal niet optreedt als een orakel dat alle feiten opsomt; het lost alleen conflicten op of bevestigt feiten op het snijpunt van de getuige en het beleid.

2.2 Berekening van Beloningen

Een bevroren beloningsmodel (MLLM) verwerkt de drietal $(x, y_{ref}, y)$, waarbij $x$ de visuele invoer is, $y_{ref}$ de referentie, en $y$ het door het beleid gegenereerde bijschrift. Het model voert een evaluatie in één doorgang uit om:

1. Kandidaat-omissies te identificeren: Feiten die aanwezig zijn in $y_{ref}$ maar ontbreken in $y$.
2. Kandidaat-hallucinaties te identificeren: Feiten in $y$ die in tegenspraak zijn met $y_{ref}$.
3. Verificatie tegen $x$:
   • Een omissie wordt alleen bestraft als $x$ bevestigt dat het ontbrekende feit bestaat.
   • Een hallucinatie wordt alleen bestraft als $x$ bevestigt dat de claim van het beleid onwaar is (als $x$ in tegenspraak is met $y_{ref}$, overheerst het visuele signaal de referentie, waardoor referentiefouten het beleid niet bestraffen).

Het model geeft drie gehele scores uit ($0-10$):

• $s_{corr}$: Juistheid (het bestraffen van conflicten met $x$).
• $s_{comp}$: Volledigheid (het bestraffen van bevestigde omissies van $y_{ref}$-feiten).
• $s_{txt}$: Tekstkwaliteit (vloeiendheid, coherentie, afwezigheid van metatext).

Deze worden geaggregeerd tot een scalair beloningssignaal met behulp van vaste gewichten. Voor video wordt een lokaal-zichtbeloning berekend op willekeurige temporale segmenten en gecombineerd met een globaal-zichtbeloning om zowel fijnmazige temporale feiten als gebeurtenissen over segmenten heen vast te leggen.

2.3 Theoretische Grondslag: Hypergeometrische Analyse

Het artikel formaliseert visuele bijschriften als een probleem van feitelijke extractie op feitenniveau over een latente feitenverzameling $F$ van grootte $N$.

• Laat $R$ de referentie feitenverzameling zijn ($|R|=m$).
• Laat de feitenverzameling van het beleid zijn $\Phi(y) = C \cup E$, waarbij $C$ de correcte feiten zijn ($|C|=c$) en $E$ de gehallucineerde feiten.

Onder de aanname dat $R$ een uniforme willekeurige subset is van $F$, volgt de waarschijnlijkheid om de tests voor volledigheid en juistheid te doorstaan een hypergeometrische verdeling:

• Waarschijnlijkheid van Volledigheid ($P_{comp}$): De waarschijnlijkheid dat alle $m$ referentiefeiten binnen de $c$ correcte feiten vallen. Dit neemt strikt toe naarmate $c \to N$.
• Waarschijnlijkheid van Juistheid ($P_{corr}$): De waarschijnlijkheid dat de $n-c$ gehallucineerde feiten de $m$ referentieslots vermijden. Dit neemt strikt af naarmate hallucinaties toenemen.

Kerninzicht (Twee-assig Weak-to-Strong): De optimale beleidsstaat is $c \to N$ (maximale correcte feiten) en $n-c \to 0$ (nul hallucinaties). Cruciaal is dat de locatie van dit optimum onafhankelijk is van de referentiegrootte $m$. De referentiegrootte $m$ controleert alleen de steilheid van het supervisiegradiënt. Dit stelt een model in staat om te leren van "zwakke" of imperfecte referenties en toch te convergeren naar het ware plafond van visuele informatie, waardoor een zelfverbeteringslus mogelijk wordt waarbij het beleid sterkere referenties genereert om het gradiënt scherper te maken.

3. Belangrijkste Bijdragen

1. Facts-niveau Kader: De auteurs formaliseren bijschriften langs twee onafhankelijke assen (Juistheid en Volledigheid) en demonstreren waarom bestaande beloningen moeite hebben om beide gelijktijdig te superviseren.
2. Getuige-Beslisser Beloning (VCap): Een nieuw beloningsontwerp dat de referentie behandelt als een stochastische getuige en het visuele signaal als een beslisser. Deze scheiding levert hypergeometrische beloningssignalen op die weak-to-strong generalisatie mogelijk maken, waardoor modellen de kwaliteit van hun trainingsreferenties kunnen overtreffen.
3. Empirische Validatie: Een 8B-parametermodel getraind met VCap bereikt state-of-the-art prestaties op meerdere benchmarks voor afbeeldings- en videobijschriften, en presteert significant beter dan veel grotere open- en gesloten-bronmodellen (bijv. Qwen3.5-397B, GPT-5.4, Gemini 3.1 Pro).

4. Experimentele Resultaten

De auteurs evalueerden VCap op benchmarks voor afbeeldings- en videobijschriften, evenals downstream QA-taken.

• Afbeeldingsbijschriften: Op CapMAS en DecapBench behaalde het VCap (e2)-model (8B parameters) de hoogste scores op alle metrieken (bijv. 83,53 Gemiddeld op CapMAS, 73,67 Gemiddeld op DecapBench), en sloeg GPT-5.4 en het 397B-parameter Qwen3.5-model.
• Videobijschriften: VCap behaalde de beste prestaties op de VDC-benchmark (36,01 Gemiddeld) en concurrerende resultaten op VCapsBench, en presteerde beter dan de backbone en grotere modellen.
• Menselijke Evaluatie: Op een vastgehouden set van 500 afbeeldingen behaalde VCap de eerste plaats in feitelijke juistheid per afbeelding. Het VCap-beloningssignaal toonde een overeenstemming van 61,1% met menselijke paarvoorkeuren, significant boven de 50% willekeurige baseline.
• Zelfverbetering: De overgang van VCap (e1) naar VCap (e2), waarbij referenties door het beleid zelf werden gegenereerd, resulteerde in monotoon verbeteringen op alle benchmarks, wat de theoretische zelfverbeteringslus valideert.
• Generalisatie: Modellen die alleen op bijschriften waren getraind (geen QA-data) toonden aanzienlijke winsten op afbeeldings- en video-QA-benchmarks (bijv. Prism, MMVU), wat suggereert dat VCap de onderliggende visuele perceptie verbetert in plaats van alleen de oppervlakkige vorm van het bijschrift.
• Ablatiestudies:
  • Best-of-N Distillatie: VCap-gedreven RL presteerde beter dan zelfdistillatie van Best-of-N-steekproeven, wat bewijst dat de winsten voortkomen uit het beloningssignaal en niet alleen uit steekproefselectie.
  • Modale/Dimensionale Ablatie: Het verwijderen van ofwel de referentie (getuige) ofwel de afbeelding (beslisser) veroorzaakte aanzienlijke prestatiedalingen, wat de noodzaak van het dubbelrolontwerp bevestigt. Het specifiek verwijderen van Juistheids- of Volledigheidsdimensies degradeerde hun respectievelijke metrieken.

5. Betekenis en Claims

Het artikel beweert dat VCap het paradigma van RL-gebaseerde bijschriften fundamenteel verschuift door het beloningsoptimum te ontkoppelen van de referentiekwaliteit.

• Het Imitatiedak Doorbreken: In tegenstelling tot imitatie-stijl beloningen, waarbij het beleid wordt beperkt door de referentiekwaliteit, stelt VCap een model in staat zijn trainingsreferenties te overtreffen door ze te behandelen als sondes in plaats van doelen.
• Feitelijke Uitlijning: De methode biedt een mechanisme voor fijnmazige feitelijke verificatie die nauw aansluit bij menselijke oordelen, en adresseert het "hallucinatie"-probleem in MLLM's.
• Perceptieve Versterking: De resultaten suggereren dat optimalisatie voor feitelijke juistheid en volledigheid via VCap de algemene visuele perceptiecapaciteiten van het model verbetert, wat downstream taken zoals QA ten goede komt zonder specifieke fine-tuning.

Beperkingen Erkend door de Auteurs:

• Afbeeldings- en videopolitiek werden afzonderlijk getraind vanwege computergrenzen.
• Menselijke evaluatie was beperkt tot een set van 500 afbeeldingen met interne annotatoren.
• De studie focust op GRPO; andere on-policy RL-algoritmen werden niet empirisch geverifieerd.
• Toegewijde bijschriftspecialisten voor baselines zijn schaars, wat dwingt tot een beroep op generalistische MLLM's.