Technische Samenvatting: MIRL – Mutual Information-Guided Reinforcement Learning voor Vision-Language Models

1. Probleemstelling

Vision-Language Models (VLM's) vertonen vaak fouten in visuele perceptie en hallucinaties, waarbij gegenereerde tekst in strijd is met visuele feiten. Deze fouten ondermijnen de nauwkeurigheid bij complexe redeneertaken. Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) een oplossing biedt door beleidsplannen te optimaliseren op basis van de juistheid van het antwoord, staan de heersende methoden voor twee kritieke beperkingen:

1. Inefficiënte Verkenning: Standaard RLVR-methoden verdelen steekproefbudgetten uniform over alle trajecten. Echter, als de initiële visuele beschrijving kritieke fouten bevat (bijvoorbeeld verkeerd geïdentificeerde objecten of ontbrekende details), is de daaropvolgende redenering "voorbestemd te falen". Het genereren van volledige trajecten voor deze beschrijvingen van lage kwaliteit verspillen aanzienlijke rekenkracht.
2. Blindheid voor Beloningen: Bestaande methoden vertrouwen doorgaans op schaarse, op sequentie gebaseerde beloningen (juistheid van het eindantwoord). Wanneer een traject faalt, kan het beloningssignaal niet onderscheiden of de fout voortkwam uit het stadium van visuele perceptie, de redeneerlogica of de formulering van het antwoord. Deze ambiguïteit belemmert gerichte optimalisatie van het stadium van visuele verankering.

2. Methodologie: MIRL

De auteurs stellen MIRL (Mutual Information-guided Reinforcement Learning) voor, een ontkoppeld raamwerk dat inefficiëntie in steekproeven en blindheid voor beloningen aanpakt door gebruik te maken van wederzijdse informatie (MI) tussen gegenereerde beschrijvingen en visuele invoer.

Kernmechanismen

A. MI als Pre-screening Signaal (Steekproefficiëntie)
De methente stelt dat de kwaliteit van een visuele beschrijving het succes van downstream-taken kan voorspellen. Het maakt gebruik van MI om de afhankelijkheid van gegenereerde beschrijvingstokens van de visuele invoer te meten:
$$MI(D; I | q) = \frac{1}{k} \sum_{t=1}^{k} [H(y_t | q, y_{<t}) - H(y_t | I, q, y_{<t})]$$
Een hoge MI geeft aan dat het model inhoud genereert die afhankelijk is van de afbeelding, terwijl een lage MI wijst op een beroep op tekstuele priors (hallucinaties).

B. Strategie: Steekproef-Evalueer-Vork
In plaats van uniform $G$ volledige trajecten te steekproeven, hanteert MIRL een strategie in drie fasen:

1. Pre-steekproef: Genereer $N$ kandidaat-antwoorden en extraheer alleen het initiële beschrijvingssegment $D$.
2. MI-gebaseerde Selectie: Bereken MI-scores voor alle $N$ beschrijvingen. Selecteer de top-$K$ kandidaten met de hoogste MI.
3. Vorken: Voor de geselecteerde $K$ beschrijvingen genereer $M$ extra redeneertakken (vorken) om een boomstructuur te creëren. Beschrijvingen met een lage MI worden verworpen voor volledige trajectgeneratie, maar behouden voor training in perceptie.
   Dit concentreert het rekenbudget op trajecten met hoog potentieel.

C. Ontkoppelde Toekenning van Beloningen
Om blindheid voor beloningen op te lossen, ontkoppelt MIRL de trainingssignalen:

• MI-gebaseerde Beloning: Alle $N$ vooraf gestoken beschrijvingen ontvangen een directe beloning op basis van hun MI-score. Dit biedt dichte, laag-latente feedback specifiek voor het optimaliseren van visuele perceptie en format-uitlijning.
• Op Taak Gebaseerde Beloning: Alleen de $K(M+1)$ volledige trajecten van de geselecteerde beschrijvingen ontvangen de standaard verifieerbare beloning (juistheid van het antwoord) om redenering en antwoordformulering te superviseren.
• Ontkoppelde Updates: Beleidsgradiënten worden afzonderlijk berekend voor beschrijvingstokens (met behulp van MI-voordelen) en volledige trajecten (met behulp van taakvoordelen), zodat optimalisatie van visuele perceptie niet verward wordt met de kwaliteit van de redenering.

3. Belangrijkste Bijdragen

• MI-geleide Budgettoewijzing: Het artikel toont aan dat MI fungeert als een rekenkundig goedkope en betrouwbare proxy voor de kwaliteit van visuele perceptie, wat intelligente toewijzing van middelen mogelijk maakt via een "vork"-mechanisme dat het aantal benodigde volledige trajecten reduceert.
• Ontkoppeld Trainingsraamwerk: MIRL introduceert een nieuw trainingsparadigma dat optimalisatie van visuele perceptie scheidt van optimalisatie van redenering, waardoor onafhankelijke signalen worden geboden om het credit assignment-probleem inherent aan schaarse RLVR op te lossen.
• Modulaire Integratie: De aanpak is ontworpen om compatibel te zijn met bestaande RL-algoritmen (bijvoorbeeld GRPO, DAPO) door alleen de steekproefstrategie en berekening van beloningen aan te passen, zonder de kern van het optimalisatiekader te herschikken.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zes benchmarks die wiskundig redeneren (MathVista, MathVerse, We-Math), multi-modale chain-of-thought (M3CoT) en algemene visuele begrip (MMStar, RealWorldQA) bestrijken, met gebruikmaking van het Qwen2.5-VL-7B-Instruct-model.

• Prestatie vs. Kosten: MIRL-12 (pre-steekproef 10, selectie top-6, vorken 1) behaalde een gemiddelde nauwkeurigheid van 70,22%, wat beter is dan de DAPO-16-baseline (69,76%) terwijl 25% minder volledige trajecten werden gebruikt (12 versus 16).
• Efficiëntiewinst: MIRL-8 behaalde 68,38% nauwkeurigheid, vergelijkbaar met DAPO-12 (69,17%) maar met 33% minder trajecten.
• Ablatiestudies:
  • Selectiestrategie: Het vervangen van MI-gebaseerde selectie door willekeurige selectie of het selecteren van beschrijvingen met lage MI resulteerde in aanzienlijke dalingen in prestaties, wat bevestigt dat MI-geleide selectie de primaire drijver van efficiëntie is.
  • Beloningsconfiguratie: Het gebruik van alleen MI-beloningen of alleen taakbeloningen leverde suboptimale resultaten op. De ontkoppelde aanpak (combinatie van beide) bereikte de beste balans, wat de noodzaak bevestigt van onafhankelijke supervisie voor perceptie en redenering.
• Generalisatie: De correlatie tussen MI-scores en taaknauwkeurigheid was consistent over diverse domeinen (Pearson $r = 0,71$ tot $0,94$), wat suggereert dat MI een universele indicator is voor de kwaliteit van visuele verankering.

5. Betekenis en Claims

Het artikel beweert dat MIRL de aanzienlijke waarde van wederzijdse informatie als een tussentijds evaluatiesignaal in VLM-versterkingslearning onthult. Door visuele perceptie te behandelen als een distincte bottleneck die kan worden gescreend en onafhankelijk kan worden geoptimaliseerd, biedt MIRL een weg naar efficiëntere training van VLM's op grote schaal.

De auteurs benadrukken dat hun werk nieuwe onderzoeksrichtingen opent voor efficiënte training van VLM's op grote schaal door aan te tonen dat:

1. Fouten in visuele perceptie vroeg kunnen worden gedetecteerd en eruit kunnen worden gefilterd voordat dure redenering wordt gegenereerd.
2. Het ontkoppelen van beloningen voor perceptie en redenering gerichte optimalisatie van visuele verankering mogelijk maakt zonder in te boeten aan redeneervermogens.

Het artikel behoudt een bescheiden standpunt ten aanzien van beperkingen, met de opmerking dat de huidige implementatie zich richt op statische afbeeldingen en wiskundig/wetenschappelijk redeneren, en dat verdere validatie nodig is voor dynamische visuele inhoud (video) en diverse modelarchitecturen.