Listener-Rewarded Thinking in VLMs for Image Preferences

Titel: Listener-Rewarded Thinking in VLMs for Image Preferences

Auteurs: Alexander Gambashidze et al. (AIRI & Skoltech)
Datum: 1 juli 2025

1. Het Probleem

Het trainen van robuuste en generaliseerbare beloningmodellen (reward models) voor menselijke visuele voorkeuren is cruciaal om generatieve modellen (tekst-naar-beeld en tekst-naar-video) uit te lijnen met menselijke intenties. Bestaande methoden kampen echter met ernstige beperkingen:

• Supervised Fine-Tuning (SFT): Leidt vaak tot memorisatie van de trainingsdata in plaats van echte generalisatie.
• Naïve Reinforcement Learning (RL): Hoewel RL (met name Group Relative Policy Optimization of GRPO) de generalisatie verbetert, ontdekten de auteurs een kritieke faalmodus: een significant verlies in redeneer-accuraatheid wanneer de redeneertrace (chain-of-thought) van het model in tegenspraak is met de evaluatie van een onafhankelijk, bevroren Vision-Language Model (VLM).
• Inconsistentie: Modellen kunnen het juiste antwoord geven, maar met een uitleg die niet overtuigend is voor een externe beoordelaar, wat leidt tot een afname in prestaties, vooral bij Out-of-Distribution (OOD) data.

2. Methodologie: Listener-Augmented GRPO

De auteurs introduceren een nieuw framework dat de GRPO-optimatie uitbreidt met een "Listener-shape" soft reward.

• De "Listener": Een onafhankelijk, bevroren en instructie-getraind VLM (geen deel van het trainingsproces) fungeert als een externe beoordelaar.
• Het Proces:
  1. Het "Reasoner"-model genereert een chain-of-thought (CoT) en een antwoord voor een gegeven prompt en afbeeldingen.
  2. De "Listener" evalueert alleen de redeneertrace (zonder het definitieve antwoord) en geeft een gekalibreerde, zachte waarschijnlijkheidsscore voor de juiste keuze.
  3. Reward Functie: De uiteindelijke beloning ($r$) is een combinatie van:
     • $r_{fmt}$: Controle op het juiste formaat.
     • $r_{acc}$: Een harde beloning voor het juiste antwoord.
     • $r_{list}$: Een zachte beloning gebaseerd op de score van de Listener. Als de Listener het niet eens is met de redenering van het Reasoner-model, wordt de beloning verlaagd.
• Doel: Het Reasoner-model wordt niet alleen beloond voor het juiste antwoord, maar ook voor het produceren van uitleggen die overtuigend en consistent zijn voor een onafhankelijk model. Dit creëert een dichte, datadoeltreffende supervisie zonder extra menselijke annotatie.

3. Belangrijkste Bijdragen

1. Eerste CoT-modellen voor visuele voorkeuren: Ze zijn de eersten die chain-of-thought redenerende modellen trainen om menselijke visuele voorkeuren voor generatieve outputs te voorspellen.
2. Identificatie van "Listener Disagreement": Ze kwantificeren een nieuwe faalmodus waarbij de nauwkeurigheid daalt naarmate de discrepantie tussen het Reasoner-model en de Listener toeneemt.
3. Nieuwe Reward-mechanisme: Ontwerp van een "listener-shaped" soft reward voor GRPO die redeneersporen en definitieve beslissingen tegelijkertijd uitlijnt.
4. Data-efficiëntie: Het framework vereist geen complexe, dure menselijke annotatiepijplijnen en werkt effectief zelfs met een fractie van de beschikbare voorkeursdata.

4. Resultaten

De methode werd getest op het Qwen 2.5 VL architectuur (7B parameters) en vergeleken met SFT en standaard GRPO baselines.

• Benchmarks:
  • ImageReward: Bereikte een state-of-the-art nauwkeurigheid van 67,4%.
  • Rapidata-HSP (OOD): Op een groot dataset van 1,2 miljoen stemmen (gegenereerd door moderne modellen zoals Flux, DALL-E 3, Midjourney v6) verbeterde de methode de OOD-prestaties met tot +6% ten opzichte van een naïef reasoner-model.
• Consistentie: Het aantal tegenstrijdigheden tussen redenering en antwoord nam significant af (van 10,1% bij de standaard reasoner naar 8,3% bij de listener-augmented versie).
• Ablatie-studies:
  • Zonder de "Listener" component daalt de OOD-accuraatheid aanzienlijk als het model wordt gedwongen om zonder redenering te werken ("I have finished thinking").
  • De "Listener" dwingt het model om zich te baseren op de redeneertrace in plaats van alleen op het antwoord, wat leidt tot robuustere generalisatie.

5. Betekenis en Conclusie

Dit onderzoek toont aan dat het uitlijnen van visuele taalmodellen met menselijke voorkeuren niet alleen afhankelijk is van het juiste antwoord, maar ook van de kwaliteit en overtuigingskracht van de uitleg.

• Schaalbaarheid: De "Listener"-benadering biedt een schaalbare oplossing voor het uitlijnen van generatieve modellen (T2I/T2V) zonder de noodzaak van enorme menselijke annotatie-teams.
• Robuustheid: Het lost het probleem op van "plausible maar verkeerde" redeneringen, wat essentieel is voor betrouwbare AI-systemen in creatieve industrieën.
• Toekomstperspectief: Hoewel het nu gericht is op visuele voorkeuren, is het mechanisme model-agnostisch en kan het worden toegepast op andere domeinen zoals wiskunde, programmeren en instructie-opvolging om de consistentie van redenering in grote taalmodellen (LLMs) te verbeteren.

Kortom, door een onafhankelijk "Listener"-model te gebruiken als een extra beloningssignaal, creëren de auteurs een efficiëntere en generaliseerbaarder manier om AI-modellen te trainen op complexe, subjectieve menselijke voorkeuren.