Perception-R1: Advancing Multimodal Reasoning Capabilities of MLLMs via Visual Perception Reward

Probleemstelling

De prestaties van Multimodale Grootte Taalmodellen (MLLMs) in complexe redeneertaken zijn de afgelopen tijd aanzienlijk verbeterd door het gebruik van Reinforcement Learning met Verifieerbare Beloningen (RLVR). Echter, bestaande RLVR-methoden focussen bijna uitsluitend op de nauwkeurigheid van het eindantwoord (accuracy-only RLVR).

De auteurs stellen vast dat dit een fundamenteel tekortkoming is:

1. Verwaarlozing van Perceptie: Multimodaal redeneren bestaat uit twee fasen: multimodale perceptie (het nauwkeurig begrijpen van de visuele input) en logisch redeneren. Bestaande methoden verbeteren het redeneren, maar negeren de perceptie.
2. Statistische Stagnatie: Door middel van de McNemar-test hebben de auteurs aangetoond dat MLLMs die zijn getraind met alleen antwoord-belang (accuracy-only), geen statistisch significante verbetering tonen in hun multimodale perceptiecapaciteiten ten opzichte van hun basisversies.
3. Foutieve Redeneerpaden: Modellen kunnen soms het juiste antwoord raden ondanks ernstige perceptiefouten (bijvoorbeeld het verkeerd identificeren van lijnen of vormen in een meetkundige figuur). Omdat de beloning alleen gebaseerd is op het eindantwoord, worden deze perceptiefouten niet gecorrigeerd en zelfs versterkt, wat een bottleneck vormt voor verdere vooruitgang.

Methodologie: Perception-R1

Om dit probleem op te lossen, introduceren de auteurs Perception-R1, een nieuw trainingskader dat een visuele perceptiebeloning (visual perception reward) toevoegt aan het bestaande RLVR-pipeline.

Kerncomponenten:

1. Verzameling van Visuele Annotaties:
   • De auteurs verzamelen Chain-of-Thought (CoT) trajecten van een state-of-the-art MLLM op een meetkundedataset (Geometry3K).
   • Een sterk tekst-only LLM (Qwen2.5-32B) extrahert uit deze trajecten specifieke visuele annotaties (bijv. "lijnstuk GE is loodrecht op DF", "straal is 26"). Deze annotaties dienen als grondwahrheid voor de perceptie, analoog aan het grondwahrheid-antwoord voor de nauwkeurigheid.
2. Visuele Perceptiebeloning ($r_v$):
   • Tijdens het RLVR-trainingsproces wordt een judging LLM ingezet. Deze beoordelaar controleert of de gegenereerde respons van het policy-model de geëxtraheerde visuele annotaties correct weergeeft.
   • De beloning wordt berekend op basis van de consistentie tussen de annotaties en de respons. Als het model de visuele elementen correct beschrijft, krijgt het een hogere beloning.
3. Geoptimaliseerde Beloningsfunctie:
   De totale beloning ($r$) is een combinatie van:
   • Formaatbeloning ($r_f$): Voor structuur (think-then-answer).
   • Nauwkeurigheidbeloning ($r_a$): Voor het correcte eindantwoord.
   • Visuele Perceptiebeloning ($r_v$): Voor het correct interpreteren van de afbeelding.
   • Herhalingsstraf ($r_p$): Om repetitief gedrag te voorkomen.
     $$r(y, a, V) = \alpha \cdot r_f + \beta \cdot r_a + \gamma \cdot r_v + r_p$$
4. Trainingsalgoritme:
   Het model wordt geoptimaliseerd met GRPO (Group Relative Policy Optimization), waarbij de voordelen worden genormaliseerd binnen groepen van rollouts.

Kernbijdragen

1. Empirische Validatie van het Probleem: De auteurs leveren het eerste statistische bewijs (via McNemar-test) dat bestaande RLVR-methoden de multimodale perceptie van MLLMs niet significant verbeteren, wat een kritieke beperking is voor complex redeneren.
2. Innovatieve Beloningsstructuur: De introductie van een expliciete visuele perceptiebeloning die de "reward sparsity" (spaarzaamheid van beloningen) voor perceptie oplost. Dit dwingt het model om de visuele input nauwkeurig te analyseren voordat het redeneert.
3. Data-efficiëntie: Perception-R1 bereikt superieure prestaties met slechts 1.442 trainingsvoorbeelden. Dit is een factor 100 minder dan vergelijkbare state-of-the-art methoden zoals Vision-R1 (die 200K voorbeelden nodig heeft) en 10 keer minder dan MM-Eureka.

Resultaten

De methodologie is uitgebreid getest op 8 verschillende benchmarks, waaronder wiskundige taken (MathVista, MathVerse, MathVision, WeMath) en algemene multimodale redenering (MMMU, MMStar, EMMA).

• Superieure Prestaties: Perception-R1 (gebaseerd op Qwen2.5-VL-7B-IT) behaalde de beste resultaten op alle benchmarks, met uitzondering van EMMA, en versloeg zowel gesloten modellen (zoals GPT-4o, o1) als andere open-source redeneermodellen.
• Verbeterde Perceptie: Op de "Vision-Only" subsets van benchmarks (waar tekst niet als hint mag dienen) presteerde Perception-R1 aanzienlijk beter dan baselines, wat direct bewijst dat de visuele perceptiecapaciteiten zijn verbeterd.
• Statistische Significantie: De McNemar-test toonde aan dat de perceptieverbetering statistisch significant is (p < 0.05), in tegenstelling tot de modellen getraind met alleen antwoord-belong.
• Kostenefficiëntie: Ondanks de toevoeging van een judging LLM, is de totale rekentijd lager dan bij andere methoden vanwege de extreme data-efficiëntie.

Betekenis en Impact

Perception-R1 markeert een verschuiving in het onderzoek naar multimodale redenering. Het paper demonstreert dat het simpelweg optimaliseren voor het eindantwoord onvoldoende is voor het ontwikkelen van robuuste MLLMs. Door expliciete beloningen in te bouwen voor het proces van waarnemen (perceptie), kunnen modellen niet alleen beter redeneren, maar ook foutloosere visuele interpretaties leveren.

De bevindingen suggereren dat toekomstige RLVR-ontwikkelingen in het multimodale domein noodzakelijkerwijs een balans moeten vinden tussen logica en perceptie. De openbaarmaking van de code, dataset en modellen maakt het voor de gemeenschap mogelijk om deze "describe-then-solve"-benadering verder te onderzoeken en toe te passen op andere domeinen zoals medische beeldanalyse of robotica.