Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

Technische Samenvatting: MLLM's leren "Nee" te zeggen via Refusal-Calibrated GRPO

Probleemstelling

Het artikel behandelt de onderbelichte uitdaging van Generalized Referring Expression Comprehension (GREC). In tegenstelling tot traditionele Referring Expression Comprehension (REC), die ervan uitgaat dat het doelobject altijd aanwezig is, vereist GREC dat Multimodale Large Language Models (MLLM's) twee afzonderlijke taken uitvoeren:

1. Positieve Lokalisatie: Het nauwkeurig lokaliseren van een object dat wordt beschreven door een tekstuele expressie wanneer dit in de afbeelding aanwezig is.
2. Negatieve Weigering (Refusal): Het correct identificeren en weigeren om te lokaliseren wanneer het beschreven object afwezig is of wanneer er een mismatch is in attributen of relaties (bijv. "wit paard" in een afbeelding van een "bruin paard").

Huidige MLLM's blinken uit in lokalisatie, maar falen vaak bij weigering. Vanwege de afwezigheid van negatieve samples tijdens grootschalige pre-training, hebben deze modellen de neiging om bounding boxes te hallucineren voor niet-bestaande objecten in plaats van een weigering (bijv. "Geen") te geven. Bestaande post-training oplossingen, zoals Supervised Fine-Tuning (SFT) en standaard Reinforcement Learning (RL) methoden zoals Direct Preference Optimization (DPO) of Group Relative Policy Optimization (GRPO), verbeteren vaak de weigeringspercentages, maar dit gaat ten koste van een ernstige degradatie van de lokalisatienauwkeurigheid op positieve samples. Dit creëert een optimalisatie-imbalans waarbij modellen leren om indiscriminant "nee" te zeggen, wat ze onbruikbaar maakt voor praktische toepassingen die beide capaciteiten vereisen.

Methodologie: Refusal-Calibrated GRPO (RC-GRPO)

De auteurs stellen RC-GRPO voor, een tweestaps reinforcement learning framework ontworpen om weigeringsgedrag te kalibreren terwijl de kerncompetentie in lokalisatie behouden blijft. Het framework is gebaseerd op GRPO, maar introduceert specifieke mechanismen om de unieke uitdagingen van GREC aan te pakken.

1. Constructie van Trainingsdata
De methode maakt gebruik van FineCops-Ref, een fijnmazige benchmark die harde negatieve samples bevat, gegenereerd via linguïstische perturbaties (het veranderen van attributen/relaties) en beeldbewerking. De trainingsset bestaat uit 2.000 gebalanceerde samples (1.000 positief, 1.000 negatief).

2. Fase I: Refusal Calibration met Contrastieve Beloning
Deze fase heeft als doel een basisweigeringscapaciteit vast te stellen (transitie van 0 naar 1) zonder de positieve prestaties te laten instorten. Het maakt gebruik van drie kerncomponenten:

• Forced-Rejection Rollout: Omdat basis-MLLM's tijdens de vroege training zelden "Geen" outputs verkennen, faalt standaard GRPO bij het berekenen van geldige advantages voor negatieve samples (omdat alle rollouts bounding boxes produceren). RC-GRPO dwingt "Geen" outputs af via constrained beam search tijdens rollouts als het model deze niet natuurlijk genereert. Dit zorgt voor een geldige advantage-estimatie voor negatieve samples.
• Contrastieve Beloning: Een beloningsfunctie is ontworpen om overmatige weigering op positieve samples te bestraffen.
  • Voor positieve samples: Een correcte bounding box (IoU $\ge$ 0.5) levert een beloning op van 1; een "Geen" voorspelling levert -1 op.
  • Voor negatieve samples: Een "Geen" voorspelling levert 1 op; een bounding box levert 0 op.
    Deze structuur leert het model dat een slechte box te verkiezen is boven een valse weigering op positieve gevallen.
• Negative Advantage Scaling: Om te voorkomen dat het model overfit op de makkelijkere taak van "Geen" zeggen, worden de advantages van negatieve samples afgeschaald met een coëfficiënt $\alpha \in (0, 1]$. Dit balanceert de optimalisatiedynamiek tussen de twee soorten samples.

3. Fase II: Reason-Guided Reinforcement
Om te garanderen dat weigeringen voortkomen uit werkelijk semantisch begrip in plaats van oppervlakkige patroonherkenning, stimuleert een tweede fase het model om verklaringen te genereren voor zijn weigeringen.

• Rationale Reward: Het model wordt geprompt om uit te leggen waarom een object afwezig is. Een op regels gebaseerd verificatiesysteem evalueert de gegenereerde verklaring tegen de specifieke semantische perturbatie (bijv. het identificeren dat "achter" is veranderd in "voor").
• Beloningsformulering: De beloning bevat een basisbeloning voor een correcte weigering plus een dense beloning voor het correct identificeren van de specifieke mismatch (Incorrect Pattern) en het oorspronkelijke geldige beschrijving (Original Pattern). Dit versterkt causaal begrip en interpreteerbaarheid.

Belangrijkste Bijdragen

1. Taakdefinitie: Het werk bestudeert formeel de GREC-taak en benadrukt de kritieke noodzaak om de balans te vinden tussen lokalisatienauwkeurigheid en weigeringsbetrouwbaarheid voor real-world deployment.
2. RC-GRPO Framework: De voorstel van een gekalibreerd RL-framework dat Refusal Calibration introduceert (het afdwingen van "Geen" outputs voor geldige gradiëntsignalen) en een Positive-Sample Penalty (contrastieve beloning) om zowel verwerping als lokalisatie gezamenlijk te optimaliseren.
3. Reasoning Reinforcement: De introductie van een fase voor het genereren van redenen die weigeringen fundeert in causaal redeneren, wat zowel de betrouwbaarheid van de "Nee"-beslissing als de interpreteerbaarheid van het model verbetert.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat RC-GRPO een superieure trade-off bereikt tussen de prestaties op positieve en negatieve samples vergeleken met SFT, DPO en andere RL-baselines.

Experimentele Resultaten

Experimenten werden uitgevoerd op drie benchmarks: FineCops-Ref, gRefCOCO en D3 (Described Object Detection).

• Prestatiewinst: Op gRefCOCO verbeterde RC-GRPO toegepast op Qwen2.5-VL-7B de Precision (Pr) van 38.2% (basis) naar 62.8% (RC-GRPO-I) en 64.9% (RC-GRPO-II), waarmee het specialistische modellen en bestaande MLLM-baselines zoals ROD-MLLM en CRS significant overtreft.
• Gebalanceerde Trade-off: In tegen tegenstelling tot SFT, dat een hoge weigeringsnauwkeurigheid (N-acc) bereikte maar een catastrofale daling in positieve lokalisatie (P-acc) veroorzaakte, behield RC-GRPO een hoge P-acc terwijl het een robuuste N-acc bereikte.
• Pareto Front: Analyse van de P-acc vs. N-acc trade-off liet zien dat RC-GRPO een superieure Pareto front vestigt in de regio met hoge bruikbaarheid, waardoor de "utility collapse zone" wordt vermeden waar modellen hun grondingsvermogen opofferen voor weigering.
• Generalisatie: De methode vertoonde verwaarloosbare degradatie op algemene multimodale benchmarks (MME, MMBench, POPE), wat aangeeft dat de weigeringslogica het algemene visuele begrip niet schaadt of nieuwe hallucinaties induceert.
• Ablatie-studies: Het verwijderen van een enkele component (Forced-Rejection, Contrastive Reward of Advantage Scaling) resulteerde in suboptimale prestaties, wat de noodzaak van het volledige framework bevestigt.

Betekenis en Claims

Het artikel claimt dat RC-GRPO de inherente optimalisatie-imbalans oplost bij het trainen van MLLM's voor GREC. Door de causale weigeringslogica te internaliseren via gekalibreerde reinforcement learning, stelt de methode modellen in staat om betrouwbaar "nee" te zeggen zonder hun kerncompetentie in lokalisatie op te offeren. De auteurs stellen dat deze aanpak verder gaat dan eenvoudige drempelwaarden of architecturale wijzigingen, en een schaalbare post-training oplossing biedt die GREC aanzienlijk praktischer maakt voor real-world scenario's waar objecten afwezig of mismatch kunnen zijn. Het werk benadrukt dat het model leert wanneer en waarom het moet weigeren, in plaats van indiscriminat inputs af te wijzen.