Technische Samenvatting: MARS – Mono-Anchored Advantage Normalization voor Multi-Source Visuele Redenering

Probleemstelling

Hoewel Reinforcement Learning met Verifieerbare Beloningen (RLVR) de visuele redenering heeft vooruitgebracht, kampen bestaande methoden met moeilijkheden bij het verwerken van multi-source invoer (bijv. RGB, infrarood, diepte, multi-view). Huidige benaderingen behandelen multi-source gegevens doorgaans als een simpele accumulatie van informatie, uitgaande van de veronderstelling dat "meer zien betekent meer weten". Deze paper identificeert echter een kritieke beperking: wanneer bronnen aanzienlijk verschillen in fysieke eigenschappen en semantiek, kan naïeve integratie interferentie of ruis introduceren in plaats van informatiewinst.

In scenario's waarin één bron een dominant, betrouwbaar signaal bevat (bijv. infrarood bij weinig licht) terwijl andere bronnen gereduceerd of irrelevant zijn, slagen standaard RLVR-kaders er vaak niet in om te onderscheiden tussen heilzame fusie en schadelijk conflict. Bijgevolg kan de prestatie van multi-source redenering achteruitgaan tot onder het niveau van sterke mono-source redenering. Bestaande kaders missen expliciete mechanismen om de dynamische interactie tussen bronnen te modelleren of om te kwantificeren of het integreren van een extra bron een positieve informatiewinst oplevert ten opzichte van een mono-source baseline.

Methodologie: MARS

Om deze uitdagingen aan te pakken, stellen de auteurs MARS (Mono-Anchored Advantage Normalization for Multi-Source Reasoning) voor. Dit kader behandelt elke visuele modaliteit als een onafhankelijke informatiebron en modelleert expliciet de informatiewinst die wordt geïntroduceerd door multi-source fusie.

Kernmechanisme

De centrale innovatie van MARS is het gebruik van mono-source beloningen als dynamische ankers om de voordelen van multi-source rollouts tijdens RLVR-training te normaliseren.

1. Generatie van Dubbele Rollouts: Voor een gegeven trainingsinstantie (vraag $q$ en meerdere afbeeldingen $i$) genereert het beleidsmodel $\pi_\theta$ twee soorten trajecten:

   • Multi-source rollouts ($G_{multi}$): Het model verwerkt alle beschikbare afbeeldingen gezamenlijk.
   • Mono-source rollouts ($G_{mono}$): Het model verwerkt elke afbeelding individueel gekoppeld aan de tekstinput.

2. Hybride Voordelen Normalisatie: In plaats van voordeelstatistieken uitsluitend te berekenen uit multi-source trajecten, berekent MARS een hybride gemiddelde en standaardafwijking met behulp van de vereniging van zowel mono-source als multi-source beloningen ($G_{multi} \cup G_{mono}$). Het voordeel $A_j$ voor een multi-source traject wordt als volgt berekend:
   $$A_j^{hy} = \frac{r(q, i, o_j^{multi}) - \text{mean}(G_{multi} \cup G_{mono})}{\text{std}(G_{multi} \cup G_{mono})}$$

3. Adaptieve Regulering:

   • Conflictonderdrukking: Als een specifieke bron dominant is en multi-source fusie ruis introduceert (wat resulteert in lagere beloningen dan het mono-source anker), verschuiven de normalisatiestatistieken om het conflicterende multi-source signaal te onderdrukken, waardoor het model wordt geleid naar het betrouwbare mono-source gedrag.
   • Promotieaccent: Als multi-source fusie een hogere beloning oplevert dan de mono-source baseline (wat wijst op echte informatiewinst), moedigt het algoritme exploratie aan die verder gaat dan de mono-source aanwijzingen, en kwantificeert het effectief de "multi-source informatiewinst".

Theoretische Grondslag

De auteurs bieden theoretische analyse ter ondersteuning van de methode:

• Ongeneigdheid: Het voorgestelde algoritme garandeert dat de verwachting van de gradiëntschatting gelijk blijft aan standaard on-policy optimalisatie, waardoor geen bias wordt geïntroduceerd.
• Gradiënt Decompositie: De gradiëntupdate blijkt equivalent te zijn aan het maximaliseren van de standaard multi-source beloning plus een regularisatieterm gebaseerd op de Multi-Source Informatiewinst ($\Delta IG$). Deze term vertegenwoordigt het verschil tussen de verwachte beloningen van multi-source en mono-source trajecten. Een negatieve $\Delta IG$ duidt op modaliteitsconflict, terwijl een positieve waarde wederzijdse promotie aangeeft.

Belangrijkste Bijdragen

1. Identificatie van een Kernbeperking: De paper onthult dat bestaande multi-source visuele redenering de prestaties systematisch kan verslechteren door niet-gemodelleerde modaliteitsinterferentie, wat de veronderstelling uitdaagt dat meer invoer altijd gelijkstaat aan betere kennis.
2. Nieuw Kader (MARS): De auteurs ontwerpen een methode die mono-source beloningen introduceert als ankers om informatiewinst tijdens voordeelnormalisatie kwantitatief te meten. Dit maakt adaptieve regulering van verschillende bronnen mogelijk zonder herontwerp van de architectuur of off-policy correctie.
3. Empirische Validatie: Uitgebreide experimenten over diverse datasets (diepte, infrarood, multi-view, tekstrijk) en RL-algoritmen (GRPO, DAPO) tonen consistente prestatieverbeteringen aan.

Experimentele Resultaten

De auteurs evalueerden MARS op vier multi-source taken met de Qwen2.5-VL-3B en 7B modellen. Belangrijke bevindingen zijn:

• Prestatiewinst: MARS behaalde aanzienlijke verbeteringen ten opzichte van baseline RLVR-methoden. Specifiek leverde het gemiddeld 3,2% en 4,9% prestatiewinst op over respectievelijk de GRPO- en DAPO-kaders op de multi-source redeneringsmetriek.
• Specifieke Taakverbeteringen: Opmerkelijke winsten werden waargenomen in infrarood (3,8%) en multi-view (7,0%) datasets.
• Robuustheid: De methode toonde superieure robuustheid tegen visuele degradaties (Gaussian noise, motion blur, occlusion), waarbij hoge nauwkeurigheid werd behouden terwijl baselines prestatieverliezen leden.
• Efficiëntie: De benadering vereist slechts één beleidsmodel en genereert mono-source samples door invoer te modificeren, waardoor de opslagoverhead van experience replay of off-policy correctie wordt vermeden. De rekenkundige overhead is gematigd, waarbij het belangrijkste voordeel voortkomt uit het ankermechanisme in plaats van een toename van het trajectvolume.
• Kwalitatieve Analyse: Casestudies toonden aan dat MARS succesvol informatieve bronnen prioriteert (bijv. infrarood bij weinig licht) en irrelevante of ruizige bronnen onderdrukt (bijv. witte dieptefoto's), wat leidt tot nauwkeurigere redenering en grounding in vergelijking met standaard GRPO.

Betekenis en Claims

De paper claimt dat MARS een algemene en effectieve oplossing biedt voor het verbeteren van de prestaties van visuele redenering in multi-source scenario's. Door de dynamische interactie tussen bronnen expliciet te modelleren en informatiewinst te kwantificeren, lost de methode het conflict op tussen "meer zien" en "meer weten".

De auteurs benadrukken dat hun aanpak:

• Niet afhankelijk is van specifieke trainingskaders (compatibel met GRPO en DAPO).
• Geen architecturale wijzigingen vereist voor het onderliggende model.
• Een principiële manier biedt om modaliteitsconflicten en promotie aan te pakken, wat leidt tot stabielere en interpreteerbaardere optimalisatetrajecten.
• Valideert dat het dynamisch benutten van mono-source beloningen als ankers modellen effectief leidt om zich te focussen op informatieve bronnen terwijl ruis wordt onderdrukt, wat bevestigt dat effectieve multi-source redenering vereist dat er onderscheid wordt gemaakt tussen informatiewinst en interferentie.