Technische Samenvatting: Semantisch Verrijkte Latente Visuele Redenering (SLVR)

1. Probleemstelling

Multimodale redenering in de latente ruimte streeft ernaar om rekenkundig duur "denken met afbeeldingen" (bijvoorbeeld iteratief bijsnijden, oproepen van hulpmiddelen) te vervangen door visuele redenering direct binnen een compacte latente ruimte. Echter, bestaande aanpakken ondervinden twee primaire beperkingen:

1. Gebrek aan Semantische Rijkdom: Huidige methoden vertrouwen doorgaans uitsluitend op visuele supervisie, waardoor latente representaties cues op het niveau van uiterlijk coderen, maar falen in het expliciet behouden van fijnmazige semantische inhoud (bijvoorbeeld objecteigenschappen, toestanden, interacties) die noodzakelijk is voor diverse redeneertaken.
2. Optimalisatie voor Eén Taak: Latente training wordt vaak aangestuurd door één enkele vraag of taakformulering. Er bestaat geen unificerend mechanisme om te aligneren hoe één enkele verrijkte latente representatie diverse vraagtypen en redeneergranulariteiten moet ondersteunen die gebaseerd zijn op hetzelfde visuele gebied.

Bijgevolg missen bestaande latente ruimten de structurele semantische informatie die vereist is om robuust om te gaan met redeneertaken op gebiedsniveau waarbij meerdere semantische perspectieven gelijktijdig moeten worden aangepakt.

2. Methodologie

De auteurs stellen Semantisch Verrijkte Latente Visuele Redenering (SLVR) voor, een leerframework in twee fasen dat is ontworpen om latente representaties te verrijken met attributeniveau visuele semantiek en deze af te stemmen op diverse redeneringsdoelstellingen.

2.1. Dataconstructie (SLV-Set)

Om het framework te ondersteunen, hebben de auteurs SLV-Set samengesteld, bestaande uit twee complementaire componenten gebaseerd op Visual-CoT:

• Attributeniveau Semantische Dataset: Ongeveer 400K annotaties van attributen op gebiedsniveau. Met behulp van Qwen3-VL-235B genereert het systeem gestructureerde semantische profielen voor sleutelgebieden, die uiterlijk (kleur, vorm, materiaal), acties, interacties, ruimtelijke attributen en tekst omvatten. Deze worden gecodeerd tot 4096-dimensionale semantische embeddings om te dienen als fijnmazige supervisiesignalen.
• Multi-Vraag Dataset: Ongeveer 800K vraag-antwoordparen waarbij twee semantisch verschillende vragen gebaseerd zijn op hetzelfde visuele gebied en verschillende semantische aspecten toetsen.

Daarnaast wordt SV-QA geïntroduceerd als een benchmark (591 gekoppelde samples) om de robuustheid van latente redenering onder semantische variatie te evalueren, door bestaande benchmarks (V*, HRBench-4K, HRBench-8K) uit te breiden door hetzelfde gebied vanuit meerdere perspectieven te bevragen.

2.2. Fase 1: Gestructureerde Latente Leer

In de eerste fase leert het model gebiedsgerichte latente representaties die visueel bewijs expliciet integreren met attributeniveau semantiek.

• Inputconstructie: Een afbeelding en een vraag worden verwerkt. Een gebied van belang (ROI) wordt gecodeerd tot een visueel latent segment ($H_{vis}$). Een speciaal token <sem> wordt ingevoegd om een enkele semantische latent ($z_{sem}$) te genereren.
• Visuele Alignering: De visuele latent tokens worden gealigneerd met de kenmerken van de visie-encoder met behulp van een gemiddelde kwadratische fout (MSE) verlies om fijnmazige visuele details te behouden.
• Semantische Alignering: De semantische latent ($z_{sem}$) wordt geprojecteerd en gealigneerd met de vooraf berekende attributeniveau semantische embedding ($e$) met behulp van MSE-verlies. Dit dwingt de latent om gestructureerde attributen te vangen (bijvoorbeeld "een camera vasthouden", "groen jasje").
• Doelstelling: $L_{stage1} = L_{vis} + L_{sem}$.

2.3. Fase 2: Multi-Vraag Groepsrelatieve Beleidsoptimalisatie (M-GRPO)

De tweede fase verfijnt de geleerde latenten om ervoor te zorgen dat ze consistent diverse redeneringsdoelstellingen ondersteunen.

• Mechanisme: Gegeven meerdere vragen ($q_1, q_2$) die gebaseerd zijn op hetzelfde gebied, genereert het model de corresponderende paren latenten. M-GRPO voert beleidswijzigingen uit om deze latenten gezamenlijk te optimaliseren.
• Beloningscomponenten:
  1. Antwoordcorrectheid: Beloont correcte antwoorden voor elke vraag (beoordeeld door een externe rechter).
  2. Latente Consistentie: Straft divergentie af tussen de latenten die worden gegenereerd voor verschillende vragen ($q_1$ versus $q_2$) die gebaseerd zijn op hetzelfde gebied, zodat de latente representatie stabiel blijft over semantische variaties heen.
  3. Stabiliteitsregularisatie: Verankert de geoptimaliseerde latenten aan de verdeling die in Fase 1 is geleerd, met behulp van een op marge gebaseerde formulering om overmatige drift te voorkomen.
• Optimalisatie: Het framework gebruikt een Groepsrelatieve Beleidsoptimalisatie (GRPO) doelstelling, waarbij het beleid wordt bijgewerkt over groepen van op gebieden gebaseerde vragen om representaties te stimuleren die gelijktijdig effectief zijn voor meerdere semantische vragen.

3. Belangrijkste Bijdragen

1. SLVR Framework: Een leerparadigma in twee fasen dat latente representaties verrijkt met fijnmazige attributeniveau visuele semantiek en deze afstemt op diverse redeneerbehoeften via M-GRPO.
2. SLV-Set Dataset: Een grootschalige bron met ongeveer 400K annotaties van attributen op gebiedsniveau en ongeveer 800K multi-vraag QA-samples, die de nodige supervisie biedt voor semantische verrijking en latente alignering.
3. SV-QA Benchmark: Een nieuwe evaluatiebenchmark ontworpen om de robuustheid van latente redenering onder semantische variatie te testen door hetzelfde visuele gebied vanuit meerdere semantische perspectieven te bevragen.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat SLVR de redeneerrobustheid en semantische consistentie verbetert in vergelijking met bestaande baselines voor latente redenering en benaderingen "denken met afbeeldingen".

4. Experimentele Resultaten

Experimenten werden uitgevoerd op standaard VQA-benchmarks (OKVQA, GQA, VizWiz, ChartQA, TextVQA, AI2D) en de voorgestelde SV-QA-benchmark.

• Standaard Benchmarks: SLVR-7B presteerde beter dan eerdere methoden voor latente redenering (bijvoorbeeld LVR) en bleef concurrerend met baselines voor "denken met afbeeldingen" (bijvoorbeeld GRIT, DeepEyes). Opmerkelijke winsten werden waargenomen op OKVQA (+11,2% ten opzichte van LVR) en VizWiz (+24,7%).
• SV-QA Benchmark: SLVR behaalde superieure prestaties op de "Both Correct"-metriek (gezamenlijke correctheid van twee verschillende vragen over hetzelfde gebied) over V*, HRBench-4K en HRBench-8K. Bijvoorbeeld, op HRBench-8K verbeterde SLVR de "Both Correct"-score met +4,0% ten opzichte van LVR.
• VisualPuzzles: SLVR behaalde de beste algehele nauwkeurigheid (34,2%) in vergelijking met LVR (29,4%), met aanzienlijke verbeteringen in de categorieën Deductief (+5,0) en Ruimtelijk (+7,4) redeneren.
• Ablatiestudies: Resultaten bevestigden dat semantische supervisie in Fase 1 en de M-GRPO-consistentiebeperkingen cruciaal zijn. Baselines alleen op tekst, zelfs met multi-vraag training, bleven achter bij varianten voor latente redenering in het behouden van consistente grounding over meerdere semantische perspectieven.

5. Betekenis en Claims

Het artikel stelt dat SLVR de kritieke kloof in huidige multimodale redenering aanpakt door verder te gaan dan puur visuele supervisie naar semantisch verrijkte latente representaties. De auteurs betogen dat:

• Expliciete visuele bewerkingen (bijsnijden) rekenkundig inefficiënt zijn, terwijl puur visuele latenten semantische diepgang missen.
• Door latenten expliciet te superviseren met attributeniveau semantiek en consistentie af te dwingen over meerdere vragen heen, modellen robustere en semantisch consistentere redenering kunnen bereiken zonder de overhead van expliciete visuele manipulatie.
• Het voorgestelde framework latente representaties in staat stelt om flexibel diverse taken en redeneergranulariteiten te ondersteunen die gebaseerd zijn op hetzelfde visuele bewijs, en zo een schaalbaar alternatief biedt voor expliciet "denken met afbeeldingen".

Het werk wordt gepositioneerd als een vooruitgang in het vakgebied van machine learning, specifiek in het verbeteren van de efficiëntie en semantische fideliteit van multimodale latente redenering.