Technische Samenvatting: De Kunst van het Verhoor: Consistentie Versterkt Feitelijkheid in Ruimtelijk Redeneren

Probleemstelling

Large Reasoning Models (LRMs) en Vision-Language Models (VLMs) vertonen significante tekortkomingen in ruimtelijke redeneertaken, zoals het bepalen van relatieve positie, dieptevolgorde en groottevergelijking. Huidige benchmarks geven aan dat deze modellen mensen met 30–40% achterblijven en vaak falen op compositionele taken met een bijna willekeurige nauwkeurigheid. Bestaande benaderingen proberen dit gat te dichten door het te behandelen als een kennisgebrek, waarbij vertrouwd wordt op Supervised Fine-Tuning (SFT) met gelabelde data uit synthetische 3D-simulatoren of echte afbeeldingen die zijn geannoteerd door cascades van visiemodellen (bijv. diepte-inschatters, detectoren). Deze methoden vereisen echter dure grondwaarheid-supervisie (ground-truth supervision) en adresseren mogelijk niet de kernoorzaak: een gebrek aan interne logische coherentie in het redeneerproces van het model.

Methodologie

De auteurs stellen voor dat vooraf getrainde LRMs al over latente ruimtelijke redeneercapaciteiten beschikken, maar dat deze niet zijn afgestemd op fundamentele geometrische principes. In plaats van nieuwe feitelijke kennis te absorberen, introduceert het artikel een zelfgesuperviseerd reinforcement learning (RL) framework dat logische consistentie afdwingt onder geometrische en semantische transformaties.

1. Consistentie-verificatoren

De kerninnovatie is de consistentie-verificator, een beloningsfunctie die opereert zonder grondwaarheid-labels. Het evalueert of de antwoorden van een model op een prompt $x$ en een uitgebreide prompt $x' = T(x)$ voldoen aan een bekende relatie die wordt geïnduceerd door de transformatie $T$.

• Transformaties: Het framework past beeldtransformaties toe (bijv. horizontale spiegelingen, object-behoudende crops) en teksttransformaties (bijv. het wisselen van objectvolgorde, het negeren van relaties zoals "links" $\to$ "rechts").
• Invariantie vs. Equivariantie:
  • Invariant: Transformaties die het antwoord behouden (bijv. croppen, kleurjitter). De antwoorden van het model op $x$ en $x'$ moeten overeenkomen.
  • Equivariant: Transformaties die het antwoord voorspelbaar omkeren (bijv. horizontale spiegeling voor "links/rechts" vragen). De antwoorden van het model moeten verschillen.
• Beloningssignaal: De verificator geeft 1 terug als het paar antwoorden aan de verwachte relatie voldoet (match of mismatch) en 0 anders. Dit levert een zelfgesuperviseerd beloningssignaal op dat volledig is afgeleid van de transformatielogica, niet van externe labels.

2. OT-GRPO (Optimal Transport Group Relative Policy Optimization)

Standaard Group Relative Policy Optimization (GRPO) gaat uit van scalaire beloningen voor individuele voltooiingen. Omdat consistentie-verificatoren paren voltooiingen scoren, introduceren de auteurs OT-GRPO, een variant met minimale matching:

• Adversariële Koppeling: In plaats van willekeurige koppeling of middeling (één-op-alle), lost het algoritme een lineair toewijzingsprobleem op om de permutatie $\sigma^*$ te vinden die de totale consistentiescore tussen de set voltooiingen van de originele prompt en de uitgebreide prompt minimaliseert.
• Ratio: Deze strategie van "minimale consistentie" dwingt het model om de meest uitdagende inconsistenties onder ogen te zien. Als een model werkelijk consistent is, zal de minimale koppeling nog steeds een hoge beloning opleveren; als het inconsistent is, legt de adversariële koppeling deze fouten bloot, wat voorkomt dat het model het systeem manipuleert door middel van gelukkige uitlijningen.
• Optimalisatie: De gekoppelde paren ontvangen een gedeeld voordeel (shared advantage), en de GRPO-update wordt toegepast op zowel de originele als de uitgebreide voltooiing.

3. Trainingsopzet

• Modellen: Fine-tuning van Qwen2.5-VL (3B en 7B parameters) met behulp van LoRA.
• Datasets: SUN RGB-D (indoor) en KITTI (outdoor) met Omni3D-annotaties.
• Taken: Vier binaire ruimtelijke redeneertaken: Oriëntatie (links/rechts), Diepte (dichterbij/verder), Grootte (volumevergelijking) en Relatieve Afstand.
• Formaat: Het model wordt gepromptt om Chain-of-Thought (CoT) redeneringen te gebruiken binnen specifieke tags, met een extra formaat-beloning om structurele naleving te garanderen.

Belangrijkste Resultaten

Het artikel demonstreert dat consistentie-gebaseerde training de prestaties van grondwaarheid-gesuperviseerde training benadert zonder dat daarvoor gelabelde data nodig is.

1. Prestatie-pariteit: Op de SUN RGB-D dataset bereikten consistentie-getrainde modellen een nauwkeurigheid binnen 2,3–2,7 procentpunt van modellen die getraind zijn met grondwaarheid-labels over alle vier de taken. Voor het 7B-model bereikte consistentie-training een nauwkeurigheid van 76,8% vergeleken met 79,6% voor nauwkeurigheid-getrainde modellen.
2. Generalisatie:
   • Cross-taak: Training op één ruimtelijke taak (bijv. oriëntatie) verbeterde de prestaties op andere taken (bijv. diepte), waarbij consistentie-training bijna even effectief overdraagt als nauwkeurigheid-training.
   • Cross-domein: Modellen getraind op binnenruimtes (SUN RGB-D) generaliseerden goed naar buitenruimtes (KITTI), waarbij consistentie-training minimale degradatie vertoonde vergeleken met de gesuperviseerde baselines.
3. Superieur aan zelfgesuperviseerde baselines: De voorgestelde methode presteerde aanzienlijk beter dan zeven bestaande zelfgesuperviseerde baselines, inclus$\textit{ief}$ Visual Jigsaw en SSL4RL-varianten, met marges tot wel 24 procentpunt ten opzichte van sommige SSL4RL-varianten.
4. Robuustheid tegen labelcorruptie: In experimenten waarbij grondwaarheid-labels werden gecorrumpeerd (omgedraaid) met toenemende ruis, presteerde consistentie-training (die geen labels gebruikt) beter dan nauwkeurigheid-training zodra de labelruis boven de 10–20% uitkwam. Dit suggereert dat consistentie-training robuuster is tegen de foutaccumulatie die inherent is aan geautomatiseerde annotatiepipelines.
5. Extensie naar numerieke taken: Het framework werd succesvol uitgebreid naar numerieke outputs (tellen en absolute afstandschatting), waarbij consistentie-training opnieuw nauw aansloot bij de prestaties van nauwkeurigheid-getrainde modellen.

Betekenis en Claims

Het artikel claimt dat het afdwingen van logische coherentie via consistentie-verificatoren de latente ruimtelijke redeneercapaciteiten ontsluit die al aanwezig zijn in vooraf getrainde modellen. De belangrijkste conclusies zijn:

• Efficiëntie zonder labels: Hoogwaardige ruimtelijke redenering kan worden bereikt zonder de kosten en complexiteit van het genereren van grondwaarheid-ruimtelijke annotaties.
• Mechanisme van verbetering: De resultaten ondersteunen de visie dat RL met verifieerbare beloningen fungeert als een filter, dat bestaande redeneerpatronen die voldoen aan geometrische wetten selecteert en versterkt, in plaats van het creëren van geheel nieuwe capaciteiten.
• Schaalbaarheid: De aanpak is toepasbaar op diverse taken en domeinen, wat wijst op een algemeen pad voor het verbeteren van VLMs in gebieden waar grondwaarheid-data schaars of moeilijk te verkrijgen is.

De auteurs concluderen dat consistentie-training een levensvatbaar en robuust alternatief is voor supervised fine-tuning voor ruimtelijke redenering, wat een pad biedt naar meer betrouwbare en generaliseerbare embodied AI en robotica-toepassingen.