Technische Samenvatting: Perceive-then-Plan: Layout-as-Policy voor Monoculaire 3D Scène Layoutschatting

Probleemstelling

Het reconstrueren van gestructureerde 3D binnenruimtelayouts vanuit één monoculaire afbeelding is een fundamentele uitdaging in computer vision, met toepassingen in robotica, simulatie en contentcreatie. Bestaande benaderingen formuleren dit doorgaans als een direct voorspellingsprobleem, waarbij modellen objectlocaties, afmetingen en oriëntaties in één enkele forward pass regresseren. Deze methoden hebben echter vaak moeite om globale constraints en inter-object relaties af te dwingen. Omdat 3D binnenruimtes inherent gestructureerd en onderling afhankelijk zijn, kunnen kleine lokale fouten in één-slag voorspellingen zich voortplanten tot grote globale inconsistenties, wat leidt tot fysiek onwaarschijnlijke layouts (bijvoorbeeld zwevende objecten, botsingen of ongeldige steunrelaties). De kernmoeilijkheid ligt in het verzoenen van ambiguë visuele waarnemingen met fysieke en ruimtelijke constraints zonder expliciete beloningsengineering of handgemaakte objectief functies.

Methodologie

De auteurs stellen een Perceive-then-Plan raamwerk voor dat monoculaire 3D layoutschatting herformuleert als een sequentieel besluitvormingsprobleem met behulp van Vision-Language Models (VLMs). De pijplijn bestaat uit twee distincte fasen:

1. De Perceiver (Initialisatie)

De eerste fase richt zich op het verankeren van 3D objecten vanuit de invoerafbeelding en 2D detecties.

• Architectuur: Een geometrie-versterkt VLM (gebaseerd op Qwen3-VL) dient als Perceiver.
• Geometrie-bewuste Modulatie: Om de kloof tussen visuele kenmerken en 3D-geometrie te overbruggen, injecteert het model geometrische priors van een vooraf getrainde geometrie-encoder (VGGT) in de visuele kenmerken van het VLM via een lichtgewicht modulatiemodule. Dit stelt het model in staat visueel begrip te benutten terwijl het wordt geleid door geometrische aanwijzingen.
• Representatie: In plaats van ruwe 3D-vertices te regresseren, geeft de Perceiver een geparametriseerde representatie van 3D-boksen uit (centrum, schaal en lokale assen) in een camera-coördinatenstelsel.
• Canonisering: De verankerde 3D-boksen worden getransformeerd naar een zwaartekracht-uitgelijnde, rastergebaseerde canonieke representatie. Deze discretisatie (het afronden van posities en oriëntaties naar rasterindices) bereidt de toestandsinformatie van de scène voor op de daaropvolgende actie-gebaseerde verfijning.

2. De LaP Planner (Verfijning)

De tweede fase, genaamd Layout-as-Policy (LaP), behandelt de 3D-layout als een gestructureerde toestand en verfijning als een beleidsleerprobleem.

• Actieruimte: De planner opereert op een discrete set acties: SELECT (een object kiezen), MOVE (transleren), ROTATE_Y (gier), RESIZE (schaal) en STOP. Deze acties zijn ontworpen om specifieke faalmodi zoals misalignering, onjuiste steun en botsingen te corrigeren.
• Trainingsstrategie:
  • Geperturbeerde Data Synthese: Trainingsdata wordt geconstrueerd door ground-truth layouts te nemen, willekeurige perturbaties toe te passen (die initialisatiefouten simuleren), en de inverse actiesequenties te genereren die nodig zijn om de ground truth te herstellen.
  • Supervised Fine-Tuning (SFT): De planner wordt eerst warm-start met SFT op deze geperturbeerde dataparen om het instructie-volgende formaat en basis corrigerende gedragingen te leren.
  • Direct Preference Optimization (DPO): Om impliciete noties van geometrische validiteit te leren zonder expliciete beloningsmodellering, maken de auteurs gebruik van DPO. Het model wordt getraind om actiesequenties die leiden tot fysiek coherente layouts te prefereren boven "gedegradeerde" sequenties (bijvoorbeeld die met verkeerde actietypes, ontbrekende stappen of onjuiste magnitudes).
• Iteratief Proces: De verfijning wordt iteratief uitgevoerd. De planner neemt de huidige toestandsinformatie van de scène en de invoerafbeelding, voorspelt een reeks acties, past deze toe om de toestand bij te werken en herhaalt dit tot convergentie (gemarkeerd door een STOP-token of een limiet aan rondes).

3. Scène Samenstelling

Na de verfijning wordt een contact-scènegrafiek gegenereerd om objecten te groeperen in relationele bundels (bijvoorbeeld een lamp op een tafel op de vloer). Een single-pass zwaartekrachtsimulatie wordt toegepast op deze bundels om kleine zwevende of penetratie-artefacten op te lossen die worden veroorzaakt door het verschil tussen abstracte 3D-boksen en daadwerkelijke 3D-assets.

Belangrijkste Bijdragen

1. Perceive-then-Plan Pijplijn: De auteurs introduceren een nieuwe formulering voor monoculaire 3D layoutschatting die de taak decomposeert in een perceptiefase (verankering) en een planningsfase (iteratieve verfijning), weg van één-slag voorspelling.
2. Layout-as-Policy (LaP): Zij stellen voor om de fase van layoutverfijning te zien als een beleidsleerprobleem waarbij 3D-layouts gestructureerde toestanden zijn en verfijningsoperaties discrete acties. Dit maakt expliciet redeneren over constraint-fulfilling mogelijk.
3. Geometrie-Versterkte Perceiver: Een VLM-gebaseerde verankeringsmodule die visuele en geometrische kenmerken integreert om betrouwbare, waarnemings-uitgelijnde initiële layouts te produceren, wat een sterk startpunt biedt voor verfijning.
4. Op Preferentie Gebaseerde Optimalisatie: Het gebruik van DPO stelt de planner in staat corrigerend gedrag te leren en ruimtelijke coherentie te begrijpen via relatieve vergelijkingen van actiesequenties, waardoor de behoefte aan complexe beloningsengineering wordt vermeden.

Experimentele Resultaten

De methode werd geëvalueerd op de Hypersim- en SUN RGB-D-datasets.

• Perceiver Prestaties: De voorgestelde Perceiver presteert aanzienlijk beter dan state-of-the-art open-source en gesloten-source VLMs (inclusief GPT-4o en Gemini) op 3D-verankeringsmetrieken. Specifiek bereikt het een Reprojectie-IoU van 0,58 (tegenover 0,33 voor het op één na beste open-source model) en een Gemiddelde Diepte Fout van 0,08m.
• Verfijnings Prestaties: Iteratieve verfijning met de LaP Planner levert aanzienlijke verbeteringen op ten opzichte van de initiële Perceiver-uitvoer.
  • Fysieke Plausibiliteit: De methode verlaagt de Support Violation Rate (SVR) van 11,63% naar 4,85% en het aantal botsingen van 3,62 naar 1,46.
  • Visuele Uitlijning: De Reprojectie-IoU verbetert van 0,54 naar 0,65, wat aantoont dat verfijning de fysieke consistentie verbetert zonder af te wijken van visueel bewijs.
• Vergelijkingen: De benadering presteert beter dan één-slag VLM directe verfijning en op regels gebaseerde verfijningsbaselines. Op regels gebaseerde methoden falen in het handhaven van visuele uitlijning, terwijl één-slag VLMs moeite hebben om tussentijdse fouten effectief te corrigeren.

Betekenis en Claims

Het artikel stelt dat het transformeren van layoutschatting van een één-slag voorspellings taak naar een iteratief perceive-then-plan proces een betere hantering mogelijk maakt van globale constraints en complexe objectinteracties. Door layoutverfijning te behandelen als een beleidsleerprobleem, ondersteunt het raamwerk op natuurlijke wijze downstream taken zoals taalgeleid scène-editing en geëmbodieerde manipulatie, aangezien de actie-gebaseerde interface directe wijziging van de toestandsinformatie van de scène toelaat.

De auteurs benadrukken dat hun aanpak layouts produceert die fysiek coherenter zijn en beter uitgelijnd met visuele waarnemingen. Zij positioneren dit werk als een stap in de richting van het mogelijk maken van Vision-Language Models om robuuste 3D-redenering uit te voeren in real-world scenario's, met name in domeinen die fysiek geldige scènebegrip vereisen zoals robotica en simulatie. Het artikel erkent beperkingen, met name de afhankelijkheid van kant-en-klare 2D-detectoren en de huidige focus op gestructureerde binnenruimtes, en suggereert toekomstig werk in multi-view invoer en gezamenlijke optimalisatie van de perceptie- en planningsfasen.