Technische Samenvatting: 360° Beelden voor Mensachtige Visuele Zoekopdrachten

Probleemdefinitie

Mensachtige Visuele Zoekopdrachten (Humanoid Visual Search, HVS) vereisen dat belichaamde agenten actief immersieve 360° panoramische omgevingen verkennen om specifieke objecten (Mensachtige Object Zoekopdracht, HOS) of bevaarbare paden (Mensachtige Pad Zoekopdracht, HPS) te lokaliseren. In tegenstelling tot passieve perceptie vereist HVS een gesloten-lus perceptie-actiecyclus waarbij agenten hun "hoofd" (camera) moeten heroriënteren om verduisterde informatie bloot te leggen.

Huidige state-of-the-art benaderingen, zoals Thinking in 360° (Yu et al., 2025), behandelen HVS als een monolithische taak die wordt aangedreven door Multimodale Grootte Taalmodellen (MLLM's) met gebruik van cumulatieve Chain-of-Thought (CoT) redenering. Deze methoden lijden onder drie primaire knelpunten:

1. Cognitieve Overbelasting: Het koppelen van complexe 3D ruimtelijk begrip aan actieplanning in één enkel model creëert aanzienlijke redeneerlasten voor huidige MLLM's.
2. Impliciet Gissen: Zonder expliciete modellering van ruimtelijke relaties worden agenten gedwongen om impliciet te gissen naar de indeling van onzichtbare gebieden, wat leidt tot inactieve of onnauwkeurige verkenningen.
3. Dataschaalbaarheid: Het trainen van deze monolithische agenten vereist dure, hoogwaardige, multi-turn CoT-trajectannotaties, die moeilijk in grote schaal te cureren zijn en generalisatie naar diverse, real-world scenario's belemmeren.

Methodologie: Een Ontkoppelde Architectuur

Het artikel stelt Imagining in 360° voor, een kader dat het verkenningsproces ontkoppelt in twee gespecialiseerde componenten: een probabilistische Imaginator en een uitvoerende Actor.

1. De Imaginator (Probabilistische Ruimtelijke Prior Generator)

De Imaginator is ontworpen om de 360°-omgeving expliciet te modelleren door de semantische indeling van zowel waargenomen als onwaargenomen gebieden in één stap te voorspellen, in plaats van een cumulatieve redeneerketen bij te houden.

• Taak: Gegeven een beperkte Narrow Field-of-View (NFoV) observatie en een instructie in natuurlijke taal, geeft de Imaginator een gestructureerd blok uit dat bevat:
  • [Waargenomen]: Landmarken die momenteel of eerder zichtbaar waren.
  • [Gebeeldd]: Probabilistische voorspellingen van objecten die waarschijnlijk in onzichtbare gebieden bestaan (bijv. "Trap: (-45, -10)").
• Probabilistische Sampling: In plaats van één deterministische gok, genereert de Imaginator meerdere ruimtelijke hypothesen via temperatuur-sampling. Dit vangt de inherente onzekerheid van verduisterde omgevingen op.
• Uitvoer: Een gerangschikte lijst met suggesties (bijv. "Suggest Check (φ, µ)") die een verdeling van ruimtelijke priors vertegenwoordigt.

2. De Actor (Uitvoerende Agent)

De Actor is verantwoordelijk voor het fysieke zoeken en kan elke kant-en-klare MLLM of een fijnafgestuurd zoekmodel zijn.

• Integratie: De Actor ontvangt de huidige NFoV-observatie, historische geheugen en de ruimtelijke suggesties gegenereerd door de Imaginator.
• Redenering: Gemachtigd door deze priors, evalueert de Actor de plausibiliteit van de voorgestelde indelingen tegenover zijn visuele geheugen om een redeneerketen te genereren.
• Actie: De Actor geeft een volgende actie uit, hetzij een rotatie (Rot) naar een nieuwe coördinaat of een indiening (Sub) van het definitieve doelbeeld.

3. Schaalbare Data Engine

Een belangrijke innovatie is het vermogen om trainingsdata te genereren zonder handmatige trajectannotaties.

• Pseudo-Labeling: De auteurs gebruiken een krachtig teacher-model (Qwen3-VL-235B) om volledige 360°-panorama's te labelen.
• Synthetische Trajecten: Vanuit deze volledig geannoteerde panorama's worden synthetisch trajecten gesampled, waarbij slechts 1–8 NFoV-observaties per instantie worden onthuld, terwijl 50% van de doelen buiten zicht blijft.
• Schaal: Deze geautomatiseerde pijplijn levert ongeveer 1,92 miljoen hoogwaardige, single-step ruimtelijke redeneringsstalen op over ~20.000 diverse scènes, waardoor de kosten van traject-niveau CoT-curatie worden omzeild.

4. Inference Pijplijn

Tijdens inferentie genereert de Imaginator $K$ kandidaat-coördinaten per stap:

• Eén greedy anker ($T=0$) voor de meest betrouwbare voorspelling.
• $K-1$ stochastische samples ($T>0$) om diverse hypothesen te vangen.
• Deze absolute coördinaten worden omgezet in relatieve rotatie-acties voor de Actor. Een temperatuur-vervalschema wordt toegepast over zoekstappen, waarbij wordt overgegaan van brede verkenning naar gefocuste voorspelling naarmate visueel bewijs zich ophoopt.

Belangrijkste Bijdragen

1. Ontkoppelde HVS-Paradigma: Het artikel herdefinieert visuele zoekopdrachten door intuïtieve ruimtelijke verbeelding te scheiden van actieplanning. Dit stelt agenten in staat om actiever en zelfverzekerder te verkennen, gebaseerd op solide ruimtelijke aannames in plaats van uitsluitend op exhaustieve logische ketens.
2. Probabilistische Imaginator: Introductie van een gespecialiseerd model dat intuïtieve ruimtelijke priors (bijv. architecturale indelingen) leert en de Actor begeleidt met probabilistische schattingen, wat effectief inspeelt op ruimtelijke onzekerheid.
3. Schaalbare Data Engine: Een volledig geautomatiseerde pijplijn die training schaalt tot ~1,92 miljoen stalen zonder handmatige trajectlabels, waardoor robuuste prestaties in de praktijk mogelijk worden zonder de verboden kosten van expertannotatie.

Experimentele Resultaten

Het kader werd geëvalueerd op H*Bench over verschillende Open-Source, Proprietary en Finetuned MLLM's.

• Prestatiewinst: De ontkoppelde pijplijn presteert aanzienlijk beter dan monolithische baselines.
  • Qwen3-VL (235B): Het HOS-succescijfer steeg van 23,62% naar 65,04%; HPS van 21,44% naar 38,25%.
  • HVS-3B (RL-finetuned baseline): Het succespercentage sprong van 48,04% naar 62,75% op HOS wanneer geïntegreerd met de Imaginator.
  • Proprietary Modellen: Gemini-2.5 Pro verbeterde van 55,00% naar 66,10% op HOS.
• Efficiëntie: De gezamenlijke pijplijn verschuift de zoekverdeling, waarbij de meeste zoekopdrachten convergeren binnen 1–3 stappen, in tegenstelling tot de baseline die vaak de 10-staps faalgrens bereikt. De inferentielatentie is gereduceerd tot ~2,5s per stap (vs. 20–30s voor pixel-level verbeeldingsbaselines zoals FLUX).
• Ablatiestudies:
  • Het verwijderen van de gestructureerde indelingscontext laat de prestaties onder de baseline dalen, wat de noodzaak bevestigt van expliciete globale ruimtelijke modellering.
  • Probabilistische sampling ($T>0$) presteert beter dan deterministische greedy decoding ($T=0$), wat het belang van het vangen van ruimtelijke onzekerheid valideert.
  • Schaalwetten tonen monotoon verbetering naarmate de pretrainingsdata van de Imaginator toeneemt van 0 naar 1,92 miljoen stalen.

Betekenis en Claims

Het artikel claimt dat Imagining in 360° fundamenteel verschuift hoe belichaamde agenten onwaargenomen ruimte benaderen. Door expliciet ruimtelijke priors in taalspace te modelleren in plaats van te vertrouwen op pixel-level reconstructie of monolithische CoT-redenering, doet het kader het volgende:

• Verlaagt Cognitieve Last: Scheidt de moeilijke taak van ruimtelijke indelingsvoorspelling van actieplanning.
• Maakt Schaalbaarheid Mogelijk: Lost het dataknelpunt op door miljoenen trainingsstalen automatisch te genereren, waardoor hoogpresterende HVS toegankelijk wordt zonder dure expertannotaties.
• Verbeterd Robuustheid: Toont superieure prestaties in complexe, real-world omgevingen waar agenten typisch falen door ruimtelijke onzekerheid of hallucinaties.

De auteurs concluderen dat, hoewel het huidige kader opereert in een open-lus uitvoeringsparadigma (waarbij de Actor geen feedback kan geven aan de Imaginator), het succesvol een complementaire architectuur vestigt die generatieve ruimtelijke priors grondt in logische actieplanning, en zo een schaalbare en efficiënte weg voorwaarts biedt voor Mensachtige Visuele Zoekopdrachten.