Technische Samenvatting: FARM (Find Anything using Relational Spatial Memory)

Probleemstelling

Robots die opereren in grootschalige, objectrijke omgevingen (huizen, magazijnen, bouwplaatsen) hebben persistente geheugensystemen nodig die in staat zijn om specifieke objectinstanties op aanvraag op te halen. Bestaande benaderingen kampen met twee primaire beperkingen:

1. Onvoldoende de representatie van het geheugen: Closed-vocabulary semantische SLAM en 3D scene graphs falen in het generaliseren naar de open vocabulaire die gebruikers natuurlijk hanteren. Hoewel recente open-vocabulary methoden bestaan, vereisen deze vaak offline post-processing, hyperparameter-afstemming over verschillende schalen, of vertrouwen ze op broze end-to-end redenering over scene graphs.
2. Ineffectieve relationele retrieval: Gebruikers specificeren doelwitten doorgaans via compositionele relaties met landmerken (bijv. "de hoge lamp onder de dartbord en links van de poster"). Pure embedding-gebaseerde retrieval (bijv. CLIP) slaagt er niet in deze complexe relationele structuren te vangen. Omgekeerd is end-to-end Visual Language Model (VLM) redenering over ruwe frame-historieën of scene graphs vaak broos bij niet-triviale ruimtelijke relaties, vooral voor modellen die op robots ingezet kunnen worden, en lijdt het onder beperkte contextvensters in grootschalige omgevingen.

Het artikel stelt dat succesvolle retrieval een relationeel ruimtelijk geheugen vereist: een 3D-geheugen dat queries niet behandelt als eenvoudige label-lookups, maar als relationele specificaties die doelwitten identificeren via semantische, visuele en ruimtelijke relaties tussen meerdere objecten.

Methodologie

FARM pakt deze uitdagingen aan via een tweestaps-pipeline: online geheugenconstructie en robuuste relationele object-retrieval.

1. Online Geheugenconstructie

FARM bouwt in real-time (5–10 Hz) een compact, open-vocabulary, object-niveau geheugen zonder offline post-processing.

• Representatie: Elk object wordt gerepresenteerd als een enkele 3D Gaussian ($\mathcal{N}(\mu, \Sigma)$) die locatie en ruimtelijke omvang samenvat. Deze keuze vermijdt globale resolutie-hyperparameters die vereist zijn door voxels of puntenwolken, waardoor het systeem kan schalen van kleine binnenruimtes tot grote buitenlocaties (tot 15.000 m²) onder een vaste configuratie.
• Attributen: Elke entiteit bevat:
  • 3D Gaussian geometrie.
  • Appearance-features van het detectiemoment voor cross-view associatie.
  • Tot $k$ representatieve views (RGB-crops) geselecteerd voor viewpoint diversiteit.
  • Open-vocabulary captions gegenereerd door VLMs.
  • Drie retrieval embeddings: tekst-embedding van de caption, SigLIP2 image embedding, en Qwen3-VL image embedding.
• Relaties: Het systeem slaat low-order relaties op (covisibiliteit en nabijheid via Hellinger-afstand) in plaats van high-order predicaten (bijv. "links van") tijdens de mapping. Dit voorkomt exponentiële groei in de complexiteit van relaties; specifieke relaties worden hersteld op het moment van de query.
• Pipeline: Het systeem voert een synchrone detect–lift–associate–fuse loop uit op de GPU. Visuele-taal captioning en embedding vinden asynchroon plaats buiten het kritieke pad met behulp van VLM-workers, waardoor de mapping frame rate stabiel blijft ongeacht de VLM-latentie.

2. Robuuste Relationele Object-Retrieval

Retrieval wordt ontkoppeld in drie stadia om efficiëntie en nauwkeurigheid te balanceren:

1. Uitvoerbare Query Specificatie: Een parser (Qwen3.5-9B) compileert natuurlijke taal-queries naar een getypeerde query-graph $\Pi(q) = (x^\star, a_1, \dots, a_m, S_q, \Phi_q)$. Dit definieert een doelvariabele $x^\star$, anker-variabelen $a_i$, open-vocabulary beschrijvingen $S_q$, en ruimtelijke/semantische predicaten $\Phi_q$.
2. Soft Scoring en Binding:
   • Unary Scores: Kandidaten worden gescoord op basis van de fusie van tekst-, SigLIP2- en Qwen3-VL embeddings.
   • Relational Scores: Predicaten worden geëvalueerd als soft functies over de 3D Gaussians van het geheugen (bijv. Hellinger-afstand voor "Nabij", verticale offset sigmoid voor "Boven/Onder", virtual-viewer frames voor "LinksVan/RechtsVan").
   • Binding: Het systeem bindt ankers greedily aan de best-scorende entiteiten voor elke doel-kandidaat, waarbij gebruik wordt gemaakt van de star-vormige structuur van typische referentiële expressies om uitputtende enumeratie te voorkomen.
3. VLM Reranking: De top-5 kandidaten worden geheranalyseerd (reranked) door een VLM (Qwen3.5-9B) die de geprojecteerde views van de kandidaat en de bijbehorende ankers inspecteert. Deze fase lost resterende ambiguïteit op die geometrische predicaten alleen niet kunnen oplossen.

Belangrijkste Bijdragen

1. Real-Time Scene Graph Algoritme: Een schaalbaar algoritme dat online een open-vocabulary ruimtelijk geheugen construeert op robotschaal (5–10 Hz) met een vaste hyperparameter-set over diverse binnen- en buitenomgevingen, zonder offline post-processing.
2. Relationeel Retrieval Framework: Een retrieval systeem dat eerdere methoden verslaat in zowel top-1 nauwkeurigheid als top-K recall door gestructureerde symbolische parsing te combineren met soft predicate evaluatie en VLM reranking.
3. FARM-Scenes Benchmark: Een nieuwe benchmark bestaande uit zeven grootschalige binnen- en buitenlocaties (variërend van 1.800 tot 15.000 m²) die zijn samengesteld om de schaalbaarheid en relationele gronding in real-world, rommelige omgevingen te testen.

Experimentele Resultaten

De auteurs evalueerden FARM op 67 scènes (ScanNet, HM3D en FARM-Scenes) met 44.000 taal-queries.

• Prestatiewinst: Vergeleken met eerdere methoden (BBQ, RynnBrain, DAAAM), verbeterde FARM:
  • Recall@5 met 164% en Recall@10 met 224% ten opzichte van BBQ.
  • Accuracy@1 met 35% ten opzichte van de sterkere VLM-redeneer baseline (RynnBrain of DAAAM+R).
  • Op de HM3D-30 benchmark verbeterde FARM de Accuracy@1 met 30% ten opzichte van DAAAM (7.9% vs. 6.1%).
• Efficiëntie: FARM behoudt een mapping throughput van 8 Hz. De geheugengrootte is compact (23 MiB voor ScanNet, ~125 MiB voor HM3D), geschikt voor on-device deployment.
• Real-World Deployment: Het systeem werd succesvol ingezet op een Boston Dynamics Spot robot met onboard NVIDIA Jetson Thor compute, waarmee closed-loop geheugenconstructie en relationele retrieval in real-time werd gedemonstreerd zonder offline preprocessing.

Betekenis en Claims

Het artikel claimt dat FARM een nieuwe state-of-the-art vestigt voor relationele object-grounding in grootschalige omgevingen. De betekenis ligt in:

• Overbruggen van de Kloof: Het slaagt erin de kloof te overbruggen tussen de perceptuele kracht van moderne VLMs en de noodzaak voor gestructureerd, persistent ruimtelijk geheugen, waarbij de contextvenster-beperkingen van pure video-gebaseerde redenering worden vermeden.
• Schaalbaarheid: Door gebruik te maken van 3D Gaussians en het construeren van high-order relaties uit te stellen tot het moment van de query, bereikt FARM schaalbaarheid over zeer verschillende scène-groottes (van 15 m² tot 15.000 m²) zonder her-tuning.
• Robuustheid: Het gestructureerde gebruik van VLMs (parsing en reranking) in plaats van end-to-end redenering over grafen levert nauwkeurigere en robuustere retrieval op, met name voor fijnmazige ruimtelijke disambiguatie.
• Praktische Bruikbaarheid: Het systeem werkt in real-time op onboard hardware, wat robots in staat stelt om tijdens hun operatie hun eigen geheugen op te bouwen en te bevragen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat ruimtelijke predicaten handmatig gespecificeerd en niet gekalibreerd zijn, en dat huidige benchmarks primair de relaties tussen het doelwit en ankers evalueren in plaats van complexe redenering tussen meerdere ankers. Zij suggereren toekomstig werk gericht op het leren van gekalibreerde predicate-functies en het uitbreiden van benchmarks om compositionele anker-redenering te ondersteunen.