💻 computer science

STORM: Segment, Track, and Object Re-Localization from a Single Image

STORM is een geïntegreerd raamwerk dat robuuste, referentie-geconditioneerde 6D-objecttracking vanuit één enkele afbeelding mogelijk maakt door Hiërarchische Ruimtelijke Fusie-attentie voor flexibele conditionering te combineren met een geleerde verificateur voor automatische driftdetectie en herlocalisatie, waardoor superieure nauwkeurigheid en herstel van occlusies worden bereikt zonder CAD-modellen of handmatige ingrepen te vereisen.

Oorspronkelijke auteurs: Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert aan te leren een specifieke koffiekop van een rommelig keukenblad te pakken. De robot heeft één perfecte foto van die kop (de "referentie"). Zijn taak is om die kop te vinden in een live videostream, zelfs als de camera trilt, de kop half bedekt is door een broodrooster, of het licht drastisch verandert.

De meeste huidige robots zijn als leerlingen die één antwoordblad uit hun hoofd hebben geleerd. Als de kop er iets anders uitziet dan op de foto, of als hij bedekt wordt door een servet, raakt de robot in de war, verliest hij het spoor en blijft hij blind doorgoed tot hij crasht of het verkeerde pakt. Hij weet niet wanneer hij een fout heeft gemaakt.

STORM (Segment, Track, and Object Re-Localization from a Single iMage) is een nieuw systeem ontworpen om dit op te lossen. Denk er als het ware aan als het geven van een "slimme assistent" aan de robot die niet alleen naar de kop kijkt, maar ook constant zijn eigen werk controleert.

Hier is hoe STORM werkt, opgesplitst in drie eenvoudige onderdelen:

1. De "Super-Spotter" (SOM)

Het probleem: De referentiefoto van de robot is schoon en helder, maar de live video is rommelig, donker of vol met andere objecten. Standaardmethoden proberen de twee beelden pixel voor pixel te vergelijken, wat faalt wanneer het gezichtspunt verandert.

De STORM-oplossing: STORM gebruikt een module genaamd SOM (Segmenting Object Module). Stel je een detective voor die niet alleen naar een foto kijkt, maar het verhaal van het object begrijpt.

Hiërarchische fusie: In plaats van de foto van de kop slechts één keer met het videoframe te vergelijken, bekijkt SOM de video door meerdere "lenzen" (schalen) en lagen heen. Het vraagt zich voortdurend af: "Lijkt dit deel van de video op de kop op mijn foto?"
De taal-assistent: Als de robot in de war is (bijvoorbeeld omdat er twee identieke koppen zijn), kun je hem een tekstuele aanwijzing geven, zoals "de rode kop". SOM gebruikt deze tekst om zijn aandacht te richten, als een detective die zegt: "Negeer de blauwe kop; ik zoek de rode."
Het resultaat: Het kan een perfecte omtrek om de kop tekenen, zelfs als de helft ervan verborgen zit achter een broodrooster.

2. De "Realiteitscheck" (TOM)

Het probleem: Zelfs de beste trackers raken uiteindelijk verdwaald. Als de camera snel draait of de kop volledig bedekt is, blijft de robot misschien een plek in de lucht "volgen" waar de kop vroeger was. Hij weet niet dat hij het fout heeft.

De STORM-oplossing: Dit is de grootste innovatie van het artikel. STORM bevat een module genaamd TOM (Tracking Object Module). Denk aan TOM als een veiligheidsinspecteur of een "leugendetector" voor de tracking van de robot.

De geheugenbank: TOM houdt een kleine "geheugenbank" bij van hoe de kop eruitzag toen de robot net een seconde geleden succesvol trackte.
De compatibiliteitstest: Voor elk nieuw videoframe vraagt TOM: "Komt wat ik nu zie overeen met de geheugenbank?"
De energiewaarde: Het geeft een score. Als de score laag is, betekent dit: "Alles ziet er goed uit." Als de score hoog wordt (als een stijgend alarm), betekent dit: "Dit lijkt niet meer op de kop; we zijn aan het afdrijven!"
De oplossing: In tegenstelling tot andere systemen die gewoon doorgaan met afdrijven, detecteert TOM deze "drift" en zegt direct: "Stop! We hebben het doelwit kwijt." Het activeert vervolgens de "Super-Spotter" (SOM) om de kop opnieuw vanaf nul te vinden.

3. De "3D-blauwdruk" (SAM3D)

Om ervoor te zorgen dat de robot precies weet waar de kop zich in de 3D-ruimte bevindt (niet alleen in een plat 2D-beeld), gebruikt STORM een hulpmiddel genaamd SAM3D.

Stel je voor dat je de enkele referentiefoto gebruikt om een ruw, 3D-kleimodel van de kop te bouwen.
Dit 3D-model fungeert als een stijf skelet. Zelfs als de robot de hele kop niet kan zien, kan hij dit skelet gebruiken om de juiste hoek en positie te raden, zodat de robot de handvat pakt en niet de bodem.

Waarom dit belangrijk is (volgens het artikel)

De auteurs hebben STORM getest op standaard benchmarks (zoals de LM-O en YCB-Video datasets), die lijken op "eindexamens" voor robotvisie.

Geen handmatige hulp: STORM werkt zonder dat mensen vakjes of maskers op de video tekenen. Het leert van slechts één referentieafbeelding.
Beter dan de rest: Het presteerde beter dan eerdere topmethodes, vooral in rommelige scènes waar objecten verborgen zijn of snel bewegen.
Zelfcorrectie: Het belangrijkste resultaat is dat STORM zich kan herstellen van fouten. Wanneer de robot het object kwijtraakt, merkt STORM de fout op en repareert deze automatisch, terwijl andere systemen gewoon doorgaan met stil falen.

Samenvattend: STORM is een systeem dat een slimme visuele zoekmachine, een 3D-bouwer en een zichzelf controlerende veiligheidsinspecteur combineert. Het stelt een robot in staat een object te volgen vanuit één foto, te beseffen wanneer het het spoor kwijt is, en het object direct weer te vinden, allemaal zonder dat een mens hoeft in te grijpen om te helpen.

Technische Samenvatting: STORM (Segmentatie, Tracking en Objectherlokalisatie vanuit één Afbeelding)

1. Probleemstelling

Nauwkeurige 6D-pose-schatting en tracking zijn fundamenteel voor fysieke AI-systemen, maar de implementatie in de echte wereld blijft kwetsbaar. Bestaande pipelines vertrouwen vaak op gecureerde CAD-modellen, handmatige maskering of aanpassing per object, en falen onder ernstige occlusie, bewegingsonscherpte en snelle perspectiefveranderingen. Een kritieke beperking van bestaande methoden is het ontbreken van een principieel mechanisme om trackingfalen te herkennen; trackers werken vaak "blind", ervan uitgaande dat het doel binnen een lokaal aantrekkingsbekken blijft. Wanneer drift optreedt door distributieverschuivingen tussen de canonieke referentie (bijv. één schone afbeelding) en de observationele query (bijv. een rommelig, verduisterd videoframe), is herstel moeilijk zonder expliciete faaldetectie.

2. Methodologie

STORM (Segmentatie, Tracking en Objectherlokalisatie vanuit één Afbeelding) is een unificerend raamwerk ontworpen voor annotatievrije, referentie-geconditioneerde 6D-posetracking. Het overbrugt semantisch begrip en geometrische consistentie via twee gekoppelde, leerbare modules: de Segmenting Object Module (SOM) en de Tracking Object Module (TOM). Het raamwerk maakt gebruik van bevroren foundation-modellen (DINOv3, CLIP, SAM3D, FoundationPose) voor representatie en geometrie, terwijl specifieke componenten worden getraind voor fusie en verificatie.

2.1. Segmenting Object Module (SOM)

De SOM voert een grof-naar-fijn feature-uitlijning uit om objectmaskers en 3D-geometrie te herstellen vanuit één of meer referentieafbeeldingen. De kerninnovatie is de Hierarchical Spatial Fusion Attention (HSFA)-architectuur:

Injectie van Semantische Priors: Om instantie-ambigiteiten op te lossen (bijv. het onderscheiden van een doelbeker van een afleider), injecteert STORM semantische beperkingen afgeleid van Vision-Language Models (VLMs). Een generieke prompt en de referentieafbeelding worden verwerkt door een VLM om een beknopte objectbeschrijving te genereren, die wordt gecodeerd door CLIP. Deze semantische embedding moduleert genormaliseerde visuele tokens via zero-geïnitialiseerde AdaLN/FiLM-achtige conditioneringslagen, waardoor het model residuele feature-statistiekcorrecties kan leren.
Hierarchical Spatial Fusion Attention (HSFA): In tegenstelling tot eenvoudige concatenatie of standaard cross-attention, aggregeert HSFA bewijs uit referentieviews en interacties tussen query en referentie over meerdere schalen. Het bouwt een coherente canonieke representatie op vanuit één of meerdere referentieviews en aligneert vervolgens query-features met deze representatie. Dit proces is iteratief en verfijnt de query-representatie progressief met referentie-geconditioneerd bewijs.
Impliciete Uitlijning: HSFA induceert dichte token-tot-token-correspondentie via attention-mechanismen. De alignatiematrix wordt geïnterpreteerd als een alignatiewaarde, waardoor een referentie-objectheidsprior wordt gepropageerd om het query-masker te genereren.
Geometrische Verankering: De uitgelijnde 2D-features worden naar SE(3) gelift met behulp van SAM3D, dat een canoniek 3D-mesh genereert vanuit de referentieafbeelding(en). Dit mesh dient als een stijf geometrisch anker, waardoor de downstream pose-schatter (FoundationPose) voorspelde maskers kan afbeelden op metrische 3D-coördinaten.

2.2. Tracking Object Module (TOM)

De TOM fungeert als een geleerde compatibiliteitsverificator om trackingfideliteit te bewaken en herinitialisatie te triggeren wanneer drift aanhoudt.

Compatibiliteitsverificatie: TOM is getraind als een binaire classifier om te onderscheiden tussen compatibele observatie-geheugenparen (succesvolle tracks) en incompatibele paren (identiteitsverwarring of drift). Het neemt een huidige observatie-crop en een geheugenpool van succesvolle vorige crops als input.
Energie-achtige Beslissingsregel: In plaats van een harde binaire beslissing, geeft TOM een continue compatibiliteitslogit uit. Dit wordt omgezet in een energie-achtige score ( $E = -g_\theta$ ), waarbij hoge energie lage compatibiliteit (drift) aangeeft.
Temporele Glättiging en Drempelwaarde: Om false positives door transiënte occlusies of bewegingsonscherpte te vermijden, wordt de energiescore geglad met een Exponentiële Moving Average (EMA). Trackingverlies wordt pas gedeclareerd als de gegladde energie gedurende $L$ opeenvolgende frames een gekalibreerde drempelwaarde overschrijdt (bijv. $L=3$ ).
Automatische Herlokalisatie: Bij detectie van aanhoudende drift triggert het systeem de SOM om het object opnieuw te segmenteren en de pose te herinitialiseren, waardoor de lus effectief wordt gesloten.

3. Belangrijkste Bijdragen

Unificerend Raamwerk: STORM stelt een enkel raamwerk voor voor annotatievrije, referentie-geconditioneerde 6D-posetracking dat de distributieverschuiving tussen referentie- en query-data aanpakt zonder CAD-modellen of instantie-specifieke fine-tuning tijdens inferentie te vereisen.
Hierarchical Spatial Fusion Attention (HSFA): Een taakgedreven architectuur voor variabele-view referentie-geconditioneerde segmentatie. HSFA combineert aggregatie van referentieviews, query-referentie cross-attention en optionele semantische conditionering afgeleid van VLMs om robuustheid onder rommel en occlusie te verbeteren.
Trackingverliesverificatie: De formulering van trackingverificatie als een BCE-getraind compatibiliteitsprobleem. Geïmplementeerd via TOM, gebruikt dit mechanisme een energie-achtige score afgeleid van de compatibiliteitslogit om aanhoudende drift te detecteren en automatische herinitialisatie te triggeren.
Benchmark voor Trackingfalen: De totstandkoming van een benchmark die trackers niet alleen evalueert op pose-nauwkeurigheid, maar ook op hun vermogen om geldige tracks te onderscheiden van faalmodi, waarbij wordt aangetoond dat TOM betrouwbaardere trackingverliesdetectie biedt dan vaste metric-learning baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de LM-O en YCB-Video datasets onder een annotatievrije inferentie-instelling (geen maskers, boxes of object-specifieke updates tijdens testtijd).

Nauwkeurigheid van Pose-schatting: Op LM-O behaalde STORM een ADD-AUC van 74,0% en een ADD-S-AUC van 89,0%, wat beter is dan de sterke baseline (FoundationPose + CNOS) en dicht in de buurt komt van de prestaties van FoundationPose met ground-truth maskers (respectievelijk 78,0% en 93,0%). Op YCB-Video kwam STORM overeen met de ground-truth setup en overtrof de CNOS-baseline met 5%.
Kwaliteit van Segmentatie: De SOM-module behaalde een mean Average Precision (mAP) van 67,7% over vijf BOP-datasets, waarmee een nieuwe state-of-the-art werd gevestigd op vier daarvan (LM-O, TUD-L, HB, YCB-Video) en supervised baselines op T-LESS werd overtroffen zonder fine-tuning.
Robuustheid van Tracking: In stress-tests met snelle beweging en occlusie overtrof STORM significant een baseline zonder faaldetectie (ADD-AUC 74,64% versus 52,76%). De TOM-module detecteerde succesvol drift en triggerde her-tracking, terwijl de baseline niet kon herstellen.
Efficiëntie: Het systeem werkt in real-time. De TOM-verificator voegt ongeveer 9,1 ms per frame toe, waardoor de steady-state trackinglus binnen het regime van 25–33 FPS blijft. SOM wordt alleen aangeroepen voor initialisatie of herlokalisatie en draait op ~22 FPS voor instellingen met één referentie.

5. Betekenis en Claims

Het artikel beweert dat STORM aantoont dat referentie-geconditioneerde representatielering, gecombineerd met expliciete trackingverliesverificatie, traditionele template-matching in annotatievrije settings overtreft. Door semantisch begrip te integreren met geometrische consistentie, vermindert het raamwerk de arbeidsintensieve vereisten voor het implementeren van fysieke AI-systemen.

De auteurs benadrukken dat het vermogen om expliciet de betrouwbaarheid van de trackingstaat te modelleren een belangrijke bijdrage is. In tegenstelling tot eerdere methoden die stilzwijgend drift vertonen, biedt STORM een continu zelfcontrolerend signaal dat transiënte onzekerheid onderscheidt van aanhoudende drift, waardoor autonome herstel mogelijk wordt. Het werk suggereert dat gereconstrueerde geometrie (via SAM3D) voldoende kan zijn voor praktische pose-registratie als coördinaatconsistentie zorgvuldig wordt behandeld, waardoor de afhankelijkheid van gecureerde CAD-assets wordt verminderd.

Het artikel houdt een bescheiden standpunt aan, waarbij beperkingen worden erkend zoals ambigiteit bij symmetrische of textuurloze objecten (bijv. T-LESS) en de afhankelijkheid van de fideliteit van SAM3D-reconstructies en de bevroren FoundationPose-backend. Er wordt opgemerkt dat hoewel de huidige zero-shot-instelling aanpassingsvrij is, toekomstig werk nodig is voor online drempeladaptatie en het hanteren van categorie-disjuncte nieuwe objecten.