💻 computer science

Does Enabling the Depth API Improve Anchor Stability? A Controlled Cross-Platform Evaluation of Mobile AR

Een gecontroleerde cross-platform evaluatie van 600 mobiele AR-runs onthult dat het inschakelen van depth API's (ARCore/ARKit) de stabiliteit van ankers niet verbetert en zelfs de fout kan vergroten, terwijl het contrast in de scène-textuur verschijnt als de dominante factor die ruimtelijke drift beïnvloedt.

Oorspronkelijke auteurs: Deokhwan Park, Woojae Kim, Hoyeon Ahn

Gepubliceerd 2026-09-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Deokhwan Park, Woojae Kim, Hoyeon Ahn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een virtueel object, zoals een zwevende digitale kubus, op een echte tafel probeert te plaatsen met behulp van een smartphone. De belofte van deze technologie is dat het object precies blijft staan waar je het hebt neergezet, zelfs als je weggaat en weer terugkomt. Dit is de kernuitdaging van markerloze mobiele augmented reality: het digitale wereldje vast te vergrendelen aan de fysieke wereld zonder fysieke stickers of markers te gebruiken om het op zijn plek te houden. Momenteel bereiken smartphones dit door de kamer te observeren met hun camera's en door interne sensoren te gebruiken om hun eigen beweging te raden. Deze methode heeft echter een gebrek. Als de kamer te sober is, zoals een witte muur, of als het licht gedimd is, kan de telefoon zijn grip op de werkelijkheid verliezen, waardoor het virtuele object gaat driften of wegglijdt. Om dit op te lossen, hebben de grote softwareplatforms die deze apps aandrijven een nieuw hulpmiddel geïntroduceerd: een dieptesensor. Deze technologie meet de afstand tot objecten in de kamer, ofwel door licht van hen af te kaatsen of door diepte te berekenen vanuit de beweging van de camera. De intuïtieve hoop was dat het toevoegen van deze extra laag diepte-informatie zou fungeren als een vangnet, waardoor het virtuele object stabiel bleef, zelfs wanneer de camera moeite had om details te zien.

Een team van onderzoekers zette zich af om te testen of deze hoop waar was. Ze keken niet alleen naar hoe nauwkeurig de dieptesensoren waren in een laboratorium; ze stelden een meer praktische vraag: zorgt het inschakelen van de dieptestelling er daadwerkelijk voor dat het virtuele object minder drift? Om dit te achterhalen, voerden ze zeshonderd gecontroleerde experimenten uit met drie verschillende smartphones: twee Android-toestellen en één iPhone. Deze telefoons vertegenwoordigden het volledige bereik van de dieptetechnologie die vandaag de dag bij consumenten beschikbaar is. Eén telefoon gebruikte een time-of-flight-sensor die licht weerkaatst om afstand te meten, een andere vertrouwde volledig op software om diepte te berekenen vanuit de beweging van de camera, en de derde gebruikte een laserscanner die bekend staat als LiDAR. De onderzoekers plaatsten elke telefoon op een gemotoriseerd statief in het midden van een kamer en programmeerden hem om rond te draaien in een brede cirkel, terwijl hij naar de muren keek. Cruciaal was dat ze het referentiepunt op de muur met een mat vel bedekten, zodat de telefoon het niet kon zien terwijl hij ronddraaide. Dit dwong de telefoon om uitsluitend te vertrouwen op zijn interne tracking om te onthouden waar hij was. Ze testten deze opstelling in twee verschillende kamercondities: één met muren bedekt met gedurfde, hoog-contrast patronen, en een andere met kale, effen machten. Ze testten ook in helder licht en in zeer gedimd licht, waarbij de dieptesensor in sommige runs aan stond en in andere uit stond.

De resultaten waren verrassend en duidelijk. In geen van de testscenario's zorgde het inschakelen van de dieptesensor ervoor dat het virtuele object stabieler werd. Sterker nog, in bijna alle gevallen drift het object iets meer wanneer de dieptesensor actief was. Dit gold zelfs voor de telefoon met de laserscanner, die bij elk enkel beeldframe een volledige en perfecte dieptekaart van de kamer leverde. De onderzoekers ontdekten dat de dieptestelling zelf de telefoon niet hielp om zijn plek te behouden. In plaats daarvan was de belangrijkste factor de textuur van de kamer. Wanneer de telefoon in de kamer met de kale, effen muren was, drift het virtuele object aanzienlijk, en eindigt het vaak meer dan een halve meter verwijderd van zijn startpunt. In de kamer met de gearceerdeerde muren was de drift veel kleiner. De textuur van de omgeving was veel belangrijker dan de dieptesensor.

De studie onthulde ook waarom de dieptesensor in sommige gevallen faalde. Op de Android-telefoons was de software die de dieptekaart levert erg kieskeurig. Het zou alleen dieptegegevens verzenden wanneer de kamer genoeg visuele textuur had om mee te werken. In de kale kamer stopte de telefoon in de meeste gevallen simpelweg met het verzenden van diepte-informatie, waardoor het systeem geen extra gegevens had om op te vertrouwen. Op de iPhone was de dieptegegevens altijd beschikbaar, maar het object drift nog steeds evenveel als wanneer de sensor uit stond. Dit suggereert dat het probleem niet alleen gaat over het hebben van de data, maar over hoe het interne trackingsysteem van de telefoon deze gebruikt. De onderzoekers concludeerden dat het focussen op de dieptestelling voor ontwikkelaars en gebruikers niet de oplossing is voor stabiliteit. In plaats daarvan is de fysieke omgeving de sleutel. Als een gebruiker wil dat zijn virtuele inhoud op zijn plek blijft, moet hij ervoor zorgen dat deze in een kamer met voldoende visuele details op de muren en oppervlakken wordt geplaatst, in plaats van te vertrouwen op de dieptesensor van de telefoon om het zware werk te doen. De technologie is klaar om diepte te meten, maar kan die meting nog niet gebruiken om een virtueel object te verankeren in een kale, donkere kamer.

Technische Samenvatting: Verbetert het inschakelen van de Depth API de stabiliteit van ankers?

Probleemstelling
Markerloze mobiele augmented reality (AR) lijdt aan persistente ankerdrift, waarbij virtuele content losraakt van zijn fysieke plaatsing door fouten in visuele-inertiële odometrie (VIO). Hoewel grote platforms (ARCore en ARKit) nu depth application programming interfaces (API's) aanbieden die informatie over de diepte van de scène verstrekken, blijft het onbewezen of het inschakelen van deze API's de ruimtelijke stabiliteit daadwerkelijk verbetert. De intuïtieve hypothese is dat dieptegegevens, met name van actieve sensoren zoals Time-of-Flight (ToF) of LiDAR, ankers zouden kunnen stabiliseren in omstandigheden waarin feature-gebaseerde tracking faalt (bijv. oppervlakken met weinig textuur, weinig licht of rotatie-dominante beweging). Echter, eerdere literatuur heeft zich gericht op de nauwkeurigheid van de geretourneerde dieptekaarten of hun gebruik voor occlusion rendering, in plaats van de diepte-instelling zelf te behandelen als een onafhankelijke variabele om het causale effect op ankerdrift te meten.

Methodologie
De auteurs voerden een gecontroleerde, cross-platform evaluatie uit met 600 meetruns over drie smartphones die het huidige spectrum van mobiele dieptehardware vertegenwoordigen:

Galaxy S10 5G: Uitgerust met een ToF-sensor (ARCore).
Galaxy S24+: Vertrouwt op bewegingsgebaseerde diepte (passief) via ARCore.
iPhone 14 Pro Max: Uitgerust met een LiDAR-scanner (ARKit).

Experimenteel Ontwerp:

Variabelen: De studie maakte gebruik van een $3 \times 2 \times 2 \times 2$ factorieel ontwerp waarbij variëren plaatsvond op basis van apparaat, scène-textuur (rijk vs. schaars), illuminantie (300 lux vs. 9 lux) en de depth API-instelling (AAN vs. UIT).
Protocol: Elke run omvatte het monteren van het apparaat op een gemotoriseerde gimbal om vier gecontroleerde $330^{\circ}$ draaiingen uit te voeren. Cruciaal was dat een fiduciaire marker gedurende 55 seconden fysiek werd afgeschermd tijdens de draaiingen om te voorkomen dat de tracker de marker vooraf als een feature zou gebruiken.
Endpoints: De primaire endpoint, $\delta_{term}$ , was de verplaatsing van het anker ten opzichte van de oorsprong, gemeten op het eerste frame waarop de marker opnieuw werd gedetecteerd, voordat het platform eventuele marker-gebaseerde correctie kon toepassen. Dit isoleerde de drift die tijdens de occlusie was opgelopen. Secundaire endpoints waren de leveringssnelheden van diepte, fill rates en fouten na correctie.
Analyse: Statistische vergelijkingen gebruikten non-parametrische testen (Mann-Whitney U, Cliff's $\delta$ ) met Holm-correctie voor meervoudige vergelijkingen, waarbij de focus lag op de richting en de grootte van de foutverschuivingen tussen de AAN- en UIT-condities.

Belangrijkste Resultaten

Geen verbetering in stabiliteit: Het inschakelen van de depth API produceerde geen detecteerbare vermindering van de ankerfout in de twaalf binnen-cel vergelijkingen. In elf van de twaalf gevallen wees de effectgrootte erop dat de fout juist groter was wanneer de diepte was ingeschakeld.
LiDAR-prestaties: Zelfs op de iPhone 14 Pro Max, waar de LiDAR-sensor bij 100% van de frames een geldige diepteafbeelding leverde met 100% pixelgeldigheid, resulteerde het inschakelen van de API in een statistisch significante toename van de fout (de mediane fout steeg van 5 mm naar 78 mm in de samengevoegde LiDAR-cellen).
Textuur-gating op ARCore: Op ARCore-apparaten werd de levering van diepte sterk bepaald door de scène-textuur. In de textuur-arme (kale) kamer werden dieptebeelden slechts op 0,4–11% van de frames geleverd, terwijl de getextureerde kamer 26–84% levering zag. In contrast hiermee leverde ARKit diepte op elk frame, ongeacht de textuur.
Ineffectiviteit van Smoothing: Het inschakelen van temporele smoothing op ARCore verhoogde de "fill rate" (volledigheid) van de geleverde beelden naar 100%, maar verhoogde niet de leveringssnelheid in omgevingen met weinig textuur, noch verminderde het de ankerfout.
Dominantie van Textuur: Scène-textuur was de sterkste voorspeller van ankerstabiliteit. In de conditie met weinig textuur en weinig licht eindigde 21% van de runs meer dan 0,5 m van de oorsprong, vergeleken met slechts 3% in de getextureerde kamer. De diepte-instelling vertoonde geen significante associatie met het risico op uitschieters (fout > 0,5 m).

Belangrijkste Bijdragen

Eerste Gecontroleerde Evaluatie: Dit is de eerste studie die de platform diepte-instelling behandelt als een onafhankelijke variabele en ankerstabiliteit als de uitkomst over zowel de twee belangrijkste mobiele AR-platforms als meerdere typen dieptehardware.
Meetprotocol: De auteurs introduceerden een protocol dat de pre-correctie ankerfout isoleert via gimbal-gecontroleerde rotatie en fysieke marker-occlusie, naast een tweestaps-decompositie van de beschikbaarheid van diepte (leveringssnelheid vs. fill rate).
Karakterisering van Depth Gating: De studie identificeerde dat de levering van diepte bij ARCore afhankelijk is van scène-textuur, een factor die het nut van de API beperkt in precies die omgevingen (weinig textuur) waar het theoretisch het meest nodig is.

Betekenis en Claims
Het artikel concludeert dat, onder de bestudeerde omstandigheden, het inschakelen van de depth API niet kan worden vertrouwd om ankerdrift te verminderen. De auteurs stellen dat de geobserveerde textuurcontrasten een aanzienlijk grotere associatie hebben met praktische fouten dan de diepte-instelling zelf.

De betekenis van het werk ligt in het uitdagen van de aanname dat "meer dieptegegevens gelijk staan aan betere tracking." De resultaten suggereren een ontkoppeling tussen de beschikbaarheid van dieptegegevens en de stabiliteit van het anker. De auteurs waarschuwen dat hoewel depth API's waardevol blijven voor occlusion en interactie, ontwikkelaars prioriteit moeten geven aan scène-textuur (bijv. het toevoegen van textuur aan omgevingen) boven het inschakelen van depth API's als strategie om de ankerstabiliteit te verbeteren. De studie stelt expliciet dat zij niet beweert dat dieptesensing geen rol speelt binnen de propriëtaire tracker-pipelines, maar dat de door de ontwikkelaar toegankelijke instelling om diepte op te vragen de uitkomst niet verbeterde.

Technische Samenvatting: Verbetert het inschakelen van de Depth API de stabiliteit van ankers?

Meer zoals dit