Differentiable Mesh State Estimation via Factor Graph Inference for Deformable Object Reconstruction
Dit artikel stelt een nieuw op factor-grafen gebaseerd raamwerk voor dat natuurkundige priors, ruisgevoelige sensordata en temporele beperkingen verenigt om een nauwkeurige, probabilistische toestandsschatting en reconstructie uit te voeren van vervormbare objecten die worden gerepresenteerd als tetraëdrale meshes.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots zijn al lang meesters van de rigide wereld, in staat om met precisie te bewegen door fabrieken vol stalen balken en onverzettelijke tandwielen. Maar de echte wereld is vaak zacht, verend en onvoorspelbaar. Wanneer een robot probeert te interageren met een levend lichaam, een stuk stof of een klomp klei, verandert het object van vorm op het moment dat het wordt aangeraakt. Om door deze fluïde omgeving te navigeren, kan een robot niet simpelweg vertrouwen op een statische kaart; het moet constant raden hoe het object vervormt, zelfs wanneer delen ervan verborgen zijn voor het zicht. Deze uitdaging bevindt zich op het snijvlak van geometrie, fysica en sensoren, waarbij het doel is om een digitale tweeling van een zacht object te bouwen die in realtime wordt bijgewerkt terwijl het object beweegt en buigt. Als een robot deze veranderingen niet nauwkeurig kan volgen, loopt het risico delicate weefsels te beschadigen of een taak niet te voltooien.
Een team onderzoekers heeft een nieuwe manier ontwikkeld om dit probleem op te lossen, door een systeem te creëren dat de vorm van een vervormend object kan schatten door te combineren wat het ziet met hoe het weet dat het object zich fysiek zou moeten gedragen. In plaats van het object te behandelen als een verzameling afzonderlijke punten of een eenvoudig oppervlak, vertegenwoordigen de onderzoekers het als een driedimensionaal mesh gemaakt van kleine tetraëders, wat piramideachtige vormen zijn die het volume van het object vullen. Dit mesh fungeert als een digitaal skelet dat kan rekken en draaien. Het systeem werkt door voortdurend de positie van elk punt in dit mesh aan te passen om tegelijkertijd aan drie verschillende eisen te voldoen: het moet overeenkomen met de ruisige, imperfecte data die van sensoren komt; het moet de natuurwetten volgen die bepalen hoe zachte materialen vervormen; en het moet soepel bewegen van het ene moment naar het andere zonder erratisch te springen.
De onderzoekers testten deze aanpak op twee manieren: eerst door computersimulaties uit te voeren van een vervormende kubus, en vervolgens door experimenten uit te voeren op een fysiek model van een luchtwegobstructie bij een mens. In het experiment met de luchtwegen gebruikten ze een schapentrapeche met een stuk kippenborst erin om een tumor na te bootsen, wat een scenario creëerde waarin een robotisch instrument het weefsel duwde en vervormde. Omdat het instrument en de omliggende anatomie het zicht vaak blokkeren, konden de sensoren alleen delen van het oppervlak zien. Het systeem moest de vorm van de verborgen delen afleiden op basis van de zichtbare delen en de fysieke eigenschappen van het weefsel. De resultaten toonden aan dat door de sensordata te mengen met een op fysica gebaseerd model, het systeem de volledige vorm van het object met hoge nauwkeurigheid kon reconstrueren, zelfs in gebieden waar geen sensoren konden kijken.
In de computersimulaties ontdekten de onderzoekers dat het vertrouwen op alleen sensordata leidde tot enorme fouten, waarbij de gereconstrueerde vorm honderden millimeters afweek van de werkelijke vorm. Het toevoegen van een regel dat het object zich over tijd soepel zou bewegen hielp, maar de grootste verbetering kwam door de fysica van het materiaal op te nemen. Wanneer het systeem een model gebruikte dat begreep hoe het materiaal weerstand bood tegen rekken en buigen, daalde de fout naar minder dan één millimeter. Dit bleef ook waar voor de delen van het object die volledig verborgen waren voor de sensoren. Het fysica-model fungeerde als een gids, waardoor het systeem kon "voelen" hoe de verborgen delen zich moesten hebben bewogen op basis van hoe de zichtbare delen vervormden.
De praktijktesten op het luchtwegmodel bevestigden deze bevindingen. Het systeem volgde succesvol de vervorming van het weefsel terwijl een robotisch instrument ertegen duwde. Hoewel de sensordata alleen nauwkeurig waren waar ze konden kijken, waren ze schaars en misten ze vaak het volledige plaatje. Het fysica-model bood een globaal begrip van het gedrag van het weefsel, waardoor de gaten werden opgevuld. Door de twee te combineren, bereikte het systeem een completer en nauwkeuriger beeld dan beide methoden afzonderlijk zouden kunnen bieden. De onderzoekers merkten op dat deze aanpak een robot in staat stelt om een betrouwbare schatting van de staat van het object te behouden, zelfs wanneer het zicht gedeeltelijk geblokkeerd is of de data ruisig zijn.
Dit werk suggereert een pad vooruit voor robots die moeten opereren in delicate, veranderende omgevingen. Door de schatting van de vorm van een zacht object te behandelen als een probleem van het vinden van de meest waarschijnlijke configuratie die zowel aan observatie als aan de natuurkundige wet voldoet, hebben de onderzoekers een methode gecreëerd die robuust en principieel is. Het systeem raadt niet alleen; het berekent de meest waarschijnlijke vorm door het bewijs van de sensoren af te wegen tegen de beperkingen van de fysica. Hoewel de huidige experimenten beperkt waren tot specifieke scenario's en nog geen rekening hielden met de extreme complexiteit van het snijden of scheuren van weefsel, laten de resultaten zien dat dit probabilistische kader effectief de vorm van vervormbare objecten kan volgen. Deze capaciteit is een cruciale stap naar het in staat stellen van robots om complexe medische procedures uit te voeren, zoals het verwijderen van blokkades in de luchtwegen, met de veiligheid en precisie die vereist is voor werken in het menselijk lichaam.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.