MotionDLO: Hybrid Event- and Frame-Based Tracking of Deformable Linear Objects

In de wereld van de robotica bestaat er een hardnekkige kloof tussen wat een machine kan zien en wat hij moet doen. Robots blinken uit in het verplaatsen van zware, stijve objecten zoals metalen dozen of auto-onderdelen, maar ze hebben moeite met alles wat zacht, flexibel of onvoorspelbaar is. Denk aan een kabelboom in een autofabriek, een kabel in een serverruimte of een hechtdraad in een ziekenhuis. Deze objecten staan bekend als vervormbare lineaire objecten (deformable linear objects). Ze draaien, buigen en raken in de knoop op manieren die onmogelijk perfect van tevoren te voorspellen zijn. Om deze te manipuleren, moet een robot hun beweging in realtime observeren en hun begrip van de vorm honderden keren per seconde bijwerken. Traditionele camera's, die foto's maken zoals een standaard filmcamera, zijn vaak te traag voor deze taak. Tegen de tijd dat een standaardcamera een helder beeld heeft vastgelegd van een snel bewegende draad, is de draad al bewogen, waardoor de robot een wazig, verouderd beeld heeft. Deze vertraging zorgt ervoor dat de robot zijn doel mist of, erger nog, het spoor van het object volledig kwijtraakt.

Om dit op te lossen, zijn onderzoekers begonnen met het gebruik van een ander soort sensor, een zogenaamde event-camera. In tegen tegenstelling tot een standaardcamera die op vaste intervallen een volledige foto maakt, werkt een event-camera als een zenuwstelsel. Het rapporteert alleen veranderingen. Als een pixel op de sensor lichtverandering ziet, stuurt deze onmiddellijk een signaal. Als de scène stilstaat, blijft de sensor stil. Dit stelt de camera in staat om in microseconden te reageren op beweging, waardoor de snelheid van een bewegende draad wordt vastgelegd zonder enige onscherpte. Hoewel deze camera's ongelooflijk snel zijn, zijn ze echter vaak slecht in het precies aangeven waar een object zich bevindt of hoe het er in detail uitziet. Ze zien de beweging, maar ze hebben moeite met het definiëren van de vorm. De uitdaging voor ingenieurs is geweest om de razendsnelle reactie van de event-camera te combineren met het precieze, gedetailleerde zicht van een standaardcamera, om zo een systeem te creëren dat zowel snel als nauwkeurig genoeg is voor een robot om delicate taken uit te voeren.

Een team van onderzoekers heeft een nieuw systeem ontwikkeld genaamd MotionDLO om deze kloof te overbruggen. Hun werk richt zich op het volgen van deze flexibele draden en kabels terwijl ze bewegen, om ervoor te zorgen dat de robot op elk moment precies weet waar elk deel van het object zich bevindt. Het systeem werkt door gelijktijdig twee verschillende "ogen" te gebruiken. Eén oog is een standaard camera met een hoge resolutie die foto's maakt om een helder, gedetailleerd beeld van de vorm van de draad te krijgen. Het andere oog is de event-camera, die let op elke beweging. De onderzoekers hebben de software ontworpen om tussen deze twee weergaven te schakelen op basis van wat de draad doet. Wanneer de draad stilstaat, vertrouwt het systeem op de standaardcamera om een perfect, gedetailleerd kaart van de vorm te maken. Op het moment dat de draad begint te bewegen, schakelt het systeem onmiddellijk over naar de event-camera. Omdat de event-camera zo snel reageert, kan deze de beweging van de draad volgen terwijl deze plaatsvindt, waarbij het begrip van de robot over de positie van de draad elke 12 milliseconden wordt bijgewerkt.

De genialiteit van het systeem ligt in de manier waarop het deze twee verschillende informatiestromen samen laat werken zonder in de war te raken. De onderzoekers ontdekten dat als ze alleen zouden vertrouwen op de snelle event-camera, de robot het spoor van de draad zou kunnen verliezen, vooral als er meerdere draden in de scène zijn. Als ze alleen op de standaardcamera zouden vertrouwen, zou de robot te traag zijn om in te halen bij snelle bewegingen. MotionDLO lost dit op door de standaardcamera te gebruiken om een solide, nauwkeurig startpunt vast te stellen en de identiteit van het object te bevestigen. Vervolgens, wanneer het object beweegt, neemt de event-camera het over en zorgt voor een continue stroom van updates die de kennis van de robot vers houden. Het systeem is slim genoeg om te weten wanneer het object stopt met bewegen en schakelt terug naar de gedetailleerde camera om eventuele kleine fouten te corrigeren die tijdens de snelle beweging zijn binnengeslopen. Dit creëert een naadloze lus waarbij de robot het object nooit uit het oog verliest, ongeacht hoe snel het beweegt.

Het team heeft hun systeem getest in een realistische industriële omgeving, waarbij ze een robotarm gebruikten om verschillende soorten kabels en buizen te grijpen en te verplaatsen. Ze gebruikten drie specifieke soorten objecten: een plastic buis voor luchtdruk, een afgeschermde communicatiekabel en een dunne stroomdraad. De robot bewoog deze objecten met verschillende snelheden, inclusief zeer snelle bewegingen die bij een standaardcamera slechts een waas zouden veroorzaken. De resultaten lieten zien dat MotionDLO de objecten met opmerkelijke precisie kon volgen. Zelfs wanneer de robot de kabels bewoog met snelheden tot 2.255 millimeter per seconde, behield het systeem een gemiddelde fout van minder dan een halve millimeter. Dit niveau van nauwkeurigheid is cruciaal, omdat het betekent dat de robot de draad kan manipuleren zonder deze te beschadigen of te laten vallen. In contrast hiermee faalden andere bestaande methoden die vertrouwen op standaardcamera's of eenvoudigere event-gebaseerde tracking onder deze omstandigheden. Ze verloren ofwel het spoor van het object volledig, of maakten fouten die zo groot waren dat de robot de taak niet kon voltooien.

Een van de meest significante bevindingen was dat het systeem een enkele bewegende draad kon volgen, zelfs wanneer deze verstrengeld was met andere stationaire draden. In een drukke scène met meerdere kabels raakten andere trackingmethoden vaak in de war, waarbij ze de verkeerde draad verwisselden of de bewegende draad volledig kwijtraakten. MotionDLO gebruikte echter het unieke vermogen van de event-camera om alleen de bewegende delen te zien. Omdat de stationaire draden de event-camera niet activeerden, kon het systeem de bewegende draad isoleren van de achtergrondruis en deze gestaag volgen. Dit vermogen om een consistente identiteit voor het object over een langere periode te behouden, is een grote stap voorwaarts, omdat het robots in staat stelt complexe taken uit te voeren die langdurige aandacht vereisen zonder afgeleid te raken of de draad kwijt te raken.

De onderzoekers hebben ook aangetoond dat hun systeem werkt zonder dat er specifieke training nodig is voor bepaalde soorten draden. Veel moderne robotvisiesystemen vereisen duizenden uren aan trainingsdata om te leren hoe ze een specifiek object moeten herkennen. Als de robot een nieuw type kabel tegenkomt dat hij nog nooit heeft gezien, faalt hij vaak. MotionDLO vermijdt dit probleem door een "zero-shot" benadering te gebruiken. Het gebruikt een algemeen model dat kan begrijpen hoe een draad eruitziet op basis van eenvoudige beschrijvingen, in plaats van specifieke voorbeelden uit het hoofd te hebben geleerd. Dit betekent dat het systeem in een fabriek met een nieuw type kabel kan worden ingezet en direct aan het werk kan gaan, zonder dat er een langdurige trainingsperiode nodig is. Deze flexibiliteit maakt de technologie veel praktischer voor echt industrieel gebruik, waarbij de soorten materialen en gereedschappen frequent veranderen.

In hun experimenten mat het team de tijd die nodig was om elke update te verwerken. Ze ontdekten dat het hele proces, van het zien van de beweging tot het bijwerken van het plan van de robot, slechts 12 milliseconden duurde. Deze snelheid is snel genoeg om de robot in realtime te laten reageren, waarbij hij zijn grip of pad aanpast terwijl de draad beweegt. Het systeem was in staat om deze prestatie te handhaven bij alle drie de geteste kabeltypen, van de dikke plastic buis tot de zeer dunne stroomdraad. De nauwkeurigheid bleef hoog, zelfs wanneer de draden snel bewogen, wat bewijst dat de hybride aanpak de snelheid van event-gebaseerde sensing succesvol combineert met de precisie van standaard beeldvorming.

De implicaties van dit werk reiken verder dan alleen het verplaatsen van draden. Het vermogen om flexibele objecten in realtime te volgen, opent de deur voor robots om een veel breder scala aan taken aan te kunnen. In de toekomst zou deze technologie gebruikt kunnen worden om de assemblage van complexe kabelbomen in auto's te automatiseren, kabels te routeren in krappe serverracks, of zelfs te assisteren bij delicate medische procedures zoals hechten. De onderzoekers merkten op dat hoewel hun huidige systeem in twee dimensies werkt, de volgende stap het toevoegen van diepteperceptie zou zijn, zodat de robot de volledige driedimensionale vorm van het object kan begrijpen. Ze zijn ook van plan om het systeem te testen in omgevingen met veranderende lichtomstandigheden, zoals te vinden in las- of lasersnijwerkplaatsen, om te garanderen dat het robuust blijft in alle industriële omgevingen.

Het succes van MotionDLO toont aan dat de toekomst van robotische perceptie niet ligt in het kiezen tussen snelheid en nauwkeurigheid, maar in het combineren van de sterke punten van verschillende technologieën. Door te luisteren naar de razendsnelle signalen van een event-camera terwijl de stabiele blik van een standaardcamera behouden blijft, bereikt het systeem een niveau van prestatie dat geen van beide alleen had kunnen bereiken. Deze aanpak biedt een praktische oplossing voor een probleem dat automatisering van taken met flexibele materialen lang heeft gehinderd. Naarmate robots gebruikelijker worden in fabrieken en huizen, zal het vermogen om met het onvoorspelbare en het delicate om te gaan net zo belangrijk zijn als het vermogen om zware lasten te tillen. MotionDLO biedt een duidelijk pad naar die toekomst, en laat zien dat robots met de juiste combinatie van sensoren en software eindelijk kunnen leren omgaan met de wereld zoals die werkelijk is: rommelig, bewegend en vol flexibele zaken.