Language-Guided Generation for Personalized Inspection Planning

Robots die zich door de wereld bewegen, zijn lang afhankelijk geweest van menselijke operators om hun paden te tekenen, aan te geven waar ze naar moeten kijken en te beslissen in welke volgorde verschillende plekken moeten worden bezocht. Voor een drone die een brug inspecteert of een onderzeeër die een scheepswrak scant, betekent dit meestal dat een mens eerst het gebied in kaart moet brengen, vervolgens handmatig elk enkel punt moet definiëren dat de robot moet zien, en tot slot een route moet berekenen die deze punten verbindt zonder te crashen. Dit proces is traag, vereist gespecialiseerde kennis en maakt het voor niet-experts moeilijk om een machine simpelweg te vertellen wat ze willen zien. Hoewel robots recentelijk beter zijn geworden in het volgen van gesproken instructies om hun weg te vinden in onbekende omgevingen, hebben ze nog steeds moeite wanneer het doel bestaat uit het efficiënt inspecteren van een bekende omgeving op basis van een eenvoudige beschrijving. De uitdaging ligt in het vertalen van de hoogwaardige intentie van een mens — zoals "vlieg naar binnen in het stadion en kijk naar het veld" — naar een nauwkeurig, vloeiend vliegpad dat een machine daadwerkelijk kan uitvoeren.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld waarmee robots deze inspectieplannen direct kunnen genereren vanuit tekstbeschrijvingen, zonder dat daar speciale training of vooraf gegeven voorbeelden voor nodig zijn. Hun aanpak maakt gebruik van een type kunstmatige intelligentie dat bekend staat als een vision-language model, dat zowel afbeeldingen als woorden tegelijkertijd kan begrijpen. In plaats van een mens te dwingen om elk waypoint te programmeren, neemt het systeem een 3D-kaart van een omgeving en een zin die de taak beschrijft. Het bepaalt vervolgens precies waar de robot naartoe moet om de objecten die in de tekst worden genoemd te zien, in welke volgorde, en vanuit welke hoek. De onderzoekers testten dit systeem in zowel computersimulaties als in echte omgevingen, waaronder een drone die in een laboratorium vloog om specifieke objecten te controleren. De resultaten laten zien dat de robot consequent vliegpaden kan creëren die overeenkomen met de instructies van de gebruiker, waarbij de juiste locaties in de juiste volgorde worden bezocht terwijl een vloeiend en efficiënt traject wordt behouden.

De kern van dit nieuwe systeem is een driestappenproces dat de kloof overbrugt tussen een eenvoudige zin en een complex vliegplan. Eerst leest het systeem de tekst van de gebruiker en identificeert de specifieke punten van belang, zoals een voetbalveld of een rij tribunes, samen met eventuele instructies over waar de robot zich ten opzichte van die objecten moet bevinden. Vervolgens bouwt het een digitale kaart van mogelijke posities waar de robot zich binnen de omgeving kan bevinden. Voor elke potentiële positie vraagt het systeem de kunstmatige intelligentie om naar zes verschillende aanzichten van de scène vanaf die plek te kijken en te beslissen of het doelobject zichtbaar is en of de robot in de juiste positie staat om het te zien. Deze stap is cruciaal omdat het ervoor zorgt dat de robot niet alleen in de buurt van een object vliegt, maar zichzelf ook zo positioneert dat er een duidelijk zicht is, waarbij rekening wordt gehouden met beperkingen zoals "vlieg eroverheen" of "kijk vanaf de zijkant".

Zodra het systeem alle geldige plekken heeft geïdentificeerd waar de robot de vereiste objecten kan zien, moet het de meest efficiënte manier vinden om ze allemaal te bezoeken. Dit houdt het oplossen van een complex routeringsprobleem in om de beste volgorde te bepalen voor het bezoeken van de locaties, waarbij wordt gewaarborgd dat als de gebruiker zei "ga eerst naar het veld, dan naar de tribunes", de robot die volgorde respecteert. Het initiële pad dat door deze stap wordt gegenereerd, is vaak grillig en inefficiënt, zoals een reeks rechte lijnen die punten verbinden. Om dit te herstellen, gebruikt het systeem opnieuw de kunstmatige intelligentie om het pad te verzachten. Het test of de robot lichtjes tussen twee punten kan bewegen om een rechter, vloeiendere lijn te creëren zonder het zicht op het doel te verliezen of een obstakel te raken. Deze iteratieve verfijning gaat door totdat het pad zo vloeiend mogelijk is, wat ervoor zorgt dat de robot het veilig en snel kan vliegen.

Ten slotte zet het systeem deze verzachte reeks punten om in een continue, vloeiende traject die een echte robot kan volgen. Het berekent de exacte snelheid en richtingveranderingen die nodig zijn om tussen punten te bewegen zonder schokken of stops, waardoor een pad wordt gecreëerd dat wiskundig geoptimaliseerd is voor efficiëntie. In hun experimenten gebruikten de onderzoekers een kleine drone om deze methode in een echte kamer te testen. Ze vroegen de drone om naar een specifiek logo op de vloer te vliegen en vervolgens te controleren of een deur gesloten was. De drone reconstrueerde de kamer succesvol, plande het vliegpad op basis van de tekst en voerde de missie uit, waarbij hij pas landde nadat de inspectie was voltooid. Het systeem bleek in staat te zijn om complexe instructies aan te kunnen, zoals het bezoeken van meerdere locaties in een specifieke volgorde of het behouden van een bepaalde oriëntatie ten opzichte van een object, allemaal zonder menselijke tussenkomst tijdens de planningsfase.

De onderzoekers ontdekten dat hun methode goed werkt in een verscheidenheid aan omgevingen, van handgemaakte digitale modellen tot echte scans van gebouwen en monumenten. Ze testten het systeem met verschillende modellen van kunstmatige intelligentie en ontdekten dat de meest geavanceerde modellen ruimtelijke relaties, zoals of een punt "binnen" of "boven" een object is, met hoge nauwkeurigheid konden begrijpen. Het systeem demonstreerde ook dat het verschillende niveaus van beeldkwaliteit kon verwerken, waarbij de prestaties behouden bleven, zelfs wanneer de visuele gegevens minder duidelijk waren, wat gebruikelijk is voor camera's die op kleine drones zijn gemonteerd. Hoewel het proces aanzienlijke rekenkracht vereist om de beelden te analyseren en het pad te genereren, toonden het team en de onderzoekers aan dat dit relatief snel kan gebeuren, wat het een praktische oplossing maakt voor real-world toepassingen.

Dit werk vormt een belangrijke stap vooruit in het toegankelijker en aanpasbaarder maken van robots. Door de noodzaak van handmatige padplanning weg te nemen en gebruikers simpelweg te laten beschrijven wat ze willen zien, opent het systeem de deur voor niet-experts om inspectierobots in te zetten in velden variërend van civiele techniek tot maritieme surveywerkzaamheden. De onderzoekers erkennen dat het systeem nog steeds afhankelijk is van krachtige externe computers om de visuele gegevens te verwerken, wat privacyzorgen kan oproepen, en dat de kunstmatige intelligentie soms fouten kan maken in het begrijpen van complexe ruimtelijke relaties. Ze suggereren echter dat deze problemen kunnen worden aangepakt door het systeem op lokale apparaten uit te voeren of door de modellen op specifiekere data te trainen. Uiteindelijk toont de studie aan dat robots nu natuurlijke taalinstructies kunnen begrijpen en opvolgen om complexe inspectietaken uit te voeren, waardoor een eenvoudige zin wordt omgezet in een nauwkeurige, uitvoerbare missie.