💻 computer science

AI-Enabled Image-Based Hybrid Vision/Force Control of Tendon-Driven Aerial Continuum Manipulators

Dit artikel presenteert een AI-gestuurde hybride visie-kracht regeling voor door pezen aangedreven luchtmanipulators die, via een cascade van vast-tijd schuifmodusregeling en een radiaal basisfunctie-neuraal netwerk, autonome fysieke interactie met een statische omgeving mogelijk maakt door onzekerheden in beeld- en krachtsensoren online te compenseren en beeldfeatures via een graph-neuraal netwerk te extraheren.

Oorspronkelijke auteurs: Shayan Sepahvand, Farrokh Janabi-Sharifi, Farhad Aghili

Gepubliceerd 2026-04-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shayan Sepahvand, Farrokh Janabi-Sharifi, Farhad Aghili

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vliegende robot hebt die niet alleen door de lucht kan zweven, maar ook een zachte, flexibele arm heeft die lijkt op een slurf of een tentakel. Deze robot moet in staat zijn om voorzichtig aan een muur te werken, bijvoorbeeld om een raam te poetsen of een knop in te drukken, terwijl hij in de lucht hangt.

Dit is precies wat de onderzoekers in dit artikel hebben ontwikkeld: een slimme "hersenen" voor zo'n vliegende robot met een zachte arm. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Robot: Een Vliegende Slurf

Normaal gesproken hebben vliegende robots (drones) stijve armen, net als een mens met een stalen hand. Maar deze robot heeft een zachte, buigzame arm die wordt bewogen door touwtjes (zoals een marionet).

Het probleem: Als zo'n zachte arm iets aanraakt, buigt hij mee. Het is moeilijk om te weten waar de punt precies zit, omdat hij niet stijf is. Bovendien is de drone zelf ook nog aan het wiebelen door de wind en de luchtstroom van de propellers.
De oplossing: De robot moet niet alleen kijken, maar ook voelen. Hij moet precies weten hoeveel druk hij uitoefent, zonder de muur te beschadigen of zelf te vallen.

2. De "Oog-Op-Hand" Strategie

De robot heeft een camera aan het uiteinde van zijn arm (zoals een oog dat aan je vinger zit).

Hoe het werkt: In plaats van te proberen de exacte positie van de drone in de wereld te berekenen (wat lastig is als je wiebelt), kijkt de robot gewoon naar de lijnen op de muur.
De analogie: Stel je voor dat je met je vinger een lijntje tekent op een raam. Je kijkt niet naar je hand, maar naar het lijntje op het glas. Als het lijntje scheef staat, beweeg je je hand totdat het recht staat. De robot doet hetzelfde, maar dan met lijnen in de kamer.

3. De Slimme "Hersenen" (AI en Wiskunde)

Dit is het meest ingenieuze deel. De robot moet twee dingen tegelijk doen:

Kijken: Zorg dat de lijnen op het scherm perfect zijn.
Voelen: Zorg dat de druk tegen de muur precies goed is (niet te hard, niet te zacht).

Om dit te doen, gebruiken ze een combinatie van drie slimme trucjes:

De "Snel-Reagerende" Controleur: Stel je voor dat je een bal op je hand probeert te houden terwijl je op een trampoline staat. Je moet heel snel reageren. De robot gebruikt een speciale wiskundige methode (Sliding Mode Control) die garandeert dat hij binnen een vaste, korte tijd de fouten corrigeert, ongeacht hoe erg de drone wiebelt.
De "Lerende" AI (Neuraal Netwerk): De robot weet niet van tevoren hoe zacht de muur is of hoe de camera precies kijkt. Daarom heeft hij een AI-assistent (een Radial Basis Function Neural Network). Deze AI leert terwijl de robot werkt. Het is alsof de robot elke seconde een beetje slimmer wordt over hoe de wereld eromheen voelt, zonder dat iemand hem van tevoren heeft ingeladen met een handleiding.
De "Lijn-Scanner" (GNN): In plaats van te zoeken naar losse punten (zoals stipjes), zoekt de robot naar lijnen (zoals de randen van een raam of een deur).
- Waarom lijnen? Stipjes kunnen makkelijk verdwijnen als er schaduw valt of als je de hoek verandert. Lijnen zijn overal en blijven zichtbaar. De robot gebruikt een diep-neuraal netwerk (een soort super-slimme scanner) om deze lijnen direct uit de beelden te halen, net zoals een mens automatisch de randen van een kast ziet zonder na te denken.

4. Waarom is dit zo belangrijk?

Vroeger waren vliegende robots ofwel te stijf (ze konden geen zachte dingen aanraken) ofwel te onzeker (ze wisten niet waar ze waren).

De vergelijking: Een stijve robot is als een hamer die je probeert te gebruiken om een ei te pellen. Deze nieuwe robot is als een vinger die voorzichtig het ei vastpakt.
De test: De onderzoekers hebben dit getest in simulations en in het echt. Ze lieten de robot tegen een muur duwen en de lijnen volgen. Zelfs als de drone begon te wiebelen of de camera een beetje verstoorde, bleef de robot stabiel. Hij kon precies de juiste druk houden (zoals een zachte handdruk) en bleef de lijnen volgen.

Samenvatting

Kortom, deze paper beschrijft een vliegende robot met een zachte arm die is uitgerust met slimme ogen en een lerende hersenen. Hij kan onafhankelijk werken in een onbekende omgeving, voorzichtig aanraken zonder schade aan te richten, en zichzelf corrigeren als hij uit balans raakt. Het is een grote stap naar robots die echt veilig en nuttig kunnen werken in onze huizen of op plekken waar mensen niet kunnen komen, zoals bij het repareren van hoge gebouwen of het inspecteren van bruggen.

Titel

AI-gestuurde beeldgebaseerde hybride visie/krachtregeling van aangedreven door trekdraden (tendon-driven) luchtvaart-continuümmanipulatoren.

1. Probleemstelling

Luchtvaartmanipulatie (aerial manipulation) is cruciaal voor robots die in afgelegen of gevaarlijke omgevingen opereren. Waar eerdere werken zich richtten op stijve armen (RA-AMs), bieden continuümmanipulatoren (CRs), zoals die aangedreven worden door trekdraden (TD-ACMs), superieure aanpassingsvermogen in rommelige omgevingen en veiligere interacties door hun intrinsieke compliantie.

Echter, de regeling van TD-ACMs voor fysieke interactie met een statische omgeving brengt aanzienlijke uitdagingen met zich mee:

Complexe Modellering: De continue vervorming van de arm leidt tot complexe kinematische en dynamische koppelingen die moeilijk te modelleren zijn (vaak vereist dit Cosserat-staaf PDE's).
Onzekerheid in Toestandsbepaling: De vorm en beweging van de arm zijn sterk afhankelijk van contactkrachten en aerodynamische verstoringen (zoals vortex shedding). Directe sensatie (bijv. via encoder) is niet mogelijk, wat leidt tot onzekere en indirecte schattingen.
Regeltechnische Uitdagingen: In tegenstelling tot stijve systemen waar de UAV-houding en arm-beweging hiërarchisch geregeld kunnen worden, gebeuren vervormingen bij zachte armen op dezelfde tijdschaal als de UAV-dynamiek. Dit maakt traditionele hiërarchische regelschema's ongeschikt.
Locatieproblemen: Bestaande methoden vertrouwen vaak op GPS of SLAM, wat onbetrouwbaar is bij infrastructuur. Visuele servoing (VS) is een alternatief, maar bestaande VS-methoden voor luchtvaartmanipulatie gaan vaak uit van puntkenmerken en verwaarlozen aerodynamische effecten en vervorming, wat leidt tot onnauwkeurigheid en trillingen.

Het doel is een robuuste hybride visie/krachtregeling te ontwikkelen die autonome fysieke interactie mogelijk maakt terwijl het beeldkarakteristieke fouten stabiliseert, zonder afhankelijk te zijn van offline training of perfecte modellen.

2. Methodologie

De auteurs presenteren een AI-gestuurde, cascade-gebaseerde hybride regeling die werkt op basis van een constant-rek model (constant-strain modeling) in de speciale Euclidische groep SE(3).

Kerncomponenten van de regeling:

Hybride Regelschema: Een cascade-structuur die visuele servoing (IBVS) en krachtrregeling combineert. Het doel is om zowel de beeldfout ( $e_s$ ) als de normale interactiekrachtfout ( $e_f$ ) in vaste tijd te laten convergeren naar nul.
Regelalgoritme: Gebruik wordt gemaakt van een Cascaded Fast Fixed-Time Sliding Mode Controller (CFTSMC). Dit garandeert dat het systeem binnen een vooraf bepaalde, begrende tijd stabiel is, ongeacht de beginvoorwaarden.
AI-ondersteuning (RBFNN): Om onzekerheden in beeldverwerking (ruis, extractiefouten) en krachtsensoren te compenseren, worden Radial Basis Function Neural Networks (RBFNN) gebruikt. Deze netwerken leren online de onzekerheden ( $\Delta_s, \Delta_f$ ) schatten zonder offline training.
Beeldverwerking (Line Features & GNN):
- In plaats van puntkenmerken worden lijnelementen gebruikt, omdat deze robuuster zijn tegen perspectiefveranderingen, gedeeltelijke obstructies en verlichtingsveranderingen, en overvloedig voorkomen in mensgemaakte omgevingen.
- Een Graph Neural Network (GNN) architectuur (gebaseerd op het "Gluestick"-framework) wordt ingezet voor diepe kenmerkextractie. Dit vermijdt heuristische geometrische extractoren en levert connectiviteitsinformatie voor een efficiëntere en betrouwbaardere tracking.
Modellering in SE(3): De kinematische en dynamische modellen worden geformuleerd in SE(3) in plaats van SO(3). Dit biedt een compacte representatie die de koppeling tussen het voertuig en de arm beter vastlegt dan eerdere PCC (Piecewise Constant Curvature) modellen.
Virtuele Camera: Om de onderactuatie van multirotor UAV's (beperking in roll- en pitch-regeling) te omzeilen, wordt een virtuele camera-frame gebruikt waarbij roll en pitch op nul worden gehouden, terwijl de yaw wordt gevolgd.

3. Belangrijkste Bijdragen

Eerste Hybride Regeling voor TD-ACMs: Dit is het eerste werk dat een hybride positie/krachtregeling toepast op aangedreven door trekdraden luchtvaart-continuümmanipulatoren, inclusief een oplossing voor het locatieprobleem.
Robuuste Visuele Servoing: Integratie van lijnelementen, RBFNN-schattingen en GNN-gebaseerde diepe kenmerkextractie. Dit verhoogt de perceptieve robuustheid en rekentijdsefficiëntie, en elimineert de noodzaak voor mensgemaakte markers.
Efficiënte SE(3)-Modellering: Een constant-rek model in SE(3) dat een evenwicht vindt tussen nauwkeurigheid en rekenkundige haalbaarheid voor real-time regeling, in tegenstelling tot de zware Cosserat-modellen of de onnauwkeurige PCC-modellen.
Uitgebreide Validatie: Omvangrijke software-in-the-loop en hardware-in-the-loop experimenten die de robuustheid aantonen tegenover bestaande methoden (PI/PD en CISMC) voor stijve armen.

4. Resultaten

De prestaties zijn gevalideerd via simulaties en experimenten in zowel contactloze als contactscenario's (duwtests op de grond en in de lucht).

Simulaties:
- De regelaar slaagde erin om een gewenste beeldtrajectorie en een variërende krachtprofiel (tussen 0,5 N en 2,5 N) nauwkeurig te volgen.
- Vergelijking: De voorgestelde methode presteerde aanzienlijk beter dan PI/PD en CISMC-regelaars.
  - Visie: De Root Mean Square Error (RMSE) voor visuele fouten was 0,06 (voorgesteld) versus 0,12 (PD) en 0,67 (ISMC). De standaardafwijking (STD) verbeterde met 28% ten opzichte van PD.
  - Kracht: De RMSE voor krachtrregeling was 1,39 (voorgesteld) versus 2,34 (ISMC) en 4,49 (PI).
Experimenten:
- Contactloze tests: De regelaar stabiliseerde de beeldfout binnen ongeveer 25 seconden, zowel met AprilTag-markers als met de diepe kenmerkextractie.
- Duwtests (Grond): Het systeem kon kleine krachten (0,1 N) veilig regelen dankzij de compliantie van de Nitinol-ruggegraat. Zelfs bij tijdelijk verlies van contact door overshoot, werd contact succesvol hersteld.
- Duwtests (Lucht): In een echte luchtvaartscenario (met aerodynamische verstoringen zoals downwash) convergeerde de visuele fout binnen 5 seconden en de krachtfout binnen 7 seconden. De interactiekrachten bleven laag (< 2 N), wat veilig contact met vervormbare objecten mogelijk maakt.
- Omgevingsvariatie: Het systeem toonde snellere convergentie in omgevingen met meer lijnelementen, wat de conditie van de interactiematrix verbetert.

5. Betekenis en Conclusie

Dit onderzoek markeert een belangrijke stap in de ontwikkeling van zachte luchtvaartrobots. Door de combinatie van AI (RBFNN en GNN) met geavanceerde niet-lineaire regeling (Fixed-Time Sliding Mode), wordt een oplossing geboden voor de fundamentele uitdagingen van TD-ACMs: onzekerheid in modellering, vervorming en externe verstoringen.

De methode bewijst dat het mogelijk is om autonome, fysieke interactie uit te voeren in ongestructureerde omgevingen zonder afhankelijk te zijn van externe lokalisatiesystemen of perfecte modellen. De robuustheid tegenover aerodynamische effecten en de capaciteit om delicate krachten te regelen, maakt deze technologie veelbelovend voor toepassingen zoals inspectie, onderhoud en interactie met kwetsbare structuren in de lucht. Toekomstig werk richt zich op uitbreiding naar multi-arm samenwerking en constraint-aware strategieën.