Can we stabilize an inverted pendulum with feedback from a time-of-flight camera?

Technische Samenvatting: Stabilisatie van een omgekeerde pendel met Time-of-Flight camera-feedback

Probleemstelling
Time-of-Flight (ToF) camera's worden breed toegepast in de robotica vanwege hun compactheid, lage kosten en robuustheid tegen lichtomstandigheden, maar ze worden over het algemeen als ongeschikt beschouwd voor precieze, breedbandige feedbackcontrole vanwege de lage ruimtelijke resolutie, diepteruis en systematische fouten (bijv. multipath-interferentie, bewegingsonscherpte). De centrale vraag die in dit werk wordt behandeld, is of een goedkope, laag-resolutie ToF-sensor metingen van voldoende kwaliteit kan leveren om een snel, instabiel dynamisch systeem te stabiliseren. De auteurs selecteren de omgekeerde pendel op een karretje (cart-pole) als testopstelling. Dit canonieke benchmark-model is berucht moeilijk te regelen vanwege de non-minimum fase natuur, lichte demping en gevoeligheid voor milliseconde-niveau latentie en jitter. De uitdaging wordt verergerd door de specifieke experimentele geometrie: de ToF-camera is onder de pendel gemonteerd en kijkt omhoog. Dit "ongunstige" standpunt induceert grote invalshoeken die de dieptebias en multipath-propagatie verslechteren, wat de sensing-pipeline opzettelijk zwaar belast.

Methodologie
De auteurs hebben een compact, reproduceerbaar experimenteel platform geconstrueerd bestaande uit een 3D-geprinte kar die wordt aangedreven door een Maxon BLDC-motor via een tandheugelmechanisme, en een pendel (een gouden pen) die in balans is op het karretje. De controle- en sensing-stack draait op een Raspberry Pi 5 met ROS2, wat niet-triviale verwerkingsjitter introduceert, wat dient als een realistische stress-test voor de regelkring.

• Sensing-pipeline: Het systeem vertrouwt uitsluitend op een goedkope ArduCam ToF-module (240 × 180 resolutie, 30 fps) voor hoekfeedback. De lineaire positie en snelheid van het karretje worden gemeten via de Hall-effect sensor van de motor.
• Visuele verwerking: Ruwe dieptebeelden worden voorbewerkt door pixels buiten het bereik weg te filteren, te middelen en binaire drempelwaarde-verwerking toe te passen om de pendel te isoleren. Het systeem past twee cirkels toe binnen de contour van de pendel (één voor de basis, één voor de top) met behulp van Euclidean afstandstransformaties en sub-pixel verfijning. De hoek wordt afgeleid van de oriëntatie van het segment dat de middelpunten van deze cirkels verbindt.
• Toestandschatting en controle: De auteurs maken gebruik van een standaard Linear Quadratic Gaussian (LQG) regulator. Een Kalman-filter fuseert de ruizige ToF-afgeleide hoekmetingen met de motor-encodergegevens om de volledige toestandsvector (positie van het karretje, snelheid van het karretje, hoek van de pendel en hoeksnelheid van de pendel) te schatten. De ruiscovarianties voor het filter worden via Bayesiaanse optimalisatie afgestemd om de Root-Mean-Squared Error (RMSE) ten opzichte van de grondwaarheid-encodergegevens te minimaliseren.
• Systeemidentificatie: Cruciale dynamische parameters (massa's, traagheidsmomenten, wrijvingscoëfficiënten) werden geïdentificeerd met behulp van een batch least-squares benadering waarbij verzamelde trajecten werden vergeleken met een niet-lineair model geïntegreerd via Runge–Kutta 4.

Belangrijkste Resultaten
Het systeem slaagde er succesvol in om betrouwbare en precieze stabilisatie van de omgekeerde pendel te bereiken met enkel de ToF-camera voor hoekfeedback, zonder hoogwaardige encoders of externe motion-capture systemen.

• Stabilisatieprestaties: Over 30 proeven van elk 10 seconden bleef de controller de pendel in een rechtopstaande positie houden. De tijdgemiddelde RMSE tussen de geregelde pendelhoek en de evenwichtstoestand was $1.0 \times 10^{-3}$ rad·s$^{-1}$.
• Sensornauwkeurigheid: De ruwe hoekschattingen afgeleid van de ToF-camera vertoonden een RMSE van $3.0 \times 10^{-3}$ rad vergeleken met de grondwaarheid-encoder tijdens gecontroleerde trajecten. De stationaire ruis van de hoekschatting werd gekarakteriseerd als ongeveer zero-mean Gaussische ruis met een standaarddeviatie van $1.7 \times 10^{-3}$ rad.
• Robuustheid: Ondanks de ongunstige cameraplaatsing (die multipath en bewegingsonscherpte induceert) en de verwerkingsjitter inherent aan de ROS2/Raspberry Pi-stack, behield de LQG-controller de stabiliteit, wat aantoont dat de ToF-sensor voldoende signaalgetrouwheid bood voor closed-loop regulatie.

Betekenis en Claims
Het artikel presenteert een "proof-of-existence" studie die aantoont dat goedkope, laag-resolutie ToF-sensoren precieze feedbackcontrole kunnen ondersteunen voor snelle, instabiele systemen. De auteurs presenteren hun resultaten expliciet als een conservatieve ondergrens op het potentieel van ToF-gebaseerde feedback. Door een moeilijke geometrie en een standaard, niet-geoptimaliseerde controller (LQG) te kiezen, laten zij zien dat ToF-sensoren zelfs onder suboptimale omstandigheden levensvatbaar zijn voor high-performance taken.

De betekenis ligt in het uitdagen van de heersende aanname dat ToF-camera's beperkt zijn tot lage- tot matige controle-eisen (bijv. obstakelvermijding of grove servo-aansturing). De auteurs stellen dat met doordacht systeemontwerp ToF-sensoren dure motion-capture infrastructuur of hoogwaardige encoders kunnen vervangen in specifieke toepassingen. Zij dragen een open-source platform en code bij om verdere benchmarking en onderzoek te faciliteren, waarbij zij suggereren dat toekomstig werk geavanceerde controlestrategieën (zoals Model Predictive Control of robuuste controllers) en alternatieve sensorconfiguraties kan verkennen om de prestatiegrenzen verder te verleggen.