Self-Healing Visual Recovery for Autonomous Ground Vehicles Using Camera-Only Visual Odometry

Technische Samenvatting: Zelfhelend Visueel Herstel voor Autonome Grondvoertuigen met Gebruik van Camera-only Visual Odometry

Probleemstelling
Goedkope onbemande grondvoertuigen (UGV's) die opereren in gestructureerde binnenomgevingen (bijv. magazijnen, inspectiecorridors) vertrouwen vaak op lijnvolgende navigatie met behulp van een enkele camera. Hoewel deze aanpak kosteneffectief is, mist het de hardwarematige redundantie (LiDAR, GPS, meerdere camera's) die aanwezig is in hoogwaardige systemen, waardoor het kwetsbaar is voor specifieke faalmodi: gedeeltelijke of totale occlusie van de geleidingslijn, veranderende lichtomstandigheden die kleursegmentatie verslechteren, en koersafwijkingen veroorzaakt door obstakelvermijding waardoor de lijn buiten het gezichtsveld van de camera valt. Zonder een effectief herstelmechanisme stopt een enkele niet-herstelde fout de robot, wat de economische rechtvaardiging voor autonome inzet ondermijnt. Bestaande hersteloplossingen vertrouwen doorgaans op dure sensoren of GPU-versnelde deep learning, waardoor er een gat ontstaat voor lichtgewicht, CPU-only systemen die autonoom kunnen detecteren en herstellen van volledig lijnverlies.

Methodologie
Het artikel stelt een verenigde, lichtgewicht perceptie-controle-herstel lus voor die op 20 Hz werkt op CPU-only hardware zonder GPU-versnelling of externe adaptatiemanagers. Het systeem implementeert een volledige MAPE-K (Monitor-Analyze-Plan-Execute-Knowledge) loop binnen een enkele 50 ms controle-tik.

1. Perceptie (Monitor & Analyze):

   • Depth-Gated HSV Lijntracker: Detecteert de geleidingslijn met behulp van HSV-kleursegmentatie gecombineerd met een dieptebewuste vloermasker. Het maakt gebruik van online hue-adaptatie via een Exponential Moving Average (EMA) en periodieke SVD-gebaseerde vlakpassing om vals-positieven op reflecterende oppervlakken te verminderen.
   • Depth-Fused Obstakeldetector: Combineert geometrische residuen van het geleerde vloermodel met semantische detecties van een YOLOv8n-model. Obstakels worden gerangschikt op basis van de mediaan diepte binnen een voorwaartse beeldcorridor om de dichtstbijzijnde objecten te prioriteren.
   • Lichtgewicht Visual Odometry (VO): Gebruikt een GFTT feature detector, ORB descriptoren, en een five-point essential matrix solver met RANSAC om incrementele pose te schatten. Dit genereert een "breadcrumb" kaart van recente poses die wordt opgeslagen in de Knowledge Base.

2. Besluitvorming & Herstel (Plan & Execute):
   Het systeem prioriteert acties: Obstakelvermijding > Lijn volgen > Herstel. Wanneer de lijn gedurende een gratieperiode (0,6 s) verloren gaat zonder obstakels, wordt een Tweefasige Herstratagie geactiveerd:

   • Fase 1 (Spin-and-Search): De robot roteert op zijn plaats terwijl de kleur-drempelwaarden worden versoepeld en wacht op bevestiging over meerdere frames ($N_{confirm}=5$). Dit richt zich op gevallen waarin de lijn gedeeltelijk zichtbaar is of de robot slechts verkeerd uitgelijnd is.
   • Fase 2 (VO-Gestuurde Navigatie): Als Fase 1 faalt, navigeert de robot terug naar de dichtstbijzijnde opgeslagen "breadcrumb" pose met behulp van een proportionele hoek-en-afstand controller. Bij aankomst wordt Fase 1 opnieuw geprobeerd. Deze cyclus herhaalt zich tot maximaal drie keer voordat een fout wordt gemeld.

Belangrijkste Bijdragen
Het artikel presenteert vijf primaire bijdragen:

1. Een verenigde perceptie-controle-herstel loop die op 20 Hz draait op CPU-only hardware, waardoor GPU-versnelling overbodig wordt.
2. Een depth-gated HSV lijntracker die online hue-adaptatie en per-rij vloermodel integratie combineert om met reflecterende oppervlakken om te gaan.
3. Een depth-fused obstakelvermijdingsmodule die geometrische residuen combineert met YOLOv8n detecties.
4. Een tweefasige visuele herstelstrategie (spin-and-search gevolgd door VO-gestuurd terugkeren naar breadcrumbs) ontworpen voor scenario's met volledig lijnverlies.
5. Een empirische evaluatie over 119 fout-geïnjecteerde episodes op drie geometrisch diverse simulatiecourses.

Resultaten
Het systeem werd geëvalueerd in de Webots-simulator over drie courses (gladde ovaal, nauwe bochten, acute driehoek) met 119 geïnduceerde lijnverlies-episodes.

• Succespercentage: De methode slaagde voor herstel in 86,6% van de gevallen (95% Wilson betrouwbaarheidsinterval: 0,79–0,92).
• Hersteltijd: De mediane Time to Recovery (TTR) was 3,26 seconden, met een gemiddelde van 3,48 s.
• Effectiviteit van Mechanismen: Fase 1 (spin) loste 33% van de successen op, meestal in minder dan 1 seconde, en was het meest effectief op courses met nauwe bochten waar gedeeltelijke lijnzichtbaarheid behouden bleef. Fase 2 (VO-navigatie) loste 67% van de successen op, met name op courses met volledige lijn-occlusie, met TTR's variërend van 2 tot 9 seconden.
• Faalmodi: De 16 mislukte episodes werden toegeschreven aan schaarse breadcrumb-dekking (robot verplaatst buiten opgeslagen poses), persistente occlusie door dynamische obstakels, en VO-drift tijdens pure rotatie of trajecten met lage textuur.

Betekenis en Claims
De auteurs beweren dat betrouwbaar visueel herstel haalbaar is op camera-only UGV's binnen praktische kosten- en computationele limieten. Het werk demonstreert dat een systeem dat uitsluitend vertrouwt op een RGB-D camera en CPU-verwerking, een herstelprestatie (86,6% succes) kan bereiken die vergelijkbaar is met eerdere, zwaardere en sensor-rijke systemen, zonder dat daarvoor LiDAR, GPS of GPU-versnelling nodig is. Het artikel benadrukt dat hoewel de aanpak een bescheiden, geometrie-afhankelijke toename introduceert in de gemiddelde hersteltijd vergeleken met sommige eerder werk, het succesvol de kloof overbrugt tussen goedkope hardware en de veerkracht die vereist is voor autonome operaties in gestructureerde omgevingen. De resultaten suggereren dat zelfhelend gedrag direct in de controle-loop van middelen-beperkte platforms kan worden ingebed, waardoor een externe adaptatiemanager overbodig wordt.