A Machine-Learning and Cybernetic Control Framework for RGB--Geometric UAV Navigation

Technische Samenvatting: Een Machine-Learning en Cybernetisch Controleframework voor RGB–Geometrische UAV-navigatie

Probleemstelling
Het navigeren van Unmanned Aerial Vehicles (UAV's) door riviercorridors brengt unieke uitdagingen met zich mee die verschillen van algemene luchtomgevingen. Waterreflecties veranderen het visuele uiterlijk, nauwe bochten beperken de manoeuvreerruimte, oeveronderbrekingen verzwakken geometrische aanwijzingen, en drijvende objecten of bruggen creëren lokale occlusies. Hoewel modelgebaseerde planners interpreteerbaarheid bieden wanneer kaarten accuraat zijn, worstelen ze met de onzekerheid die inherent is aan visueel instabiele riviergeometrieën. Omgekeerd lijden learning-gebaseerde controllers vaak aan "lekkage", waarbij beleid (policies) leunt op geprivilegieerde simulatorvariabelen (bijv. ground-truth maskers of middellijnen) in plaats van op werkelijke visuele inputs, of falen ze in het ontkoppelen van perceptie van metrische controle. Het kernprobleem dat wordt geadresseerd is de ontwikkeling van een verenigde perceptie–beslissing–actie lus die ruwe RGB-observaties fuseert met gestructureerde kinematische en geometrische feedback, waardoor wordt gewaarborgd dat het geleerde beleid steunt op valide visueel bewijs terwijl de veiligheid wordt gewaarborgd door expliciete, niet-geleerde interventielagen.

Methodologie
De auteurs stellen een cybernetisch controleframework voor dat visuele perceptie, gestructureerde state-feedback, adaptief beloningsleren en regelgebaseerde interventie strikt scheidt.

1. Systeemarchitectuur en State-representatie:

   • Visuele Stroom: Het systeem verwerkt een 224×224 RGB-frame met behulp van een ResNet-50 backbone gecombineerd met een Feature Pyramid Network (FPN). Multi-schaal kenmerken worden geaggregeerd via global average pooling en een geleerd aandachtmechanisme om een 256-dimensionale verschijningsvector te produceren.
   • Gestructureerde State: Een 291-dimensionale state vector wordt geconstrueerd door de visuele latente vector te concateneren met 35 expliciet gedefinieerde geometrische en kinematische variabelen. Deze omvatten relatieve kinematica (snelheid, koers, acceleratie), voortgang t.o.v. het doel, vijf centerline-samples naar voren, acht ray-casting vrijheidswaarden, en een geheugenblok dat de meest recente ongeoccludeerde pose en beweging bijhoudt.
   • Weerstand tegen Lekkage: Cruciaal is dat het framework "fixed-width ablations" gebruikt. Wanneer specifieke inputs worden getest (bijv. het verwijderen van de centerline), wordt het corresponderende blok vervangen door nullen zonder surrogaatvariabelen of deterministische projecties van andere blokken in te voegen. Dit zorgt ervoor dat elke prestatiedaling uitsluitend toe te schrijven is aan de ontbrekende informatie.

2. Leercore (TD3 met Meta-Gradiënten):

   • De controller maakt gebruik van Twin Delayed Deep Deterministic Policy Gradient (TD3).
   • Adaptieve Beloningen: In plaats van een scalaire beloning op te slaan, slaat de replay buffer een zes-dimensionale vector van ongewogen beloningscomponenten op (voortgang, veiligheid, fatale afloop, vloeiendheid, koers en stapstraf). Hierdoor kan de scalaire beloning dynamisch worden gereconstrueerd met de huidige gewichten.
   • Meta-Gradient Optimalisatie: Een differentieerbare meta-gradiënt koppelt virtuele actor-critic updates aan een één-stap validatie kinematische doelstelling. De externe loss minimaliseert een gladde functie van afstand tot het doel, cross-track fout, obstacle clearance en controle-inspanning. De beloningsgewichten ($\lambda$) worden bijgewerkt via een hypergradiënt, onderworpen aan een projectie die een veiligheidsvloer afdwingt (bijv. een minimumgewicht voor de veiligheidscomponent) nadat een veiligheidschending is gedetecteerd.

3. Hybride Interventielaag:

   • Een aparte, bevroren regelgebaseerde laag opereert onafhankelijk van het geleerde beleid. Deze wordt getriggerd door specifieke gebeurtenissen: bifurcatie (het selecteren van de tak die het beste is uitgelijnd met het doel), terminatie (monotoon remmen bij verlies van de rivier), ernstige occlusie (overbruggen van gaten via geheugen), en obstakel-aggregatie (het mengen van policy-acties met een kunstmatig potentiaalveld).
   • Het systeem logt zowel de policy-actie ($a^\pi_t$) als de uitgevoerde actie ($a^{exec}_t$) om geleerd gedrag te onderscheiden van de technisch geconstrueerde veiligheidsinterventies.

Belangrijkste Bijdragen

1. Gevalideerde Visuele-Geometrische Fusie: Het artikel formuleert een 291-dimensionale state waarbij een online RGB/FPN-representatie wordt geconcateneerd met expliciete metrische variabelen. Bewijs op niveau van de uitkomst (84,0% voltooiing in een "visie-plus-kinematica" ablatie waarbij alle geometrische priors op nul zijn gezet) demonstreert dat het beleid effectief gebruikmaakt van de RGB-stroom in plaats van te vertrouwen op geprivilegieerde geometrische surrogaten.
2. Wiskundig Gesloten Adaptieve Beloningsgrafiek: De auteurs sluiten de computationele grafiek voor beloningsadaptatie. Door ruwe beloningscomponenten op te slaan en een differentieerbare externe doelstelling te gebruiken met virtuele kinematica, maken zij het mogelijk om historische transities te herwegen zonder te vertrouwen op verouderde scalaire beloningen.
3. Lekkage-resistente Ablatie-protocol: De studie definieert een rigoureuze ablatie-methodologie waarbij het verwijderen van een gestructureerde input wordt vervangen door nullen, wat garandeert dat er geen surrogaat-informatie in de state lekt. Dit isoleert de marginale waarde van specifieke inputs (bijv. geheugen, centerline) zonder de optimalisatiecapaciteit te verwarren.
4. Scheiding van Zaken: Het framework scheidt expliciet geleerde controle, predictieve optimalisatie (NMPC) en regelgebaseerde interventie. Dit maakt onafhankelijke attributie van veiligheids- en efficiëntiewinsten mogelijk, waardoor de verwarring tussen policy-leren en technische veiligheidsschilden wordt voorkomen.
5. Reproduceerbaar Evaluatieprotocol: Het artikel biedt een uitgebreide evaluatiesuite inclusief bevroren gebalanceerde manifesten, gepaarde statistieken, eindige-verschil gradiëntcontroles en afzonderlijke benchmarks voor algemene geometrie-controle en rivier-specifieke gebeurtenissen (bifurcatie, terminatie, occlusie, aggregatie).

Resultaten

• State Ablaties: In fixed-width ablations leidde het verwijderen van het geheugenblok tot de grootste waargenomen afname in voltooiing (4,25 procentpunt), hoewel dit niet statistisch significant was. De "visie-plus-kinematica" conditie (verwijderen van alle expliciete geometrie) behield 84,0% voltooiing, wat het nut van de visuele stroom valideert.
• Beloningsadaptatie: Hoewel meta-gradiënt varianten hogere voltooiingspercentages bereikten (87,75%) vergeleken met vaste gewichten (83,13%), bereikte een "zero-hypergradient" controle—die dezelfde veiligheid-getriggerde projectie toepast maar de hypergradiënt update uitschakelt—een identiek voltooiingspercentage van 87,75%. Dit geeft aan dat de prestatiewinst toe te schrijven is aan de geprojecteerde herconfiguratie van de beloning (specifiek de veiligheidsvloer) in plaats van aan het hypergradiënt mechanisme zelf.
• Controller Vergelijking:
  • Algemene Navigatie: De Hybride TD3 controller bereikte een gemiddelde taakvoltooiing van 88,5% op een river-event benchmark. Dit overtrof Nonlinear Model Predictive Control (NMPC) met 11,1 procentpunt en RRT*-Replan met 15,9 punten.
  • Geometrie Controle: In een geometrie-alleen benchmark (geen RGB), presteerde NMPC beter dan een eenvoudige regel-controller (78,7% vs. 65,3% voltooiing), maar vereiste het aanzienlijk hogere computationele latentie (32,9 ms vs. 4,5 ms per stap).
  • Interventie Impact: Het activeren van alle interventieregels verminderde botsingen in algemene navigatie, maar verlaagde het succes van reguliere doelbereiking met 12,63 procentpunt, wat wijst op een veiligheid-efficiëntie trade-off. De regels handelden 81,5% van de terminatiegevallen succesvol af via veilige stops of herroutering.

Significantie en Claims
Het artikel claimt een reproduceerbaar en inspecteerbaar framework te hebben vastgesteld voor de integratie van visuele perceptie, adaptief beloningsleren en hybride veiligheidsinterventie in riviercorridor UAV-navigatie. De significantie ligt niet in het voorstellen van één enkel "beste" algoritme, maar in het bieden van een rigoureuze decompositie van het controleprobleem:

• Het bewijst dat visuele informatie navigatie kan aansturen, zelfs wanneer expliciete geometrische priors worden verwijderd, mits de state-representatie zorgvuldig is ontworpen.
• Het demonstreert dat adaptief beloningsleren wiskundig gesloten en verifieerbaar kan zijn via eindige-verschil checks, hoewel het primaire voordeel in deze specifieke opstelling voortkwam uit de veiligheids-geconstraineerde projectie van gewichten in plaats van de hypergradiënt update zelf.
• Het biedt een duidelijk attributiemodel waarbij de bijdragen van de geleerde policy, de modelgebaseerde optimizer en de regelgebaseerde interventie onderscheidbaar en meetbaar zijn, wat de veelvoorkomende fout voorkomt om technische veiligheid toe te schrijven aan geleerde intelligentie.

De auteurs hanteren een bescheiden standpunt door op te merken dat hoewel het framework de voltooiingspercentages verbeterde ten opzichte van baselines in specifieke rivierscenario's, de winsten vaak worden gedreven door de specifieke herconfiguratie van beloningsgewichten en de interventielaag, in plaats van door het meta-gradiënt mechanisme alleen. Het werk dient als een methodologisch blauwdruk voor het scheiden van perceptie, state en veiligheid in complexe, visueel instabiele omgevingen.