Technische Samenvatting: Beelddomein-kantelingsgeconstreerde Gedistribueerde Fusie voor het Volgen van Manoeuvreerende UAV's

1. Probleemstelling

Kortetermijnvoorspelling is cruciaal voor elektro-optische (EO) tracking van kleine, manoeuvreerende Unmanned Aerial Vehicles (UAV's), met name wanneer observaties intermittent zijn of het doelwit klein is. Hoewel standaardmetingen (beelddocentrum, gezichtslijn en afstand) directe beperkingen opleggen aan de positie van het doelwit, bieden ze slechts zwakke beperkingen op de versnelling. Als gevolg hiervan vertonen state-estimators tijdens agressieve manoeuvres of korte data-uitval vaak een vertraging in het schatten van de versnelling, wat leidt tot versterkte voorspellingsfouten.

Bovendien leunt laagwaardige monitoring steeds vaker op gedistribueerde multi-camerasystemen (combinaties van mobiele en vaste knooppunten) om blinde vlekken te verminderen. Deze systemen introduceren echter uitdagingen zoals asynchrone bemonstering, heterogene observatiekwaliteit, communicatievertragingen en inconsistenties in cross-camera kalibratie. Bestaande methoden richten zich vaak afzonderlijk op het verbeteren van detectierobustheid of staatsschatting, zonder de fysieke aanwijzingen die inherent zijn aan de dynamica van rotorvliegtuigen volledig te benutten om de versnellingsschattingen te beperken.

2. Methodologie

Het voorgestelde framework integreert een workflow voor auto-labeling met een zwakke prior voor datageneratie met een kantelingsgeconstreerde gedistribueerde fusie-estimator.

A. Weak-Prior Auto-Labeling en Detectie

Om het arbeidsintensieve proces van handmatige Oriented Bounding Box (OBB) annotatie te vermijden, hebben de auteurs een pipeline geconstrueerd om trainingsdata te genereren:

• Databronnen: Gesynchroniseerde video, gimbal IMU en UAV IMU data.
• Proces:
  1. Motie-extractie: Voorgrondkandidaten worden geëxtraheerd met behulp van een Gaussian Mixture Background Model.
  2. Trajectassociatie: Kandidaten worden geassocieerd met doelwit-trajecten met behulp van straal-beperkte matching en interpolatie voor korte uitvalperiodes.
  3. Weak Tilt Labeling: Met behulp van de relatieve geometrie tussen de gimbal IMU en de UAV IMU berekent het systeem de equivalente normaalvector van de UAV in het camerakader. Dit levert "zwakke" beelddomein roll- en pitch-labels op zonder dat exacte 3D grondwaarheid vereist is.
  4. Adaptieve OBB Generatie: OBB-dimensies en rotatiehoeken worden afgeleid van het doelwitgebied en de berekende zwakke kantelingslabels.
• Detector: Een YOLO-OBB detector wordt getraind op deze dataset om online metingen van de positie en de beelddomein-kanteling (roll/pitch) van het doelwit te leveren.

B. Kantelingsgeconstreerde Gedistribueerde Fusie

De kern van de schattingsmethode is een gedistribueerde fusiefilter met een Unscented Kalman Filter (UKF) met een uitgebreide state vector.

• State Modellering: De toestand van het doelwit bevat positie, snelheid en versnelling ($x, y, z$). De filter breidt de toestand ook uit met camera-attitude fouttoestanden (roll, pitch, yaw) voor elk van de drie camera's (één mobiele gimbal, twee vaste camera's) om extrinsieke drift en systematische inconsistentie op te vangen.
• Kanteling als Pseudo-observatie:
  • De methode modelleert de relatie tussen horizontale versnelling en beelddomein-kanteling: $\eta_{pitch} \approx \arctan(a_x/g)$ en $\eta_{roll} \approx \arctan(a_y/g)$.
  • In plaats van deze relatie te inverteren (wat ruis versterkt), voorspelt de filter de verwachte kanteling op basis van de huidige versnellings-toestandschatting en vergelijkt deze met de geobserveerde kanteling van de detector.
  • Dit behandelt beelddomein roll/pitch als versnellingsgerelateerde pseudo-observaties, wat de versnellingscomponent van de toestand direct beperkt.
• Robuust Update Mechanisme:
  • Asynchrone Fusie: Observaties van de drie camera's worden asynchroon gefuseerd binnen een verenigd state-space model.
  • Mahalanobis Gating: Een per-camera gating mechanisme wijst valse detecties af. Het maakt gebruik van een 'time-since-last-valid' covariantie verbredingsstrategie: als een detectie verdacht is (residuen tussen zachte en harde drempelwaarden), wordt de covariantie vergroot in plaats van de observatie direct af te wijzen. Dit stelt de filter in staat om met uitval en uitschieters om te gaan.

3. Belangrijkste Bijdragen

Het artikel identificeert vijf primaire bijdragen:

1. Weak-Prior Tilt Labeling: Een video-IMU auto-labeling pipeline die UAV OBB's en beelddomein roll/pitch labels genereert zonder handmatige frame-voor-frame annotatie.
2. Versnellingsgeconstreerde Voorspelling: Het modelleren van beelddomein roll en pitch als pseudo-observaties gerelateerd aan de versnelling van het doelwit, wat de observeerbaarheid tijdens manoeuvres en ontbrekende intervallen verbetert.
3. Asynchrone Gedistribueerde Fusie: Een verenigd state-space model dat één mobiele gimbal camera en twee vaste grondcamera's fuseert, uitgebreid met camera-attitude fouttoestanden om cross-camera consistentie te waarborgen.
4. Robuuste Update Strategie: Een Mahalanobis gating schema met covariantieverbreding om valse detecties en uitval te verwerken zonder de filter te destabiliseren.
5. Publieke Implementatie: De release van de Python workflow voor motie-extractie, zwakke labelgeneratie en YOLO-OBB training.

4. Experimentele Resultaten

Simulatie

In een MATLAB-simulatie met een niet-lineair 3D-traject en gesimuleerde uitval/valse detecties:

• Het toevoegen van roll/pitch observaties verminderde de Prediction RMSE van 1.991 m naar 0.821 m (een reductie van 58,73%).
• De Cumulatieve Voorspellingsfout nam af met 60,75% (van 6611.580 m·s naar 2594.837 m·s).
• De resultaten bevestigden dat kantelingsobservaties de versnellings-toestand direct beperken, waardoor de voorspellingsvertraging tijdens agressieve manoeuvres wordt verminderd.

Real-World Gedistribueerd Experiment

Een fysiek experiment werd uitgevoerd met een mobiele gimbal camera op een quadruped robot en twee vaste grondcamera's.

• Vanwege het gebrek aan hoog-precieze 3D grondwaarheid werd een zelfconsistentie-metriek gebruikt (het vergelijken van voorspelde observaties op tijdstip $t$ met werkelijke observaties).
• Het inschakelen van roll/pitch observaties verminderde de cumulatieve zelfconsistentie-fout met 18,10% (van 203.4518 naar 166.6241).
• De auteurs merken op dat de verbetering in de echte wereld kleiner is dan in de ideale simulatie vanwege detectorjitter, residuele extrinsieke fouten, timing-mismatches en variërende observatiekwaliteit. Desondanks tonen de resultaten aan dat beelddomein-kanteling bruikbaar blijft onder praktische asynchrone omstandigheden.

5. Betekenis en Claims

Het artikel claimt dat beelddomein-kanteling dient als een waardevolle laag-niveau manoeuvre-aanwijzing voor rotorvliegtuig-UAV's. Door kantelingsherkenning te koppelen aan een gedistribueerde toestandsschatter, biedt de methode nuttige versnellingsbeperkingen die standaard positie-only metingen niet kunnen bieden.

De betekenis ligt in het vermogen om de robuustheid van kortetermijnvoorspellingen te verbeteren zonder extra hardware (zoals radar of LiDAR) of complexe handmatige labeling te vereisen. De auteurs benadrukken dat hoewel de winst in de echte wereld bescheiden is vergeleken met geïdealiseerde simulaties, de aanpak specifiek de uitdagingen van manoeuvrerende doelwitten in gedistribueerde, asynchrone multi-camera EO tracking systemen succesvol aanpakt. Toekomstig werk richt zich op het verbeteren van de stabiliteit van kantelingsherkenning, het expliciet schatten van tijd-offsets en het gezamenlijk aanpassen van detector-betrouwbaarheid met fusie-consistentie.