SEArch: Optimistic Policy Selection Between Scene Noise and Drift for UAV Radar Search

Technische Samenvatting: SEArch – Optimistische Beleidsselectie tussen Scène-ruis en Drift voor UAV Radar Zoekacties

Probleemstelling
Onbemande luchtvaartuigen (UAV's) uitgerust met radarsensoren worden steeds vaker ingezet voor doelzoekmissies in dynamische omgevingen, zoals maritieme reddingsoperaties en rampenbestrijding. Deze missies worden geconfronteerd met een fundamentele uitdaging: radarstatistieken verschuiven terwijl de UAV zich door niet-stationaire omgevingen beweegt (bijv. veranderingen in wandmaterialen, clutter of zeetoestand), waardoor vaste signaalverwerkingsstrategieën suboptimaal worden. Bovendien moeten deze aanpassingen plaatsvinden op boordcomputers van hulpbron-beperkte nodes met ultra-lage latentie, wat cloud-offloading uitsluit.

De kern van de moeilijkheid ligt in het balanceren van twee verschillende bronnen van onzekerheid:

1. In-scène stochastische ruis: Fluctuaties binnen een stabiele scène veroorzaakt door micro-bewegingen van de UAV en clutter.
2. Inter-scène distributieve verschuivingen: Abrupte of geleidelijke veranderingen in de meetverdeling wanneer de UAV overgaat tussen verschillende omgevingsregimes.

Bestaande methoden adresseren doorgaans slechts één regime: adversarial online learning-methoden leveren conservatieve grenzen die onafhankelijk zijn van de werkelijke moeilijkheidsgraad, terwijl stochastische modellen falen bij plotselinge scèneveranderingen. Het artikel stelt dat geen enkele detector goed presteert onder alle omstandigheden, wat een multi-beleidsparadigma noodzakelijk maakt waarbij het systeem in real-time de optimale beleidsregel moet selecteren uit een vooraf getrainde bibliotheek zonder voorafgaande kennis van scène-drifts of ruisschalen.

Methodologie
De auteurs formuleren het UAV-doelzoekprobleem als een Online Convex Optimization (OCO) taak over een eindige bibliotheek van $K$ gespecialiseerde signaalverwerkingsbeleidsregels. De prestatie-indicator is regret (spijt), gedefinieerd als het cumulatieve verliesverschil ten opzichte van het beste vaste beleid in retrospectief voor elk specifiek scènesegment.

Om het milieu te modelleren, hanteert het artikel het Stochastically Extended Adversary (SEA) framework. Dit framework deelt de probleemcomplexiteit op in:

• $\bar{\sigma}_T^2$: Cumulatieve stochastische variantie (in-scène ruis).
• $\bar{\Sigma}_T^2$: Cumulatieve adversariële variatie (inter-scène drift).

Het artikel introduceert twee algoritmen die binnen dit framework zijn geïnstantieerd:

1. SEARCH (Optimistic FTRL):

   • Een optimistische Follow the Regularized Leader (OFTRL) selector met een adaptieve leersnelheid.
   • Het voorspelt de volgende verliesfunctie op basis van de vorige observatie ($M_t = \ell_{t-1}$). Deze voorspelling is accuraat binnen stabiele scènes, maar faalt bij transities.
   • De adaptieve leersnelheid wordt automatisch conservatiever wanneer voorspellingsfouten (die wijzen op een transitie of hoge ruis) worden gedetecteerd, om oscillatie te voorkomen.
   • Regret Bound: $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, waarbij $J$ het aantal scène-transities is. De schakelstraf groeit slechts als $\sqrt{J}$.

2. W-SEARCH (Windowed OFTRL):

   • Ontworpen voor missies met frequente scèneveranderingen waarbij de accumulatie van globale historie inertie induceert (het bevoordelen van verouderde beleidsregels).
   • Het beperkt updates tot de meest recente $w$ observaties, waarbij elke $w$ rondes een "harde restart" wordt uitgevoerd.
   • Dit elimineert verouderde metingen uit eerder afgelegde scènes, wat snelle adaptatie mogelijk maakt bij onregelmatige veranderingen.
   • Regret Bound: $O(\bar{\sigma}_I \sqrt{w})$ op elk aaneengesloten interval van lengte $w$, uitgaande van maximaal één transitie per venster.

Beide algoritmen zijn lichtgewicht en vereisen slechts $O(K \log K)$ berekening per ronde en $O(K)$ geheugenstatus, zonder online training of externe versnellers. Ze vertrouwen op full-information feedback, waarbij een enkele radarmeting alle $K$ beleidsregels simultaan evalueert, zonder extra sensorkosten te veroorzaken.

Belangrijkste Bijdragen

• Formulering: De auteurs vatten UAV-zoekacties samen als online beleidsselectie over een eindige bibliotheek, waarbij de onzekerheid wordt gemodelleerd via het SEA-framework om probleemafhankelijke regret bounds af te leiden die schalen met de werkelijke omgevingscomplexiteit in plaats van worst-case aannames.
• SEARCH Algoritme: Een OFTRL-selector die een regret bound bereikt van $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, wat de kosten effectief deelt in stochastische ruis en schakelstraffen.
• W-SEARCH Algoritme: Een venstergestuurd variant dat een adaptieve regret $O(\bar{\sigma}_I \sqrt{w})$ bereikt op intervallen van lengte $w$, specifiek gericht op het inertieprobleem in snel veranderende missies.
• Modulariteit: De aanpak is orthogonaal aan de constructie van de beleidsbibliotheek; het dient als een online selectielaag die bovenop elke vooraf getrainde pool van detectoren kan worden geplaatst.

Experimentele Resultaten
De auteurs valideren hun aanpak via simulaties met $K=4$ beleidsregels over diverse niet-stationaire settings ($T=150$):

• Regret Reductie: Vergeleken met niet-adaptieve baselines (UCB, Exp3, OMD) bereiken de voorgestelde methoden tot wel 30% reductie in regret.
• Adaptatiesnelheid: SEARCH concentreert het gewicht op de optimale beleidsregel binnen 10 stappen na een regimeverschuiving.
• Vensterprestaties: W-SEARCH vertoont significante voordelen in omgevingen met frequente veranderingen. In scenario's met veel transities verminderde het de uiteindelijke regret met 60% tot 72% vergeleken met het globale SEARCH-algoritme.
• Robuustheid: De venstergestuurde aanpak blijft robuust tegen onregelmatige schakelpatronen en variërende ruisniveaus ($\sigma \in [0.05, 0.4]$), hoewel het relatieve voordeel licht afneemt bij zeer hoge ruisniveaus waar meer observaties per segment nodig zijn.
• Schaalbaarheid: Beide algoritmen schalen goed met het aantal beleidsregels ($K$), waarbij W-SEARCH superieure prestaties laat zien naarmate de actieruimte groeit naar $K=16$.

Betekenis en Claims
Het artikel claimt dat door verder te gaan dan louter adversariële of louter stochastische modellen, het SEA-framework een genuanceerder begrip van UAV-radarzoekomgevingen mogelijk maakt. De primaire betekenis ligt in het bieden van lichtgewicht, onboard oplossingen die in staat zijn om optimale beleidsregels in real-time te volgen zonder voorafgaande kennis van de scènedynamiek. De auteurs benadrukken dat hun aanpak bijna optimale stochastische rates bereikt in stationaire omgevingen, terwijl het versoepelt naar niet-stationaire rates wanneer veranderingen frequent zijn, en dit alles terwijl de computationele beperkingen van laag-altitude IoT-netwerk nodes worden gerespecteerd. Het werk richt zich specifiek op de "online selectielaag", waarbij de constructie van de offline beleidsbibliotheek wordt overgelaten aan complementaire werken (bijv. [5]), om zo een modulaire oplossing voor adaptieve sensing te bieden.