SEArch: Optimistic Policy Selection Between Scene Noise and Drift for UAV Radar Search

Resumo Técnico: SEArch – Seleção de Política Otimista entre Ruído de Cena e Deriva para Busca de Radar por UAV

Definição do Problema
Veículos Aéreos Não Tripulados (UAVs) equipados com sensores de radar são cada vez mais implantados em missões de busca de alvos em ambientes dinâmicos, como resgate marítimo e resposta a desastres. Essas missões enfrentam um desafio fundamental: as estatísticas do radar mudam conforme o UAV se desloca através de ambientes não estacionários (por exemplo, mudanças nos materiais das paredes, clutter ou estados do mar), tornando estratégias de processamento de sinal fixas subótimas. Além disso, essas adaptações devem ocorrer em nós com recursos limitados de bordo e latência ultra-baixa, o que impede o offloading para a nuvem.

A dificuldade central reside no equilíbrio entre duas fontes distintas de incerteza:

1. Ruído estocástico intra-cena: Flutuações dentro de uma cena estável causadas por micro-movimentos do UAV e clutter.
2. Mudanças distributivas inter-cena: Mudanças abruptas ou graduais na distribuição das medições conforme o UAV transita entre diferentes regimes ambientais.

Métodos existentes geralmente abordam apenas um regime: métodos de aprendizado online adversariais produzem limites conservadores independentes da dificuldade real, enquanto modelos estocásticos falham em capturar mudanças súbitas de cena. O artigo postula que nenhum detector único performa bem em todas as condições, necessitando de um paradigma de múltiplas políticas onde o sistema deve selecionar a política ótima de uma biblioteca pré-treinada em tempo real, sem conhecimento prévio de deriva de cena ou escalas de ruído.

Metodologia
Os autores formulam o problema de busca de alvos por UAV como uma tarefa de Otimização Convexa Online (OCO) sobre uma biblioteca finita de $K$ políticas especializadas de processamento de sinal. A métrica de desempenho é o regret (arrependimento), definido como a lacuna cumulativa de perda em relação à melhor política fixa em retrospectiva para cada segmento específico de cena.

Para modelar o ambiente, o artigo adota o framework Stochastically Extended Adversary (SEA). Este framework decompõe a dificuldade do problema em:

• $\bar{\sigma}_T^2$: Variância estocástica cumulativa (ruído intra-cena).
• $\bar{\Sigma}_T^2$: Variação adversarial cumulativa (deriva inter-cena).

O artigo introduz dois algoritmos instanciados dentro deste framework:

1. SEARCH (OFTRL Otimista):

   • Um selecionador de Follow the Regularized Leader otimista (OFTRL) com uma taxa de aprendizado adaptativa.
   • Ele prevê a próxima perda com base na observação anterior ($M_t = \ell_{t-1}$). Esta previsão é precisa dentro de cenas estáveis, mas falha em transições.
   • A taxa de aprendizado adaptativa torna-se automaticamente conservadora quando erros de previsão (que indicam uma transição ou alto ruído) são detectados, evitando oscilações.
   • Limite de Regret: $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, onde $J$ é o número de transições de cena. A penalidade de troca cresce apenas como $\sqrt{J}$.

2. W-SEARCH (OFTRL de Janela):

   • Projetado para missões com mudanças frequentes de cena, onde o acúmulo de histórico global induz inércia (favorecendo políticas obsoletas).
   • Ele restringe as atualizações às últimas $w$ observações, realizando um "reinício forçado" a cada $w$ rodadas.
   • Isso poda medições obsoletas de cenas percorridas anteriormente, permitindo uma rápida adaptação a mudanças irregulares.
   • Limite de Regret: $O(\bar{\sigma}_I \sqrt{w})$ em qualquer intervalo contíguo de comprimento $w$, assumindo no máximo uma transição por janela.

Ambos os algoritmos são leves, exigindo apenas $O(K \log K)$ de computação por rodada e $O(K)$ de estado de memória, sem treinamento online ou aceleradores externos. Eles dependem de feedback de informação completa, onde uma única medição de radar avalia todas as $K$ políticas simultaneamente, não incorrendo em custos adicionais de sensoriamento.

Principais Contribuições

• Formulação: Os autores tratam a busca de UAV como seleção de política online sobre uma biblioteca finita, modelando a incerteza via framework SEA para derivar limites de regret dependentes do problema que escalam com a dificuldade real do ambiente, em vez de suposições de pior caso.
• Algoritmo SEARCH: Um selecionador OFTRL que alcança um limite de regret de $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, decompondo efetivamente o custo em ruído estocástico e penalidades de troca.
• Algoritmo W-SEARCH: Uma variante de janela que alcança regret adaptativo $O(\bar{\sigma}_I \sqrt{w})$ em intervalos de comprimento $w$, abordando especificamente o problema da inércia em missões que mudam rapidamente.
• Modularidade: A abordagem é ortogonal à construção da biblioteca de políticas; ela serve como uma camada de seleção online que pode ser aplicada sobre qualquer pool de detectores pré-treinados.

Resultados Experimentais
Os autores validam sua abordagem através de simulações com $K=4$ políticas em vários cenários não estacionários ($T=150$):

• Redução de Regret: Comparado a baselines não adaptativos (UCB, Exp3, OMD), os métodos propostos alcançam até 30% de redução de regret.
• Velocidade de Adaptação: O SEARCH concentra o peso na política ótima dentro de 10 passos após uma mudança de regime.
• Performance de Janela: O W-SEARCH demonstra vantagens significativas em ambientes de mudança rápida. Em cenários com transições frequentes, ele reduziu o regret final em 60% a 72% em comparação ao algoritmo SEARCH global.
• Robustez: A abordagem de janela permanece robusta a padrões de troca irregulares e níveis de ruído variáveis ($\sigma \in [0.05, 0.4]$), embora a vantagem relativa diminua ligeiramente em níveis de ruído muito altos, onde são necessárias mais observações por segmento.
• Escalabilidade: Ambos os algoritmos escalam bem com o número de políticas ($K$), com o W-SEARCH mostrando desempenho superior conforme o espaço de ação cresce para $K=16$.

Significância e Alegações
O artigo alega que, ao ir além de modelos puramente adversariais ou puramente estocásticos, o framework SEA permite uma compreensão mais matizada dos ambientes de busca de radar por UAV. A principal significância reside em fornecer soluções de bordo leves, que podem rastrear políticas ótimas em tempo real sem conhecimento prévio da dinâmica da cena. Os autores enfatizam que sua abordagem alcança taxas estocásticas próximas do ideal em ambientes estacionários, enquanto relaxa para taxas não estacionárias quando as mudanças são frequentes, tudo isso mantendo as restrições computacionais necessárias para nós de rede IoT de baixa altitude. O trabalho visa especificamente a "camada de seleção online", deixando a construção da biblioteca de políticas offline para trabalhos complementares (ex: [5]), oferecendo assim uma solução modular para sensoriamento adaptativo.