SEArch: Optimistic Policy Selection Between Scene Noise and Drift for UAV Radar Search

Resumen Técnico: SEArch – Selección de Políticas Optimistas entre el Ruido de la Escena y el Desplazamiento para la Búsqueda con Radar de UAV

Planteamiento del Problema
Los Vehículos Aéreos No Tripulados (UAV) equipados con sensores de radar se despliegan cada vez más en misiones de búsqueda de objetivos en entornos dinámicos, como el rescate marítimo y la respuesta ante desastres. Estas misiones enfrentan un desafío fundamental: las estadísticas del radar cambian a medida que el UAV se desplaza a través de entornos no estacionarios (por ejemplo, cambios en los materiales de las paredes, el ruido ambiental o el estado del mar), lo que hace que las estrategias de procesamiento de señales fijas sean subóptimas. Además, estas adaptaciones deben ocurrir en nodos con recursos limitados a bordo y con latencia ultra baja, lo que impide el uso de computación en la nube (cloud offloading).

La dificultad central radica en equilibrar dos fuentes distintas de incertidumbre:

1. Ruido estocástico dentro de la escena: Fluctuaciones dentro de una escena estable causadas por micromovimientos del UAV y el clutter.
2. Desplazamientos de distribución entre escenas: Cambios abruptos o graduales en la distribución de las mediciones a medida que el UAV transiciona entre diferentes regímenes ambientales.

Los métodos existentes suelen abordar solo un régimen: los métodos de aprendizaje en línea adversariales producen límites conservadores independientes de la dificultad real, mientras que los modelos estocásticos no logran capturar los cambios repentinos de escena. El artículo postula que ningún detector único funciona bien en todas las condiciones, lo que requiere un paradigma de múltiples políticas donde el sistema debe seleccionar la política óptima de una biblioteca preentrenada en tiempo real sin conocimiento previo de los desplazamientos de la escena o las escalas de ruido.

Metodología
Los autores formulan el problema de búsqueda de objetivos de UAV como una tarea de Optimización Convexa en Línea (OCO) sobre una biblioteca finita de $K$ políticas especializadas de procesamiento de señales. La métrica de rendimiento es el arrepentimiento (regret), definido como la brecha de pérdida acumulada respecto a la mejor política fija en retrospectiva para cada segmento de escena específico.

Para modelar el entorno, el artículo adopza el marco del Adversario Estocásticamente Extendido (SEA). Este marco descompone la dificultad del problema en:

• $\bar{\sigma}_T^2$: Varianza estocástica acumulada (ruido dentro de la escena).
• $\bar{\Sigma}_T^2$: Variación adversaria acumulada (desplazamiento entre escenas).

El artículo introduce dos algoritmos implementados dentro de este marco:

1. SEARCH (FTRL Optimista):

   • Un selector de Seguimiento del Líder Regularizado Optimista (OFTRL) con una tasa de aprendizaje adaptativa.
   • Predice la pérdida siguiente basándose en la observación anterior ($M_t = \ell_{t-1}$). Esta predicción es precisa dentro de escenas estables, pero falla en las transiciones.
   • La tasa de aprendizaje adaptativa se vuelve automáticamente conservadora cuando se detectan errores de predicción (que indican una transición o alto ruido), evitando la oscilación.
   • Límite de Arrepentimiento: $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, donde $J$ es el número de transiciones de escena. La penalización por cambio crece solo como $\sqrt{J}$.

2. W-SEARCH (OFTRL con Ventana):

   • Diseñado para misiones con cambios de escena frecuentes donde la acumulación de la historia global induce inercia (favoreciendo políticas obsoletas).
   • Restringe las actualizaciones a las últimas $w$ observaciones, realizando un "reinicio duro" cada $w$ rondas.
   • Esto elimina las mediciones obsoletas de escenas previamente recorridas, permitiendo una adaptación rápida a cambios irregulares.
   • Límite de Arrepentimiento: $O(\bar{\sigma}_I \sqrt{w})$ en cualquier intervalo contiguo de longitud $w$, asumiendo como máximo una transición por ventana.

Ambos algoritmos son ligeros, requiriendo solo $O(K \log K)$ de computación por ronda y $O(K)$ de estado de memoria, sin entrenamiento en línea ni aceleradores externos. Dependen de retroalimentación de información completa, donde una sola medición de radar evalúa todas las $K$ políticas simultáneamente, sin incurrir en costos de detección adicionales.

Contribuciones Clave

• Formulación: Los autores presentan la búsqueda de UAV como una selección de política en línea sobre una biblioteca finita, modelando la incertidumbre mediante el marco SEA para derivar límites de arrepentimiento dependientes del problema que escalan con la dificultad real del entorno en lugar de supuestos de peor caso.
• Algoritmo SEARCH: Un selector OFTRL que logra un límite de arrepentimiento de $O(\bar{\sigma}_T \sqrt{T} + \sqrt{J})$, descomponiendo efectivamente el costo en ruido estocástico y penalizaciones por cambio.
• Algoritmo W-SEARCH: Una variante con ventana que logra un arrepentimiento adaptativo $O(\bar{\sigma}_I \sqrt{w})$ en intervalos de longitud $w$, abordando específicamente el problema de la inercia en misiones que cambian rápidamente.
• Modularidad: El enfoque es ortogonal a la construcción de la biblioteca de políticas; sirve como una capa de selección en línea que puede situarse sobre cualquier conjunto de detectores preentrenados.

Resultos Experimentales
Los autores validan su enfoque mediante simulaciones con $K=4$ políticas a través de varios entornos no estacionarios ($T=150$):

• Reducción de Arrepentimiento: En comparación con las líneas base no adaptativas (UCB, Exp3, OMD), los métodos propuestos logran hasta un 30% de reducción de arrepentimiento.
• Velocidad de Adaptación: SEARCH concentra el peso en la política óptima dentro de 10 pasos tras un cambio de régimen.
• Rendimiento de Ventana: W-SEARCH demuestra ventajas significativas en entornos con cambios frecuentes. En escenarios con transiciones frecuentes, redujo el arrepentimiento final entre un 60% y un 72% en comparación con el algoritmo SEARCH global.
• Robustez: El enfoque de ventana sigue siendo robusto ante patrones de cambio irregulares y niveles de ruido variables ($\sigma \in [0.05, 0.4]$), aunque la ventaja relativa disminuye ligeramente ante niveles de ruido muy altos donde se requieren más observaciones por segmento.
• Escalabilidad: Ambos algoritmos escalan bien con el número de políticas ($K$), mostrando W-SEARCH un rendimiento superior a medida que el espacio de acciones crece a $K=16$.

Significancia y Reivindicaciones
El artículo sostiene que, al ir más allá de los modelos puramente adversariales o puramente estocásticos, el marco SEA permite una comprensión más matizada de los entornos de búsqueda de radar de UAV. La principal significancia reside en proporcionar soluciones ligeras a bordo que pueden rastrear políticas óptimas en tiempo real sin conocimiento previo de la dinámica de la escena. Los autores enfatizan que su enfoque logra tasas estocásticas casi óptimas en entornos estacionarios mientras se relaja hacia tasas no estacionarias cuando los cambios son frecuentes, todo ello manteniendo las restricciones computacionales necesarias para nodos de red IoT de baja altitud. El trabajo se dirige específicamente a la "capa de selección en línea", dejando la construcción de la biblioteca de políticas offline a trabajos complementarios (por ejemplo, [5]), ofreciendo así una solución modular para la detección adaptativa.