Resumen Técnico: Aumentar la Robustez de las Predicciones del Modelo ante Sensores Faltantes en Observación de la Tierra

Declaración del Problema

Los modelos de Aprendizaje Automático (ML) multi-sensor para Observación de la Tierra (EO) integran datos de diversas fuentes (por ejemplo, óptica, radar, meteorología) para mejorar la precisión de las predicciones. Sin embargo, la persistencia de los datos de los sensores no puede garantizarse en implementaciones del mundo real debido a fallos técnicos o factores ambientales (por ejemplo, la cobertura de nubes que dificulta las imágenes ópticas). La literatura existente ha abordado los datos faltantes mediante estrategias como el dropout temporal (enfocado en entradas de un solo sensor) o modelos invariantes al sensor (enfocados en imágenes estáticas). Persiste una brecha significativa en el manejo de sensores faltantes dentro de escenarios de series temporales multi-sensor, donde los modelos estándar de ML carecen de robustez inherente, lo que conduce a predicciones sesgadas o fallidas cuando no están disponibles entradas de sensores específicos.

Metodología

Los autores proponen dos métodos novedosos diseñados específicamente para escenarios de series temporales multi-sensor para mejorar la robustez del modelo frente a sensores faltantes:

1. Dropout de Sensor de Entrada (ISensD)

Inspirado en técnicas de aumento de datos, ISensD introduce un mecanismo de Dropout de Sensor (SensD) a nivel de entrada durante el entrenamiento.

• Mecanismo: Para una muestra dada, las características de entrada de sensores completos se enmascaran aleatoriamente.
• Implementación:
  • SensD Estándar: Utiliza un hiperparámetro $r$ (ratio de dropout) donde las características del sensor se enmascaran basándose en una distribución de Bernoulli ($d_s \sim \text{Bernoulli}(r)$).
  • Sin Ratio (NR): Una variante sin parámetros que selecciona aleatoriamente una combinación de todas las combinaciones posibles de sensores faltantes ($2^{|S|} - 1$) para cada lote.
• Entrenamiento: El modelo se entrena con estas entradas enmascaradas utilizando una arquitectura estándar de fusión multi-sensor (fusión a nivel de entrada), optimizando los parámetros para minimizar la pérdida frente a la verdad fundamental.

2. Ensemble Invariante al Sensor (ESensI)

Inspirado en modelos invariantes al sensor, ESensI propone una arquitectura de ensemble con una cabeza de predicción compartida.

• Mecanismo: El modelo emplea codificadores dedicados al sensor ($E_{\theta_s}$) para cada sensor para extraer características, pero utiliza una única cabeza de predicción compartida ($P_\phi$) para todos los sensores.
• Codificación de Sensor: Para asegurar que el modelo sea consciente de qué características del sensor se están procesando, se añade un vector de codificación de sensor aprendible ($\rho_s$) a las características codificadas antes de la cabeza compartida.
• Optimización: A diferencia de los ensembles estándar donde las cabezas específicas del sensor se optimizan de forma independiente, ESensI optimiza conjuntamente los parámetros dedicados al sensor y los parámetros de la cabeza compartida, forzando al modelo a aprender representaciones invariantes entre sensores.

Configuración Experimental

Los métodos se validaron en tres conjuntos de datos temporales EO multi-sensor:

1. CropHarvest (CH): Reconocimiento de múltiples cultivos utilizando Sentinel-2 (óptico), Sentinel-1 (radar), ERA5 (meteorología) y SRTM (topografía).
2. Contenido de Humedad del Combustible Vivo (LFMC): Estimación de humedad de la vegetación utilizando Landsat-8 (óptico), Sentinel-1 (radar) y varios sensores ambientales estáticos.
3. Material Particulado 2.5 (PM25): Regresión de calidad del aire utilizando condiciones atmosféricas, dinámicas y datos de precipitación.

Líneas Base: Los métodos propuestos se compararon con cuatro líneas base de la literatura:

• Entrada: Fusión estándar a nivel de entrada con imputación de media.
• ITempD: Fusión de entrada con Dropout Temporal (adaptado para sensores).
• Característica: Fusión a nivel de características utilizando imputación basada en ejemplos (búsqueda de similitud).
• Ensemble: Agregación de modelos dedicados al sensor, ignorando las predicciones de sensores faltantes.

Métrica de Evaluación: La métrica principal para la robustez fue la Puntuación de Robustez del Desempeño (PRS), que mide el error predictivo relativo de los modelos con sensores faltantes en comparación con los modelos con disponibilidad completa de sensores.

Resultados Clave

• Robustez ante Sensores Faltantes: Tanto ISensD como ESensI demostraron una robustez significativamente mayor (valores PRS más altos) a medida que aumentaba el porcentaje de sensores faltantes, superando a las líneas base estándar (Entrada, ITempD, Característica).
• Superioridad del Ensemble: El método Ensemble estándar (sin la cabeza invariante) resultó ser la arquitectura más robusta en general, a menudo superando al ESensI propuesto en métricas de robustez bruta. Sin embargo, ESensI mejoró al método Ensemble en casos específicos (por ejemplo, conjunto de datos PM25).
• Desempeño de ISensD: El método ISensD mostró una mejora marcada en robustez sobre sus líneas base directas (Entrada e ITempD). La variante sin parámetros "Sin Ratio" (NR) se desempeñó de manera comparable a las versiones de ratio ajustado, sugiriendo que es una alternativa viable.
• Compensación en el Desempeño con Sensores Completos: Una observación crítica fue la compensación entre la robustez y la precisión con sensores completos. Mientras que los métodos Ensemble y ESensI sobresalieron en escenarios con sensores faltantes, a menudo exhibieron un desempeño predictivo inferior (F1/R2) cuando todos los sensores estaban disponibles en comparación con el método estándar de Entrada. Los autores señalan que ISensD se desempeñó peor que la línea base de Entrada en escenarios con sensores completos, lo que sugiere que el modelo podría priorizar en exceso los escenarios de datos faltantes durante el entrenamiento.

Significado y Afirmaciones

El artículo afirma abordar una brecha crítica en la literatura de EO al proporcionar métodos diseñados específicamente para escenarios de series temporales multi-sensor donde los sensores pueden estar faltantes.

• Contribución: La introducción de ISensD y ESensI ofrece estrategias prácticas para aumentar la robustez del modelo sin requerir reentrenamiento cuando los sensores fallan.
• Afirmaciones Modestas: Los autores reconocen que, aunque sus métodos mejoran la robustez, no necesariamente maximizan la precisión predictiva cuando todos los datos están presentes. Afirman explícitamente que la fuente de esta robustez no se comprende totalmente; podría derivar de la adaptabilidad del modelo, un desdén por la información de sensores específicos o la irrelevancia inherente de ciertos datos de sensores para la tarea de predicción específica.
• Trabajo Futuro: Los autores identifican la necesidad de investigar los mecanismos detrás de esta robustez y equilibrar la compensación entre la resiliencia ante sensores faltantes y la precisión con sensores completos.