Task-Guided Prompting for Unified Remote Sensing Image Restoration

1. El Problema

La restauración de imágenes de teledetección (RSIR) es fundamental para recuperar imágenes de alta fidelidad a partir de observaciones degradadas, lo cual es crucial para aplicaciones posteriores como la detección de objetos y la segmentación. Sin embargo, el campo actual enfrenta dos limitaciones críticas:

• Especialización Excesiva: La mayoría de los métodos existentes se centran en un único tipo de degradación (ej. solo eliminación de nubes o solo eliminación de ruido) y en un solo dominio modal (ej. solo óptico). Esto crea un cuello de botella operativo, ya que en escenarios reales las imágenes suelen sufrir múltiples degradaciones simultáneas (ruido, nubes, sombras, desenfoque) y provienen de sensores heterogéneos (óptico, SAR, infrarrojo térmico).
• Brecha de Dominio: Los modelos unificados desarrollados para imágenes naturales no son directamente transferibles a la teledetección debido a las diferencias físicas en la formación de imágenes (ej. ruido aditivo en óptico vs. ruido multiplicativo en SAR) y la diversidad espectral.

2. Metodología: TGPNet

Para abordar estos desafíos, los autores proponen TGPNet, un marco unificado capaz de manejar la eliminación de ruido, nubes, sombras, desenfoque y el desgranulado (despeckling) de SAR en una sola arquitectura.

• Arquitectura Base: Utiliza una estructura codificador-decodificador en forma de U (adaptada de Restormer) basada en transformadores, que modela dependencias de largo alcance y características locales.
• Estrategia Central: Prompting Guiado por Tareas (TGP): El núcleo de la innovación es el módulo TGP, que permite que una sola red se adapte dinámicamente a diferentes tareas sin cambiar sus pesos principales. Este módulo consta de dos componentes:
  1. Embedding Específico de Tarea Aprendizable (LTSE): Convierte un "prompt" de tarea (un vector inicial) en una representación latente compacta que codifica las características de la degradación específica.
  2. Modulación Jerárquica de Características (HFM): Utiliza el embedding generado para crear parámetros afines (factores de escala $\gamma$ y desplazamientos $\beta$) que modulan las características del decodificador en múltiples escalas. Esto actúa como un "interruptor de contexto físico dinámico", reconfigurando las estadísticas de las características para alinearse con la degradación específica (ej. ruido aditivo vs. multiplicativo) sin necesidad de entrenar modelos separados.
• Entrenamiento: Se emplea una estrategia de entrenamiento conjunto utilizando un banco de pruebas unificado que incluye datos RGB, multiespectrales, SAR e infrarrojos térmicos.

3. Contribuciones Clave

1. Primer Marco Unificado Trans-Dominio: TGPNet es el primer modelo capaz de unificar la restauración de degradaciones heterogéneas a través de modalidades de sensores fundamentalmente distintas (óptico, SAR y TIR) en una sola red guiada por prompts.
2. Estrategia TGP: La propuesta de un mecanismo de "prompting" que guía la modulación jerárquica de características, permitiendo una adaptación dinámica y eficiente de la tarea dentro del decodificador.
3. Nuevo Benchmark Unificado: Los autores han construido y liberarán un benchmark integral para RSIR que cubre cinco tareas de restauración en cuatro modalidades de sensores, llenando un vacío en la evaluación de modelos unificados en teledetección.

4. Resultados Experimentales

Los experimentos se validaron en un conjunto de datos unificado que abarca desde tareas intra-dominio (solo óptico) hasta la unificación completa de tres dominios (óptico, microondas/SAR y térmico).

• Rendimiento General: TGPNet logra un estado del arte (SOTA) en escenarios de múltiples tareas, superando a marcos unificados existentes (como PromptIR, AdaIR, MOCE-IR) y rivalizando o superando a modelos especializados en tareas individuales (ej. supera a CR-former en eliminación de nubes).
• Generalización a Degradaciones Compuestas: El modelo demuestra una capacidad excepcional para manejar degradaciones compuestas no vistas durante el entrenamiento (ej. ruido + nubes). Mediante un procesamiento secuencial (descomponiendo la tarea en sub-tareas ordenadas), TGPNet supera significativamente a los métodos de "prompts directos" o promedios de embeddings.
• Eficiencia: A pesar de su capacidad unificada, TGPNet es computacionalmente eficiente. Con ~21M de parámetros y un tiempo de inferencia de ~60ms, es más rápido que la mayoría de sus competidores de alto rendimiento, ofreciendo un excelente equilibrio entre precisión y velocidad.
• Análisis de Características: Las visualizaciones t-SNE y métricas de agrupamiento (clustering) confirman que el módulo TGP logra una separación clara de las características de diferentes tareas en el espacio latente, algo que el modelo base (sin TGP) no logra.

5. Significado e Impacto

Este trabajo representa un avance paradigmático en la restauración de imágenes de teledetección:

• Viabilidad Operativa: Elimina la necesidad de desplegar múltiples modelos especializados para diferentes sensores o tipos de degradación, simplificando las cadenas de procesamiento operativas.
• Escalabilidad: Demuestra que es posible unificar dominios físicos dispares (óptico vs. SAR) mediante aprendizaje de datos y mecanismos de adaptación dinámica, en lugar de depender de ecuaciones físicas rígidas que a menudo entran en conflicto.
• Futuro: Aunque el modelo actual requiere un conocimiento previo de la tarea (no es ciego), establece una base sólida para futuros sistemas de restauración unificada y escalables en aplicaciones de observación terrestre.

En resumen, TGPNet ofrece una solución práctica y escalable para la restauración multi-tarea y multi-modal, superando las limitaciones de fragmentación de los enfoques actuales y estableciendo un nuevo estándar de rendimiento en el campo.