Are Pretrained Image Matchers Good Enough for SAR-Optical Satellite Registration?

1. Problema y Contexto

La registro cruzado entre imágenes ópticas y de Radar de Apertura Sintética (SAR) es un cuello de botella crítico para la respuesta a desastres mediante teledetección. Cuando ocurren huracanes, la cobertura de nubes hace que las imágenes ópticas sean inutilizables, dejando al SAR como la única modalidad de observación. Para realizar evaluaciones de daños georreferenciadas, es necesario alinear las nuevas imágenes SAR con mapas base ópticos preexistentes.

El desafío principal radica en la gran brecha de apariencia entre ambas modalidades:

• Óptico: Captura luz reflejada, con texturas ricas y estructuras visuales familiares.
• SAR: Emite pulsos de microondas, generando ruido de speckle, distorsiones geométricas por la adquisición lateral (layover) e inversión de contraste.

Aunque existen "matchers" (emparejadores) de imágenes preentrenados modernos, la mayoría se desarrollan y evalúan en dominios de imágenes naturales (terrestres, interiores). Los autores se preguntan si estos modelos preentrenados pueden transferirse eficazmente (zero-shot) al dominio satelital cruzado sin un ajuste fino específico, o si se requieren métodos específicos para teledetección.

2. Metodología

Los autores evaluaron 24 familias de emparejadores preentrenados bajo un protocolo estricto de zero-shot (sin fine-tuning ni adaptación de dominio en datos satelitales).

• Protocolo de Evaluación:
  • Inferencia por mosaicos (Tiled Inference): Las imágenes grandes se dividen en superposiciones (tiles) para manejar la resolución y el contexto.
  • Filtrado Geométrico Robusto: Uso de RANSAC con modelos afines o de homografía para filtrar correspondencias.
  • Métricas Basadas en Puntos de Control: Se utilizan puntos de anclaje (tie-points) verificados manualmente en los conjuntos de datos.
• Conjuntos de Datos:
  • SpaceNet9: 3 escenas con puntos de control manuales (urbano/suburbano/agrícola).
  • SRIF: 600 pares con etiquetas afines (Óptico-SAR, Óptico-Óptico, Óptico-Infrarrojo).
  • SARptical: 40 consultas SAR para evaluación de recuperación (ranking).
• Familias de Modelos Evaluados:
  • Basados en detectores + grafos: XFeat, ALIKED, SuperPoint, DISK (todos combinados con LightGlue).
  • Densos sin detector (Foundation Models): LoFTR, XoFTR (entrenado para térmico-visible), RoMa (y sus variantes MINIMA y Tiny), MatchAnything-ELoFTR.
  • Derivados de reconstrucción 3D: MASt3R y DUSt3R (adaptados para matching 2D).

3. Contribuciones Clave

1. Protocolo Reproducible: Establecimiento de un protocolo de evaluación cero-shot estandarizado para registro cruzado de grandes imágenes satelitales, incluyendo inferencia por mosaicos y filtrado geométrico robusto.
2. Evaluación Sistemática: Un benchmark controlado de 24 modelos preentrenados, revelando una transferencia asimétrica: los modelos entrenados explícitamente para modalidades cruzadas no superan uniformemente a aquellos entrenados solo en imágenes naturales.
3. Descubrimiento sobre la Sensibilidad del Protocolo: Demostración de que las decisiones de implementación (tamaño de mosaico, modelo geométrico, umbral de inliers) tienen un impacto en la precisión que puede ser hasta 33 veces mayor que el cambio de un modelo a otro.
4. Hipótesis de Invarianza de Modalidad: Sugieren que las características de los modelos fundacionales (como DINOv2 en RoMa) pueden ofrecer una invarianza de modalidad emergente que sustituye parcialmente la necesidad de supervisión cruzada explícita.

4. Resultados Principales

• Rendimiento de los Modelos:

  • Mejores Resultados: XoFTR (entrenado para visible-térmico) y RoMa (entrenado solo en imágenes naturales) lograron el menor error medio reportado de 3.0 píxeles en SpaceNet9.
  • Sorpresa: RoMa, sin entrenamiento cruzado, igualó a XoFTR, sugiriendo que la arquitectura (regresión de deformación densa sobre características DINOv2 congeladas) captura invarianzas suficientes.
  • Modelos 3D: MASt3R y DUSt3R fueron altamente sensibles al protocolo y frágiles bajo configuraciones predeterminadas debido a la geometría casi plana de las imágenes satelitales, que viola sus supuestos de profundidad 3D.
  • Robustez Cruzada: MINIMA-RoMa mostró la mayor consistencia en cero fallos a través de diferentes conjuntos de datos (SpaceNet9 y SRIF).

• Impacto del Protocolo (Hallazgo Crítico):

  • La elección del modelo geométrico es fundamental: El modelo Afín superó consistentemente al de Homografía (error medio de 9.74 px vs 12.34 px), ya que la ortorectificación satelital elimina la distorsión de perspectiva, haciendo que la transformación real sea aproximadamente afín.
  • La normalización de la imagen (ej. Percentil, Z-Score, CLAHE) afecta drásticamente el rendimiento dependiendo del modelo.
  • El tamaño de los mosaicos y el solapamiento son críticos para la estabilidad.

• Tiempo de Ejecución:

  • Existe una compensación clara entre precisión y velocidad. XoFTR destaca como el mejor equilibrio, siendo un orden de magnitud más rápido que la familia RoMa manteniendo una precisión de primer nivel.

5. Significado y Conclusiones

El estudio concluye que los emparejadores preentrenados modernos son "suficientemente buenos" para el registro óptico-SAR en un escenario de despliegue zero-shot, siempre que se utilice un protocolo de implementación adecuado.

• Conclusión Principal: No es necesario entrenar modelos desde cero con datos satelitales cruzados para obtener buenos resultados; la combinación de arquitecturas robustas (como RoMa o XoFTR) con un protocolo de ingeniería correcto (geometría afín, mosaicos adecuados) es suficiente.
• Recomendación Práctica: Para el despliegue, se recomienda usar MINIMA-RoMa o RoMa con normalización Z-Score o Percentil, geometría afín, y mosaicos de 768x768 píxeles con solapamiento.
• Implicación para el Futuro: El diseño de futuros emparejadores debe priorizar la invarianza de modalidad emergente en modelos fundacionales y la robustez ante la geometría satelital, en lugar de depender exclusivamente de la supervisión cruzada explícita.

En resumen, el trabajo demuestra que la brecha entre el dominio de imágenes naturales y el satelital puede superarse mediante la selección inteligente de modelos existentes y, más importante aún, mediante la optimización del protocolo de inferencia, que a menudo es más determinante que la elección del modelo en sí.