Resumen Técnico: Detección Multimodal para el Patrimonio Cultural Subacuático

Planteamiento del Problema

La detección fiable de objetos es crítica para la investigación, interpretación y conservación del patrimonio cultural subacuático (UCH, por sus siglas en inglés), incluyendo naufragios, asentamientos sumergidos y artefactos. Sin embargo, el desarrollo de sistemas de detección automatizados en este dominio se ve obstaculizado por tres desafíos principales:

1. Escasez de Datos: Existe una falta de conjuntos de datos específicos del dominio con anotaciones detalladas. Los benchmarks subacuáticos existentes (p. ej., URPC2020, RUOD) se centran principalmente en la ecología marina (organismos, escombros) en lugar de estructuras del patrimonio cultural (cerámica, cascos, anclas), que difieren significativamente en su apariencia visual y distribución espacial.
2. Degradación de la Imagen: Los entornos subacuáticos introducen una severa degradación óptica, incluyendo la atenuación de la luz, la dispersión y cambios de color no uniformes (a menudo con matices azul-verdes). Estos factores oscurecen los límites de los objetos, degradan la textura y distorsionan los colores, lo que hace que los detectores basados en RGB estándar sean vulnerables.
3. Composición Compleja de la Escena: Los sitios arqueológicos suelen presentar distribuciones de clases de cola larga, oclusión severa y objetivos de escalas muy diferentes (desde grandes estructuras de cascos hasta pequeñas monedas), lo que complica la detección multiescala.

Metodología: UCH-Net y el Conjunto de Datos WRF

Para abordar estos desafíos, los autores proponen UCH-Net, una red de detección multimodal guiada por la física y consciente del sesgo de color, e introducen el conjunto de datos WRF (Wrecks, Ruins, and Fragmentary heritage - Naufragios, Ruinas y Patrimonio Fragmentario).

1. El Conjunto de Datos WRF

Los autores construyeron un conjunto de datos multimodal dedicado que comprende 4,732 imágenes RGB y sus correspondientes mapas de profundidad recolectados de diversos sitios arqueológicos de aguas profundas en el Golfo de México, el Mar Negro y el Mar Mediterráneo.

• Anotaciones: El conjunto de datos contiene 17,059 instancias anotadas en 21 categorías, incluyendo componentes de madera, vasijas de cerámica, esculturas, monedas y botellas de vidrio.
• Generación de Profundidad: Dado que las imágenes originales carecían de profundidad de verdad de terreno (ground-truth), los mapas de profundidad se generaron utilizando Depth Anything V2, asegurando la alineación espacial con las imágenes RGB para servir como prioris geométricos.
• Características: El conjunto de datos exhibe una distribución de cola larga e incluye condiciones desafiantes como oclusión parcial, truncamiento y una iluminación variable.

2. Arquitectura de UCH-Net

UCH-Net es un detector de doble flujo diseñado para integrar pistas de apariencia (RGB) y de geometría (Profundidad) a través de un mecanismo de fusión guiado por la física. Consta de cuatro componentes principales:

• Backbone de Doble Flujo:

  • Rama RGB: Extrae características de color y textura utilizando módulos C3k2 (CSPNet mejorado), SPPF para la expansión del campo receptivo y atención C2PSA para suprimir el ruido de fondo (p. ej., partículas suspendidas).
  • Rama de Profundidad: Procesa los mapas de profundidad en paralelo para extraer contornos geométricos e información estructural espacial, operando de forma independiente para evitar el desalineamiento semántico prematuro.

• Pirámide de Fusión de Características Duales (DFFP):

  • Adaptado de PANet, este módulo facilita la interacción de características a distintas escalas.
  • Introduce conexiones de salto entre capas que permiten que las características multimodales originales participen directamente en la fusión, mitigando la pérdida de información debida al suavizado por convolución profunda.
  • Emplea una fusión ponderada adaptativa de múltiples rutas para ajustar dinámicamente las contribuciones de diferentes vías de características basadas en las condiciones ópticas subacuáticas.

• Cabezal de Detección Desacoplado Compartido (SDDH):

  • Diseñado para la eficiencia de recursos, este cabezal utiliza una convolución separable por profundidad compartida a través de tres escalas (P3, P4, P5) para la clasificación y regresión.
  • Este diseño reduce el recuento de parámetros mientras fomenta representaciones de objetivos consistentes a través de las escalas, evitando el sobreajuste a patrones de ruido subacuático específicos.

• Módulo de Fusión Consciente del Sesgo de Color (CBFM):

  • Esta es la innovación central para manejar la degradación óptica. El CBFM estima el sesgo de color local, el brillo regional y el contexto de degradación global utilizando características de referencia RGB tempranas.
  • Genera parámetros de escala y sesgo acotados para modular adaptativamente las características RGB de la capa actual.
  • Las características RGB moduladas se fusionan con las características geométricas derivadas de la profundidad mediante puertas (gating) espaciales, de canal y de nivel de píxel. Esto permite que la red dependa de la estructura geométrica en regiones donde el color y la textura están severamente degradados.

Contribuciones Clave

1. Conjunto de Datos WRF: Un nuevo benchmark multimodal para la detección de patrimonio cultural subacuático, que proporciona 4,732 imágenes con 17,059 instancias en 21 categorías, abordando la escasez de datos específicos del patrimonio.
2. Arquitectura UCH-Net: Un novedoso marco de doble flujo que integra las modalidades RGB y de profundidad a través de un mecanismo de fusión consciente del sesgo de color guiado por la física, diseñado específicamente para compensar la degradación óptica subacuática.
3. Ganancias de Rendimiento: El método propuesto demuestra un rendimiento superior tanto en la precisión de detección como en la precisión de localización en comparación con los detectores de estado del arte generales y específicos de entornos subacuáticos.

Resultados Experimentales

Los autores evaluaron UCH-Net en el conjunto de datos WRF y en el conjunto de datos público RUOD, comparándolo con 16 métodos representativos (incluyendo variantes de DETR, la serie YOLO y detectores de dos etapas).

Rendimiento en el Conjunto de Datos WRF

• Precisión General: UCH-Net logró un mAP del 77.5% y un mAP75 del 88.0%.
• Comparación: Superó a la línea base representativa Deformable-DETR por un 12.8% en mAP y un 14.9% en mAP75.
• Estado del Arte: Excedió los resultados más fuertes de la competencia por un 1.2% en mAP75 y un 1.5% en recall.
• Eficiencia: Con 48.8M de parámetros y 143.8 GFLOPs, UCH-Net tiene menos parámetros que varios competidores de alto nivel (p. ej., BSR5-YOLO, U-DECN), pero incurre en costos computacionales más altos que las variantes ligeras de YOLO.

Rendimiento en el Conjunto de Datos RUOD

• UCH-Net logró un mAP del 66.0% y un mAP75 del 72.7%, asegurando las puntuaciones más altas en Precisión, F1-score, mAP50, mAP75 y mAP entre los métodos evaluados.
• Demostró una ventaja de 1.5 puntos porcentuales en mAP75 sobre el segundo mejor método (BSR5-YOLO), resaltando su fuerza en la localización estricta.

Estudios de Ablación

• Modalidad: La adición de la rama de profundidad (DSB) mejoró el mAP en un 1.0% (RUOD) y un 0.8% (WRF).
• Fusión: El módulo CBFM proporcionó ganancias significativas, particularmente en el conjunto de datos WRF (+2.5% mAP), confirmando la utilidad de la modulación de apariencia adaptativa en escenas arqueológicas complejas.
• Componentes: El CBFM completo (combinando Estimación de Prior Físico, Atención de Canal, Espacial y Posicional) produjo los mejores resultados, validando la naturaleza complementaria de estos mecanismos de atención.

Análisis Cualitativo

Las visualizaciones de Grad-CAM++ indican que UCH-Net genera regiones de alta respuesta más concentradas alrededor de los artefactos en comparación con los detectores de propósito general, que a menudo exhiben atención dispersa o falsos positivos en áreas de fondo. UCH-Net mostró robustez en la detección de monedas superpuestas, artefactos parcialmente enterrados y objetos pequeños distantes bajo partículas suspendidas.

Significado y Reivindicaciones

El artículo sostiene que la combinación de un conjunto de datos dedicado y una red de detección guiada por la física ofrece una base técnica viable para el cribado automatizado y la localización de objetos en la arqueología subacuática.

• Precisión de Localización: Los autores enfatizan que la mejora en mAP75 es particularmente significativa para las aplicaciones de patrimonio cultural. La delimitación precisa de la extensión de los objetos es crucial para el recorte de candidatos a objetos, la construcción de inventarios de sitios y las comparaciones de muestreo repetidas, extendiendo el valor del método más allá de la simple detección de presencia.
• Robustez a la Degradación: Al modelar explícitamente el sesgo de color e integrar prioris geométricos, UCH-Net aborda las limitaciones físicas específicas de la imagen subacuática (dispersión y atenuación) que los detectores estándar no logran manejar.
• Aplicación Práctica: El marco se posiciona como una herramienta para apoyar la eficiencia y la consistencia del análisis de imágenes arqueológicas subacuáticas, ayudando potencialmente en la gestión de archivos digitales y el monitoreo de sitios patrimoniales por parte de ROVs, AUVs o buzos.

Limitaciones Reconocidas:
Los autores señalan que los mapas de profundidad son estimados y no medidos, lo que puede introducir errores en entornos de alta dispersión o de baja textura. Además, la división actual del conjunto de datos es ordenada temporalmente en lugar de ser independiente de cada sitio, y el costo computacional (143.8 GFLOPs) puede plantear desafíos para el despliegue en tiempo real en plataformas subacuáticas con recursos limitados. Se sugiere como trabajo futuro incorporar datos de profundidad medidos y la optimización ligera del modelo.