A drone-based framework for coral habitat mapping via weakly supervised segmentation

Resumen Técnico: Un Marco Basado en Drones para la Cartografía de Hábitats de Coral mediante Segmentación Débilmente Supervisada

Planteamiento del Problema
La implementación del aprendizaje automático para la monitorización ecológica a gran escala se ve obstaculizada por el cuello de botella que supone obtener anotaciones a nivel de píxel, las cuales son laboriosas y costosas de producir para extensas áreas de arrecifes. Si bien los Vehículos Aéreos No Tripulados (UAV) ofrecen una cobertura aérea escalable, su imagenología a menudo carece de la resolución necesaria para distinguir morfotipos de coral a escala fina en comparación con las observaciones submarinas. Por el contrario, los Vehículos Superficiales Autónomos (ASV) proporcionan datos submarinos de alta resolución pero cubren extensiones espaciales limitadas. Los métodos existentes de Segmentación Semántica Débilmente Supervisada (WSSS) suelen operar dentro de una sola modalidad o escala espacial, sin abordar el desafío de transferir conocimientos entre modalidades distintas (de submarino a aéreo) y alinear predicciones dispersas y puntuales con ortofotos de alta resolución.

Metodología
Los autores proponen un marco WSSS multiescala que conecta las observaciones submarinas a escala fina con la cartografía aérea a gran escala. El flujo de trabajo consta de seis pasos clave:

1. Adquisición y Clasificación de Datos Submarinos: Se recopilan imágenes geolocalizadas de alta densidad mediante transectos de ASV (separados entre 0,5 y 1 metro). Un modelo de aprendizaje profundo "profesor" (DinoVDeau) clasifica los morfotipos de coral en estas imágenes, generando predicciones de probabilidad puntuales.
2. Interpolación y Rasterización: Las predicciones puntuales se interpolan linealmente para crear rásteres de probabilidad continuos. Para manejar el desequilibrio de clases y los niveles variables de confianza, se aplica una normalización cuantílica específica de clase a los mapas de probabilidad antes de asignar la etiqueta de clase final a cada píxel (argmax de las probabilidades normalizadas).
3. Adquisición de Datos Aéreos: Se generan ortofotos de UAV de alta resolución utilizando la técnica de Estructura a partir del Movimiento (SfM) y se refinan con Puntos de Control Terrestre (GCP) para una georreferenciación precisa.
4. Construcción del Conjunto de Datos: Los rásteres interpolados de ASV se alinean con las ortofotos de UAV y se aumentan en resolución para crear máscaras de segmentación débiles. El conjunto de datos se divide en fragmentos (512×512 píxeles), centrándose en retener las clases distinguibles en la imagenología aérea (por ejemplo, Acropora Ramificada, Acropora Tabular, Masiva No-acropora, Otros Corales y Arena).
5. Entrenamiento del Modelo Estudiante: Un modelo de segmentación semántica basado en transformadores (SegFormer) se entrena con la imagenología de UAV utilizando las máscaras débiles derivadas de ASV. Los autores emplean una función de pérdida Dice basada en regiones para mitigar los efectos del ruido en las etiquetas y el desequilibrio de clases.
6. Refinamiento de Máscaras y Auto-Distilación: Las predicciones iniciales del modelo se refinan utilizando SAMRefiner (adaptando el Segment Anything Model para el refinamiento de máscaras). Estas máscaras refinadas sirven como pseudoetiquetas para reentrenar el modelo SegFormer (Auto-Distilación de Conocimiento), mejorando aún más la precisión espacial sin nuevas anotaciones manuales.

Contribuciones Clave

• WSSS Transmodal: El marco transfiere con éxito información a escala fina desde la imagenología de ASV a los modelos de segmentación de UAV, conectando eficazmente la brecha entre la clasificación submarina y la segmentación aérea.
• Eficiencia en la Anotación: El método elimina la necesidad de etiquetado manual a nivel de píxel de imágenes aéreas, reduciendo la carga de anotación a la tarea más sencilla de clasificar imágenes submarinas.
• Pipeline de Refinamiento: La integración de SAMRefiner y la auto-distilación mejora significativamente la precisión espacial de las máscaras de segmentación derivadas de etiquetas débiles gruesas.
• Extensibilidad: El enfoque demuestra flexibilidad para incorporar nuevas clases (por ejemplo, pepinos de mar) mediante anotación manual limitada o sesiones adicionales de ASV, y puede adaptarse a diferentes arquitecturas de clasificación submarina.

Resultados
El marco se evaluó en dos zonas de arrecifes distintas en la isla de Reunión (lagunas de Trou d'eau y Saint-Leu) utilizando datos de verdad terreno anotados manualmente para la validación.

• Rendimiento: El modelo final (SegFormer B2 con el pipeline de refinamiento completo) logró una precisión de píxeles del 86,07% y un 52,23% de Intersección sobre la Unión media (mIoU) en las zonas de prueba.
• Análisis de Componentes: Los estudios de ablación confirmaron que el pipeline completo (Grueso + Refinado + Destilado) superó a las variantes que utilizaban solo etiquetas gruesas o refinamiento de un solo paso, ofreciendo el mejor equilibrio entre precisión y exactitud espacial.
• Rendimiento por Clase: El modelo funcionó de manera robusta en clases dominantes como la Arena (95,5% de recuperación) y Acropora Ramificada. El rendimiento fue menor para clases visualmente complejas o raras (por ejemplo, mIoU de Otros Corales ~31,6%), atribuido a la variabilidad intraclase y a la ambigüedad espectral en las vistas aéreas.
• Estudios de Caso:
  • Impacto del Ciclón: El modelo cuantificó con éxito la pérdida de coral tras el Ciclón Garance, identificando una pérdida del 89,70% de colonias de Masiva No-acropora en una zona específica al comparar ortofotos pre y post-ciclón.
  • Integración de Nuevas Clases: El marco integró con éxito una clase de "Pepino de Mar" utilizando solo 338 instancias anotadas manualmente, demostrando la capacidad de aprender de nuevos datos dispersos mientras se mantiene un rendimiento razonable en las clases existentes.

Significado y Afirmaciones
El artículo afirma que este marco proporciona una solución eficiente y escalable para implementar modelos de segmentación en entornos ecológicos donde no están disponibles anotaciones a nivel de píxel. Al aprovechar la supervisión débil de estudios submarinos densos, el método permite la segmentación de morfotipos de coral en grandes áreas con detalle de alta resolución. Los autores posicionan esto como una herramienta práctica para la monitorización de la conservación, capaz de detectar cambios ecológicos (como los causados por ciclones) y apoyar la evaluación de la biodiversidad sin los costos prohibitivos de la anotación manual. El estudio enfatiza que, aunque la implementación actual se centra en clases específicas, la metodología es genérica y puede extenderse a otras clases bentónicas o ampliarse a imágenes satelitales, ofreciendo una vía para la teledetección jerárquica en la ecología marina.