MATANet: A Multi-context Attention and Taxonomy-Aware Network for Fine-Grained Underwater Recognition of Marine Species

Resumen Técnico: MATANet para Reconocimiento Marino de Alta Finesa

Enunciado del Problema
El reconocimiento visual de alta finesa (FGVC) de organismos marinos es crítico para la investigación ecológica, el monitoreo de la biodiversidad y las políticas de conservación. Sin embargo, los enfoques existentes a menudo dependen en gran medida de representaciones centradas en el objeto o en la Región de Interés (ROI), lo que puede impedir capturar las interacciones entre los organismos objetivo y sus entornos circundantes. Además, la estructura jerárquica de la taxonomía biológica se subutiliza frecuentemente en el aprendizaje de representaciones. Estas limitaciones obstaculizan el rendimiento discriminativo en escenas submarinas desafiantes donde organismos visualmente similares aparecen bajo diversas condiciones ambientales. Adicionalmente, la escasez de taxónomos capaces de realizar una identificación manual fiable hace necesario contar con sistemas automatizados y robustos para un análisis escalable.

Metodología
Los autores proponen MATANet (Red de Atención Multi-contexto y Consciente de la Taxonomía), un marco diseñado para imitar las prácticas de identificación taxonómica experta mediante el modelado conjunto de la morfología a nivel de organismo, el contexto ambiental y la jerarquía taxonómica. La arquitectura comprende dos módulos principales:

1. Módulo de Atención Ambiental Multi-contexto (MCEAM):

   • Entrada: El módulo procesa la ROI principal (organismo objetivo) junto con múltiples regiones contextuales centradas en la ROI a diferentes escalas (por ejemplo, escalas de 3×, 5× y de imagen completa).
   • Mecanismo: Utilizando una columna vertebral compartida de Vision Transformer (ViT) (inicializada con pesos DINOv2), MCEAM emplea un mecanismo de atención cruzada. La representación de la ROI sirve como consulta, mientras que las representaciones de parches de las regiones contextuales multi-escala sirven como claves y valores.
   • Función: Esto permite que el modelo preste atención selectiva a señales ambientales informativas (como el sustrato, organismos cercanos y configuraciones de hábitat) condicionadas a la representación del organismo objetivo. Las características conscientes del contexto resultantes se concatenan con la representación de la ROI y se proyectan en un espacio latente unificado.

2. Módulo de Aprendizaje de Representación Consciente de la Jerarquía (HRLM):

   • Mecanismo: HRLM utiliza la jerarquía taxonómica (por ejemplo, Orden, Familia, Género) como supervisión auxiliar durante el entrenamiento. No funciona como un clasificador jerárquico para la inferencia final, sino actúa como un regularizador para el espacio de incrustaciones.
   • Función: Una incrustación transformada se alimenta a clasificadores auxiliares específicos por nivel. El módulo calcula una pérdida jerárquica ($L_{hier}$) basada en niveles taxonómicos superiores válidos, fomentando que las incrustaciones aprendidas reflejen relaciones taxonómicas a través de los niveles sin imponer restricciones de predicción rígidas en la salida final.
   • Objetivo: El objetivo total de entrenamiento combina la pérdida de clasificación principal ($L_{cls}$) sobre la etiqueta objetivo más fina disponible con la pérdida jerárquica auxiliar ($L_{total} = L_{cls} + \lambda L_{hier}$).

Contribuciones Clave

• MCEAM: Introduce un mecanismo para modelar la atención cruzada entre la región del objeto principal y el contexto ambiental multi-escala, abordando las limitaciones de las tuberías centradas en la ROI mediante la integración de detalles morfológicos locales con señales a nivel de hábitat.
• HRLM: Diseña una estrategia de aprendizaje de representaciones que utiliza la jerarquía taxonómica como supervisión auxiliar por niveles para regularizar el espacio de incrustaciones, promoviendo representaciones semánticamente estructuradas que reflejan relaciones biológicas.
• Evaluación Exhaustiva: Se realizaron experimentos extensos en FathomNet2025 y LifeCLEF2015-Fish (conjuntos de datos marinos) y FAIR1M (conjunto de datos de teledetección) para evaluar el rendimiento a través de diversas resoluciones, complejidades ambientales y estructuras de etiquetas.
• Logro en Puntuación: El método propuesto obtuvo el primer lugar en el Reto FathomNet 2025 en el taller FGVC12 de CVPR 2025.

Resultados Experimentales

• FathomNet2025: MATANet logró la Distancia Jerárquica (HD) más baja tanto en los conjuntos de prueba Públicos como Privados, con un HD promedio ponderado de 1.658 (configuración M4) y 1.54 (configuración M5 con una columna vertebral más grande), superando a bases fuertes como ResNet, Swin Transformer y modelos FGVC especializados como MSDBN y TransFG.
• LifeCLEF2015-Fish: El modelo demostró mejoras consistentes, alcanzando una Precisión (ACC) de 0.787 y una HD de 1.144, superando a todos los modelos de referencia. Se observó que la brecha de rendimiento fue menor que en FathomNet2025, probablemente debido a la menor resolución y a la estructura taxonómica más simple de este conjunto de datos.
• FAIR1M (Transversal de Dominio): En un entorno no submarino, MATANet logró la ACC más alta (0.7395) y la HD más baja (0.973) entre los modelos comparados, lo que sugiere la aplicabilidad del marco más allá de las imágenes marinas, aunque el beneficio de las señales contextuales fue menos pronunciado debido a la diversidad limitada de fondos en el conjunto de datos.
• Estudios de Ablación:
  • La información contextual (MCEAM) redujo significativamente la HD en comparación con las bases de referencia solo de ROI.
  • HRLM mejoró aún más el rendimiento al estructurar el espacio de incrustaciones, superando a otras estrategias conscientes de la jerarquía como HXE y SoftLabel cuando se utilizan como supervisión auxiliar en lugar de un reemplazo de la pérdida principal.
  • La visualización mediante t-SNE confirmó que HRLM fomenta la formación de agrupaciones compactas y conscientes de la taxonomía en el espacio de incrustaciones.

Significado y Afirmaciones
El artículo afirma que MATANet aborda eficazmente los desafíos del reconocimiento marino de alta finesa al ir más allá de las características de objetos aislados para incorporar el contexto ecológico y la taxonomía biológica que utilizan los expertos. Los autores afirman que:

1. El Contexto es Crítico: El contexto ambiental proporciona señales complementarias que mejoran la discriminación, particularmente para especies sensibles al contexto, aunque puede introducir ambigüedad para algunas categorías.
2. La Estructura Importa: Utilizar la jerarquía taxonómica como supervisión auxiliar, en lugar de solo como un objetivo de predicción, ayuda a aprender representaciones de características más estructuradas y discriminativas.
3. Impacto Práctico: El éxito del marco en el Reto FathomNet 2025 demuestra su viabilidad para la evaluación automatizada de biodiversidad a gran escala.

Los autores reconocen modestamente las limitaciones, señalando que el método depende actualmente de anotaciones de ROI preexistentes (requiriendo un paso de detección en escenarios "en la naturaleza") y que las escalas de contexto fijas pueden no ser óptimas para todos los conjuntos de datos. También señalan que las señales contextuales no son universalmente beneficiosas y a veces pueden introducir ruido o ambigüedad.