PlankFormer: Robust Plankton Instance Segmentation via MAE-Pretrained Vision Transformers and Pseudo Community Image Generation

Resumen Técnico: PlankFormer

1. Planteamiento del Problema

El monitoreo de plancton es vital para evaluar la salud de los ecosistemas acuáticos, pero los métodos actuales dependen de un análisis microscópico manual, lo cual es intensivo en mano de obra y requiere expertos en declive. La automatización enfrenta dos desafíos principales:

• Escasez de datos anotados: No existen conjuntos de datos públicos con anotaciones a nivel de píxel para imágenes de comunidades de plancton (imágenes "abigarradas" o crowded images). Crear uno desde cero es prohibitivo debido al costo de la anotación manual.
• Dificultad de segmentación: Las imágenes reales contienen individuos superpuestos, deformaciones por postura y una gran cantidad de escombros (detritos). Los métodos convencionales basados en Redes Neuronales Convolucionales (CNN), como Mask R-CNN, dependen de características locales y sufren una degradación significativa en precisión cuando hay oclusiones, variaciones de tamaño extremas (desde rotíferos de 100 µm hasta copépodos de 1 mm) y alta diversidad de formas.

2. Metodología Propuesta: PlankFormer

Los autores proponen PlankFormer, un marco de trabajo novedoso que combina la generación de datos sintéticos y arquitecturas de Transformadores de Visión (ViT) preentrenadas.

A. Generación de Imágenes de Comunidad Pseudo (PCI)
Para resolver la falta de datos de entrenamiento, se introduce un método para generar automáticamente imágenes sintéticas etiquetadas:

• Síntesis: Se combinan imágenes individuales de plancton (con etiquetas a nivel de píxel) sobre fondos diversos.
• Fondos: Se utilizan dos tipos de fondos:
  1. Regiones extraídas de imágenes reales de comunidades (libres de plancton).
  2. Fondos generados por modelos generativos (StyleGAN3 y DDPM) fine-tuned con imágenes reales.
• Variabilidad: Se aplican transformaciones aleatorias (giro, volteo, escalado) y desenfoque (filtro Gaussiano) a los fondos para simular condiciones microscópicas reales (falta de enfoque).
• Etiquetado: Las máscaras de los individuos se sintetizan automáticamente junto con las imágenes, asignando etiquetas a nivel de familia taxonómica (un equilibrio entre granularidad y generalización).

B. Arquitectura del Modelo

• Codificador (Backbone): Utiliza un Vision Transformer (ViT-Large). A diferencia de las CNN, los ViT capturan características globales de la imagen, lo cual es crucial para distinguir individuos ocluidos o deformados.
• Decodificador: Se emplea el decodificador Mask2Former, que es capaz de manejar múltiples escalas y generar máscaras de instancias.
• Pre-entrenamiento con MAE: Para evitar el sobreajuste debido a la baja diversidad de individuos en las PCI sintéticas, el codificador ViT se pre-entrena utilizando Masked Autoencoders (MAE).
  • El MAE se entrena en un gran conjunto de imágenes individuales de plancton (sin etiquetas de segmentación) mediante una tarea de auto-supervisión: reconstruir partes de la imagen enmascarada.
  • Esto permite que el modelo aprenda características estructurales y de forma robustas, mejorando su capacidad para inferir la forma completa de un plancton parcialmente oculto por escombros.

3. Contribuciones Clave

1. Pipeline de Generación de PCI: Un método automatizado para crear conjuntos de datos de entrenamiento masivos y etiquetados a partir de un número pequeño de imágenes individuales, utilizando modelos generativos para diversificar los fondos.
2. Arquitectura Híbrida ViT-MAE: La primera aplicación de un ViT pre-entrenado con MAE específicamente para la segmentación de instancias de plancton, superando las limitaciones de las CNN en entornos con alta oclusión.
3. Estrategia de Entrenamiento: Una metodología que combina el pre-entrenamiento auto-supervisado en datos no etiquetados con el ajuste fino (fine-tuning) en datos sintéticos generados, logrando alta precisión con menos anotación manual.

4. Resultados Experimentales

El método se evaluó en dos conjuntos de datos reales de Japón:

• Biwako: Imágenes con muchos escombros y individuos pequeños (entorno difícil).
• Tsuruike: Imágenes claras con individuos grandes y pocos escombros.

Hallazgos principales:

• Rendimiento Superior: PlankFormer superó significativamente a los métodos de referencia (Mask R-CNN y Mask2Former con CNN) en el conjunto de datos Biwako, logrando la mayor mAP (0.0738 vs 0.0538 de Mask R-CNN) y AP50.
• Robustez ante Oclusión: La combinación de MAE y ViT permitió una mejor detección de individuos pequeños y ocluidos (mejora en $AP_S$), demostrando que el modelo aprende características globales en lugar de depender solo de bordes locales.
• Efectividad del Pre-entrenamiento: El pre-entrenamiento con MAE fue superior a otras estrategias (UrFound, MoCo, clasificación) y al entrenamiento desde cero.
• Análisis de Ablación: Se demostró que el uso de fondos generados y el desenfoque (blur) mejoró la precisión en entornos complejos (Biwako), aunque en entornos muy limpios (Tsuruike) la diversidad sintética excesiva podría introducir una brecha de dominio menor. Sin embargo, la robustez general es superior.

5. Significado e Impacto

El trabajo de PlankFormer representa un avance significativo hacia la automatización del monitoreo ecológico:

• Reducción de Costos: Permite entrenar modelos de alta precisión sin necesidad de costosas anotaciones manuales a nivel de píxel para miles de imágenes de comunidades.
• Viabilidad en Entornos Reales: Demuestra ser efectivo en condiciones adversas (escombros, oclusiones) que suelen fallar a los métodos actuales, lo cual es crítico para el monitoreo en lagos y océanos reales.
• Generalización: La estrategia de usar ViT pre-entrenado con MAE ofrece una ruta prometedora para otras tareas de visión por computadora en dominios científicos donde los datos etiquetados son escasos y las variaciones de forma son complejas.

En conclusión, PlankFormer establece un nuevo estado del arte en la segmentación de plancton, combinando la generación de datos sintéticos inteligentes con arquitecturas de transformadores avanzadas para resolver problemas de detección en condiciones de alta complejidad visual.