Resumen Técnico Detallado: 4º Taller de Visión por Computadora Marítima (MaCVi) en CVPR 2026

1. Introducción y Problema

El 4º Taller de Visión por Computadora Marítima (MaCVi 2026), organizado como parte de CVPR 2026, aborda los desafíos únicos de la percepción visual en entornos marítimos. Estos entornos presentan dificultades críticas como iluminación dinámica, reflejos, oclusiones y condiciones de baja visibilidad (nocturnas o con niebla), que degradan el rendimiento de los sistemas de visión tradicionales basados en RGB.

El objetivo principal de este taller es evaluar y fomentar el desarrollo de algoritmos de visión por computadora que no solo sean precisos, sino también factibles para su implementación en tiempo real en hardware embebido (como Vehículos Superficiales No Tripulados - USV). El taller se centra en cinco desafíos de referencia (benchmarks) que cubren desde la asociación de datos visuales con cartas náuticas hasta la segmentación semántica multimodal y la detección térmica.

2. Metodología y Estructura de los Desafíos

El taller evaluó cinco tracks específicos, cada uno con protocolos de evaluación y restricciones de hardware definidos:

A. Asociación de Datos Visuales a Cartas (Vision-to-Chart)

• Objetivo: Asociar ayudas a la navegación visibles (boyas) en una imagen RGB monocromática con marcadores específicos de una carta náutica.
• Desafío: Manejar oclusiones, reflejos y puntos de vista de larga distancia.
• Enfoque Metodológico: Los métodos ganadores integraron priors geométricos explícitos. En lugar de depender únicamente de la detección visual, los equipos proyectaron información de la carta al espacio de la imagen, estimaron la línea del horizonte (skyline) para compensar el balanceo del barco y utilizaron la orientación IMU para calibrar las regiones de interés (ROI).
• Métricas: Precisión, Recall, F1, mIoU y una puntuación global.

B. Detección de Objetos Térmicos (Thermal Object Detection)

• Objetivo: Detectar obstáculos y embarcaciones en imágenes térmicas infrarrojas, cruciales para la navegación nocturna.
• Dataset: Maritime Collision Avoidance Dataset (704 imágenes de entrenamiento, 381 de prueba ocultas).
• Enfoque Metodológico: La tendencia dominante fue el uso de ensambles multi-arquitectura (combinando modelos como Co-DINO, DETR, RTMDet) fusionados mediante Weighted Boxes Fusion (WBF).
  • Aprendizaje Semi-supervisado: El primer lugar utilizó pseudo-etiquetado en las imágenes de prueba no etiquetadas para refinar el modelo.
  • Mejoras de Contraste: Aplicación de CLAHE (Equalización de Histograma Adaptativa Limitada por Contraste) para mejorar el contraste en imágenes térmicas.
  • Resolución: El uso de resoluciones de inferencia más altas (hasta 1600x1600) fue clave para detectar objetos pequeños (muchos < 32x32 píxeles).

C. Segmentación Panóptica LaRS (LaRS Panoptic Segmentation)

• Objetivo: Segmentar escenas desde la perspectiva de un USV, diferenciando entre "cosas" (objetos dinámicos como barcos, nadadores) y "sustancias" (agua, cielo, obstáculos estáticos).
• Enfoque Metodológico: Los métodos líderes utilizaron arquitecturas Mask-Transformer (Mask2Former, MaskDINO) con backbones preentrenados a gran escala y auto-supervisados (DINOv3).
  • Se observó que, aunque los backbones auto-supervisados mejoraron la robustez en condiciones difíciles (lluvia, niebla), la detección de objetos pequeños y densos sigue siendo un cuello de botella.
  • Estrategias de re-muestreo para clases raras y crops específicos para objetos dinámicos mejoraron el rendimiento.

D. Segmentación Semántica Embebida (Embedded Semantic Segmentation)

• Objetivo: Lograr segmentación de obstáculos en tiempo real en dispositivos embebidos de bajo consumo (Luxonis OAK4).
• Restricciones: Modelos exportables a ONNX, grafos de computación estáticos, entrada de 768x384 y >30 FPS.
• Métrica Principal: Puntuación de calidad combinada $Q = F1 \cdot mIoU$.
• Enfoque Metodológico:
  • DSOS-Net: Utilizó un backbone ConvNeXt preentrenado con DINOv3 y un decodificador ligero basado en RSOS-Net.
  • PIDNet-S: Se enfocó en la eficiencia de cuantización (INT8) y aumentos de datos tipo "Copy-Paste" de obstáculos externos para mejorar la detección de objetos raros.
  • Trade-off: Se evidenció una clara compensación entre la precisión (mIoU) y la velocidad de inferencia (FPS).

E. Segmentación Semántica Multimodal (Multimodal Semantic Segmentation)

• Objetivo: Segmentación utilizando entradas sincronizadas de RGB, Térmico y LiDAR, manteniendo la robustez cuando una modalidad falla o está degradada (ej. noche).
• Enfoque Metodológico:
  • GatedMemorySAM: Adaptó el modelo SAM2 (Segment Anything Model) para tratar las modalidades como "frames" temporales, utilizando una red de puertas (gating) y LoRA (Low-Rank Adaptation) suave para fusionar características.
  • Simulación Nocturna: Dado que el entrenamiento fue diurno y la prueba nocturna, la aplicación de aumentos de simulación de noche (oscurecimiento, ruido, corrección gamma) fue crítica para el rendimiento.

3. Contribuciones Clave

1. Evaluación Holística: No solo se mide la precisión, sino también la viabilidad de implementación en hardware real (FPS, consumo, cuantización).
2. Validación de Priors Geométricos: Demostración de que integrar conocimiento físico (horizonte, IMU, cartas) supera a los enfoques puramente basados en aprendizaje profundo en tareas de asociación.
3. Eficacia del Aprendizaje Semi-supervisado y Ensamble: Confirmación de que, con datos limitados, los ensambles de múltiples arquitecturas y el uso de pseudo-etiquetas son estrategias superiores.
4. Adaptación de Modelos Foundation: Uso exitoso de modelos base auto-supervisados (DINOv3, SAM2) adaptados a dominios marítimos específicos, aunque con desafíos persistentes en objetos pequeños.
5. Recursos Abiertos: Publicación de datasets, códigos base, y resultados detallados en macvi.org, fomentando la reproducibilidad.

4. Resultados Cuantitativos Destacados

• Asociación Visión-Carta: El método ganador (HD Korea Shipbuilding) logró una puntuación global de 0.7646, superando significativamente al baseline (0.3333), gracias a la calibración basada en la línea del horizonte.
• Detección Térmica: El primer lugar (Schneider Electric Taiwan) alcanzó un AP de 0.4868 mediante un ensamble de 6 modelos y aprendizaje semi-supervisado, superando al baseline (0.3137). La detección de objetos pequeños (<32px) siguió siendo el mayor desafío.
• Segmentación Panóptica: El método ganador (M2F-DINOv3) obtuvo 53.5 PQ, acercándose al estado del arte (PanSR con 57.3 PQ), pero mostrando una brecha significativa en la detección de "cosas" (objetos dinámicos) pequeñas.
• Segmentación Embebida: El método DSOS-Net logró la mejor puntuación de calidad Q = 61.9 con 66.5 FPS, equilibrando precisión y velocidad.
• Multimodal: El método GatedMemorySAM logró un mIoU de 70.9 en la prueba nocturna, demostrando que la fusión multimodal y la simulación de condiciones adversas son esenciales para la seguridad nocturna.

5. Significado e Impacto

Este reporte de MaCVi 2026 marca un hito en la investigación de visión marítima al desplazar el enfoque desde la mera optimización de métricas en datasets estáticos hacia la robustez operativa en condiciones reales y restricciones de hardware.

• Para la Industria: Proporciona un mapa de ruta claro sobre qué arquitecturas y estrategias (ensambles, priors geométricos, backbones auto-supervisados) funcionan mejor en escenarios de navegación autónoma.
• Para la Academia: Destaca la necesidad de desarrollar métodos que sean invariantes a la iluminación y capaces de generalizar a objetos pequeños y densos, sugiriendo que la combinación de preentrenamiento a gran escala con estrategias específicas de dominio es el camino a seguir.
• Futuro: El taller introduce el "Generalist Meta Challenge" para evaluar la versatilidad de los modelos a través de múltiples tareas, aunque en esta edición aún no hubo participantes, señalando una dirección futura hacia modelos de propósito general en el dominio marítimo.

En conclusión, MaCVi 2026 demuestra que la visión por computadora marítima está madurando hacia sistemas híbridos que combinan la potencia del aprendizaje profundo moderno con el conocimiento físico y las restricciones de ingeniería de sistemas embebidos.