Improved Vision-to-Chart Buoy Association with Learned World-to-Image Projection

Resumen Técnico: Asociación Mejorada de Visión a Gráfico de Boyas con Proyección Aprendida de Mundo a Imagen

Definición del Problema
El artículo aborda el desafío de asociación de datos "Visión a Gráfico" (MaCVi 2026), que implica detectar boyas en imágenes de cámaras marítimas y hacer coincidir cada detección con su entrada correspondiente en un gráfico náutico. La dificultad central radica en la proyección geométrica: la línea base del desafío recibe consultas por boya que codifican únicamente la distancia y la demora en el espacio mundial. En consecuencia, el decodificador del transformador debe aprender implícitamente el mapeo complejo de estas coordenadas mundiales a píxeles de imagen, un proceso que depende en gran medida del cabeceo, balanceo y rumbo instantáneos de la embarcación (capturados mediante IMU). El enfoque de la línea base obliga al modelo a descubrir esta relación geométrica desde cero, confiando únicamente en el refinamiento basado en la apariencia.

Metodología
La solución propuesta introduce una modificación ligera a la línea base del transformador de fusión basado en DETR, proporcionando explícitamente un prior espacial al decodificador. La metodología consta de dos etapas principales:

1. QueryMLP (Proyección Aprendida de Mundo a Imagen):
   Se entrena de forma independiente un Perceptrón Multicapa (MLP) dedicado para predecir el "punto de contacto con la línea de flotación" de la boya en la imagen. Este punto se elige como objetivo de predicción porque corresponde directamente a la posición del objeto en el plano del agua y se aproxima mediante el borde inferior-central del cuadro delimitador ($[c_x, c_y + h/2]$).

   • Entradas: El MLP toma seis características derivadas de los datos del gráfico y la orientación de la IMU: distancia normalizada, distancia inversa (recortada para manejar la no linealidad de campo cercano), demora normalizada, cabeceo, balanceo y rumbo.
   • Arquitectura: Una red de cuatro capas ($6 \to 128 \to 128 \to 128 \to 2$) con BatchNorm, ReLU, Dropout y una capa de salida Sigmoid.
   • Entrenamiento: Se entrena con ejemplos emparejados (consulta, IMU, etiqueta) utilizando AdamW y pérdida SmoothL1, convergiendo en la época 585 con un error de validación mediano de 18.4 píxeles.

2. Integración en la Pipeline de DETR:
   Una vez entrenado, el QueryMLP se congela. Durante el entrenamiento y la inferencia de DETR, el cargador de conjuntos de datos ejecuta el MLP en cada consulta del gráfico para generar coordenadas de píxeles predichas. Estas coordenadas se concatenan con la distancia normalizada y la demora originales para formar un vector de consulta aumentado de 4 dimensiones ($q = [dist_{norm}, bearing_{norm}, c_x, c_y + h/2]$).

   • Este vector amplía la dimensión de entrada del MLP de incrustación del decodificador de la línea base de 2 a 4.
   • El decodificador del transformador realiza luego una atención cruzada de estas incrustaciones enriquecidas contra las características de imagen de ResNet-50.
   • Todos los demás componentes arquitectónicos (esqueleto ResNet-50, capas de transformador, funciones de pérdida) permanecen idénticos a la línea base.

Contribuciones Clave

• Priors Espaciales Explícitos: El trabajo reemplaza el aprendizaje implícito de la proyección geométrica con un mapeo aprendido explícito que proporciona al decodificador una ubicación aproximada para cada boya antes de procesar las características de la imagen.
• Objetivo de Punto de Contacto con la Línea de Flotación: Inspirado en trabajos previos de georreferenciación marítima, el método se dirige específicamente al punto de contacto con la línea de flotación como la ubicación más geométricamente significativa en el espacio de imagen para la asociación de boyas.
• Modificación Ligera: El enfoque no requiere cambios en el pesado esqueleto del transformador ni en el bucle de entrenamiento principal del modelo DETR, solo un MLP preentrenado adicional y una modificación en la pipeline de construcción de consultas.

Resultados
El método se evaluó en el conjunto de datos ATON (5,189 muestras) y en el conjunto de pruebas privado retenido del desafío.

• Rendimiento: El enfoque propuesto logró una Puntuación General de 0.7386 en el conjunto de pruebas (calculada como la media de la puntuación F1 y mIoU), ubicándose en segundo lugar entre todas las presentaciones.
  • Métricas del Conjunto de Pruebas: F1 = 0.8055, mIoU = 0.6718.
  • Métricas del Conjunto de Validación: General = 0.7462 (F1 = 0.8171, mIoU = 0.6753).
• Comparación: Al reentrenarse bajo condiciones idénticas, la línea base (utilizando solo distancia y demora) logró una Puntuación General de 0.7193 en el conjunto de validación. El método propuesto demostró una generalización consistente entre los conjuntos de validación y prueba.
• Análisis Cualitativo: Las comparaciones visuales indican que el método propuesto suprime las detecciones falsas positivas en objetos que no son boyas y detecta con éxito boyas omitidas por la línea base, atribuido a la mayor precisión derivada del prior espacial.

Significado y Afirmaciones
El artículo afirma que el significado principal de este trabajo es la reducción de la "carga de razonamiento geométrico" sobre el decodificador del transformador. Al predecir explícitamente dónde debería aparecer una boya basándose en las coordenadas mundiales y la orientación de la embarcación, el modelo puede centrar su capacidad en el refinamiento basado en la apariencia en lugar de aprender la geometría de proyección desde cero.

Los autores notan modestamente limitaciones y direcciones futuras:

• Diseño Congelado: La implementación actual mantiene el QueryMLP congelado durante el entrenamiento de DETR, lo que impide que el decodificador proporcione retroalimentación para refinar las predicciones de píxeles. Se sugiere un entrenamiento conjunto de extremo a extremo como una mejora futura.
• Robustez Ambiental: Aunque el punto de contacto con la línea de flotación es geométricamente estable en condiciones de calma, los autores reconocen que puede ser menos fiable en mares agitados donde la acción de las olas o la salpicadura oscurecen la base de la boya, precisamente las condiciones donde la asociación robusta es más crítica.

El código para la implementación está disponible públicamente.