Assessing Vision-Language Models for Perception in Autonomous Underwater Robotic Software

A continuación presento un resumen técnico detallado del artículo "Evaluación de Modelos Visión-Lenguaje para la Percepción en Software de Robótica Submarina Autónoma", traducido y estructurado en español.

1. Problema y Contexto

Los Robots Submarinos Autónomos (AUR, por sus siglas en inglés) operan en entornos hostiles caracterizados por baja visibilidad, condiciones de agua inestables y ruido visual. Estas condiciones dificultan el desarrollo de módulos de percepción fiables, esenciales para tareas como la recolección de basura submarina o la inspección de infraestructuras.

• Limitaciones actuales: Los enfoques tradicionales de aprendizaje profundo (Deep Learning) dependen de grandes volúmenes de datos etiquetados, que son escasos y ruidosos en entornos submarinos. Además, estos modelos suelen fallar al detectar objetos no presentes en sus conjuntos de entrenamiento.
• La promesa de los VLM: Los Modelos Visión-Lenguaje (VLM) ofrecen una alternativa prometedora debido a su capacidad de generalización a objetos no vistos, su comprensión de datos multimodales y su razonamiento contextual. Sin embargo, su fiabilidad, incertidumbre y adecuación para el software crítico de AURs desde una perspectiva de ingeniería de software no han sido estudiadas empíricamente.
• Necesidad industrial: El socio industrial del proyecto (DNV AS) requiere evidencia empírica para asegurar la integración de VLMs en sistemas ciberfísicos autónomos marítimos, cumpliendo con estándares de seguridad y gestión de riesgos.

2. Metodología

El estudio presenta una evaluación empírica sistemática diseñada para responder a tres preguntas de investigación (RQ).

Diseño Experimental

• Modelos Evaluados: Se seleccionaron cuatro VLMs de código abierto recientes (lanzados en 2024 o posterior), todos con aproximadamente 7 mil millones de parámetros para garantizar una comparación justa:
  1. BLIP (InstructBLIP)
  2. DeepSeek (DeepSeek-VL2)
  3. LLaVA (LLaVA-1.6)
  4. QWen (QWen2.5-VL)
• Conjuntos de Datos: Se utilizaron dos benchmarks públicos de imágenes submarinas:
  • TrashCan1.0: Enfocado en basura, objetos artificiales, fauna y flora.
  • SeaClear: Incluye escenas profundas y someras, con énfasis en desechos plásticos y escombros.
• Configuración: Los modelos se evaluaron en modo zero-shot (sin fine-tuning) utilizando un prompt estandarizado para la clasificación multietiqueta de cuatro categorías: Basura (Trash), Objetos (Object), Animales (Animal) y Vegetación (Vegetation).
• Métricas de Evaluación:
  • RQ1 (Rendimiento): F1 Score (Macro y Micro) e Índice de Jaccard.
  • RQ2 (Cuantificación de Incertidumbre): Métricas basadas en probabilidad (MSP, PCS, Entropía, Deep Gini) y métricas de calibración (ECE, MCE).
  • RQ3 (Relación Rendimiento-Incertidumbre): Análisis de correlación entre la precisión del modelo y su confianza/calibración.

3. Contribuciones Clave

1. Evaluación Empírica: Primer estudio que evalúa sistemáticamente la capacidad de cuatro VLMs modernos para detectar objetos en imágenes submarinas sin entrenamiento previo.
2. Análisis de Incertidumbre y Calibración: Estudio profundo de la relación entre el rendimiento, la confianza (confidence) y la calibración, demostrando que la alta confianza no garantiza un buen rendimiento en entornos submarinos.
3. Guía para la Ingeniería de Software: Proporciona evidencia para que los ingenieros de software seleccionen VLMs adecuados para módulos de percepción en AURs, priorizando la calibración sobre la mera confianza.

4. Resultados Principales

Rendimiento (RQ1)

• Mejores Modelos: BLIP y DeepSeek obtuvieron los mejores resultados globales. BLIP fue ligeramente superior en la mayoría de las métricas agregadas.
• Desempeño por Clase:
  • Basura y Objetos: BLIP y DeepSeek superaron significativamente a LLaVA y QWen (ej. BLIP alcanzó un F1 de 0.76 para basura y 0.87 para objetos en datos agregados).
  • Animales y Vegetación: Todos los modelos mostraron un rendimiento pobre (F1 < 0.45), indicando que los VLMs actuales no están suficientemente adaptados para la clasificación fina de vida marina y flora sin fine-tuning.
• Peor Desempeño: LLaVA generalmente tuvo el peor rendimiento, excepto en la detección de vegetación en SeaClear.

Incertidumbre y Calibración (RQ2)

• Confianza vs. Realidad: LLaVA fue el modelo más "confiado" (alta puntuación en MSP y PCS) y con menor incertidumbre aparente, pero estaba mal calibrado. Esto indica una sobreconfianza peligrosa: el modelo cree que tiene razón cuando a menudo se equivoca.
• Fiabilidad: BLIP fue el modelo mejor calibrado. Aunque mostró una confianza ligeramente menor y una incertidumbre mayor que LLaVA, sus estimaciones de probabilidad coincidían mejor con su rendimiento real. Esto lo hace más fiable para aplicaciones críticas.
• DeepSeek y QWen ocuparon posiciones intermedias, con QWen mostrando una calibración deficiente similar a LLaVA en algunos aspectos.

Relación Rendimiento-Incertidumbre (RQ3)

• Se descubrió que un alto rendimiento no se correlaciona necesariamente con una alta confianza o baja incertidumbre.
• Los modelos de mejor rendimiento (BLIP, DeepSeek) mostraron una calibración superior, mientras que los modelos de peor rendimiento (LLaVA) mostraron la mayor sobreconfianza.
• Conclusión: Para la selección de VLMs en AURs, se debe priorizar el rendimiento junto con una buena calibración, en lugar de buscar simplemente modelos que muestren alta confianza.

5. Significado y Conclusiones

El estudio concluye que, aunque los VLMs tienen un gran potencial para la percepción en robótica submarina, no están listos para un despliegue autónomo total y directo en todas las categorías de objetos, especialmente en fauna y flora.

• Recomendación de Uso: Los VLMs deben utilizarse como componentes de apoyo en el software de AURs (por ejemplo, para manejar casos donde los modelos de Deep Learning tradicionales fallan o muestran alta incertidumbre) o integrados en gemelos digitales para simulación y validación, en lugar de ser el único módulo de percepción.
• Implicaciones Industriales: Para la industria marítima, la evaluación de la calibración es tan crítica como la precisión. La integración de VLMs requiere estrategias de prueba que consideren la incertidumbre a nivel de token para garantizar la seguridad operativa.
• Futuro: Se sugiere que un fine-tuning ligero podría mejorar el rendimiento en clases específicas (animales/vegetación), y se necesita más investigación para integrar estos modelos en flujos de trabajo de certificación regulatoria marítima.

En resumen, el trabajo demuestra que BLIP es actualmente la opción más fiable para tareas de detección de basura y objetos en AURs debido a su equilibrio entre rendimiento y calibración, advirtiendo contra el uso de modelos altamente confiables pero mal calibrados como LLaVA en contextos de seguridad crítica.