QMSR: Query-Conditioned Mask-wise Expert Routing for Robust Open-Vocabulary Underwater Object Retrieval

Resumen Técnico: QMSR para la Recuperación de Objetos Subacuáticos de Vocabulario Abierto Robusta

Declaración del Problema
La recuperación de objetos de vocabulario abierto en entornos subacuáticos enfrenta desafíos significativos debido a factores de degradación complejos como la atenuación, la dispersión, la distorsión de color y el bajo contraste. Aunque la Mejora de Imágenes Subacuáticas (UIE, por sus siglas en inglés) se utiliza comúnmente para mejorar la calidad visual, el artículo demuestra que las estrategias de UIE fijas no necesariamente mejoran el rendimiento de la recuperación. De hecho, los experimentos de los autores muestran que nueve expertos de UIE fijos diferentes suelen tener un rendimiento inferior a la representación de la imagen original sin mejorar en tareas de recuperación de vocabulario abierto.

La dificultad central radica en que la mejora "óptima" no está determinada únicamente por la imagen. Depende de dos factores dinámicos:

1. Dependencia de la Consulta (Query Dependence): Diferentes consultas de lenguaje dependen de diferentes pistas semánticas (por ejemplo, color frente a textura). Una mejora que ayuda a una consulta puede distorsionar características relevantes para otra.
2. Especificidad del Candidato (Candidate Specificity): La degradación subacuática no es uniforme espacialmente. Dentro de una misma imagen, diferentes regiones candidatas (máscaras) pueden preservar distintas cantidades de información relevante para la consulta. Una mejora uniforme aplicada a todos los candidatos puede perjudicar algunas regiones mientras ayuda a otras.

Además, aplicar la mejora de forma ciega puede introducir un desplazamiento semántico (semantic drift), donde las características mejoradas se desvían de la semántica fiable preservada en la representación original. Por lo tanto, el sistema de recuperación requiere un mecanismo para decidir adaptativamente si, cuál y con qué intensidad mejorar cada par específico de consulta-candidato.

Metodología: Marco de Trabajo QMSR
Los autores proponen QMSR (Enrutamiento de Expertos por Máscara Condicionado por Consulta), un marco diseñado para realizar un enrutamiento de mejora adaptativo al nivel de los candidatos semánticos.

• Arquitectura: El sistema toma una imagen subacuática y una consulta de lenguaje como entrada. El modelo Segment Anything Model (SAM) genera máscaras candidatas. Un backbone de visión-lenguaje congelado extrae las características originales ($R_c$) y nueve características de expertos preentrenados y mejorados ($E_{c,e}$) para cada candidato.
• Enrutador de Máscara Condicionado por Consulta: El enrutador predice dos salidas para cada par consulta-candidato:
  1. Preferencia de Experto: Una selección dura de Top-1 de un experto de un conjunto de nueve modelos de UIE heterogéneos.
  2. Fuerza de Fusión: Un valor continuo $\rho_c \in [0, 1]$ que controla la mezcla entre la característica original y la característica del experto seleccionado.
  3. Fusión Anclada a la Original (Raw-Anchored Fusion): La característica final se calcula como $eF_c = (1 - \rho_c)\hat{R}_c + \rho_c\hat{E}_{c, e_c}$. Si $\rho_c$ está por debajo de un umbral, el sistema retiene la representación original por completo.
• Estrategia de Entrenamiento (Supervisión Privilegiada): Dado que la relevancia de verdad de campo (IoU) no está disponible durante la inferencia, los autores introducen un Oráculo de Clasificación Privilegiado solo para el entrenamiento. Este oráculo observa todas las características originales, las nueve características de los expertos y el IoU de verdad de campo para calcular los pesos de mejora óptimos para cada candidato utilizando un objetivo LambdaNDCG@10.
  • El oráculo descompone su solución óptima en una preferencia de experto objetivo y una fuerza de fusión objetivo.
  • El enrutador estudiante es entrenado para imitar estos objetivos mediante pérdidas de destilación.
  • Para manejar la selección Top-1 no diferenciable, se utiliza una relajación de enrutamiento suave amortiguada (annealed soft-routing relaxation) durante las etapas iniciales del entrenamiento, transicionando gradualmente hacia una política de enrutamiento duro.

Contribuciones Clave

1. Formulación del Problema: El artículo formula la mejora subacuática para la recuperación de vocabulario abierto como un problema de enrutamiento condicionado por consulta y específico de cada candidato, alejándose del preprocesamiento uniforme.
2. Mecanismo de Enrutamiento: Introduce un mecanismo de enrutamiento de experto único duro anclado a la original que selecciona un experto por cada par consulta-candidato y controla continuamente su contribución respecto a la representación original, evitando el desplazamiento semántico.
3. Optimización del Entrenamiento: Los autores desarrollan un oráculo de clasificación privilegiado y una relajación de enrutamiento suave amortiguada para optimizar la política de enrutamiento discreta Top-1 sin requerir información privilegiada (características mejoradas o IoU) durante la inferencia.

Resultados Experimentales
El método fue evaluado en cuatro conjuntos de datos subacuáticos (COU, TrashCan, UIIS10K, USIS10K) utilizando NDCG@10 como métrica principal.

• Rendimiento: QMSR mejoró el NDCG@10 en un 17.6% respecto a un enrutador compartido de imagen-consulta y en un 26.4% respecto al mejor experto de UIE fijo (SLURPP). Notablemente, el mejor experto fijo e incluso la representación original fueron superados por el enfoque de enrutamiento adaptativo.
• Generalización: En una evaluación de categorías disjuntas (donde las categorías de consulta de prueba no fueron vistas durante el entrenamiento), QMSR mantuvo su efectividad, logrando una mejora del 8.98% sobre el mejor experto fijo en consultas no vistas.
• Estudios de Ablación:
  • Necesidad de Enrutamiento: Experimentos de transferencia controlada mostraron que el desajuste de las preferencias de los expertos causó una degradación del ranking significativamente mayor que el desajuste de las fuerzas de fusión, confirmando la necesidad de decisiones tanto de consulta como de máscara.
  • Espacio de Acción: El análisis del oráculo privilegiado reveló que un espacio de acción de experto único (selección de un experto + fuerza) captura el 98.3% de la ganancia potencial alcanzable mediante la fusión de múltiples expertos sin restricciones, validando la eficiencia de la selección dura Top-1.
  • Estrategia de Entrenamiento: Se encontró que la relajación de enrutamiento suave amortiguada fue el principal motor de las ganancias de rendimiento, proporcionando un camino de optimización más suave para el problema de enrutamiento discreto.

Significado y Reivindicaciones
El artículo afirma que QMSR demuestra la efectividad del enrutamiento de mejora condicionado por consulta y específico de cada candidato para una recuperación robusta de vocabulario abierto en entornos subacuáticos. Los autores enfatizan que la mejora no debe tratarse como un paso de preprocesamiento universalmente beneficioso, sino como una decisión que depende de si el cambio de características inducido beneficia el objetivo de recuperación específico. Al preservar la semántica original cuando la mejora es innecesaria o perjudicial, y al seleccionar dinámicamente el comportamiento de mejora más apropiado para cada candidato, QMSR logra un rendimiento de recuperación superior en comparación con los procesos de mejora estáticos o las estrategias de enrutamiento compartidas. El trabajo destaca que, para tareas de vocabulario abierto, la utilidad de la mejora está intrínsecamente ligada a la interacción específica entre la consulta y el candidato.