PromptHub: Enhancing Multi-Prompt Visual In-Context Learning with Locality-Aware Fusion, Concentration and Alignment

1. El Problema: Limitaciones del Aprendizaje Visual en Contexto (VICL)

El Aprendizaje Visual en Contexto (VICL) busca completar tareas de visión imitando demostraciones en el espacio de píxeles. Aunque métodos recientes como CONDENSER (Wang et al., 2025) introdujeron la fusión de múltiples prompts (instrucciones visuales) para superar las limitaciones de usar un solo ejemplo, existen deficiencias críticas:

• Fusión a nivel de parche ineficiente: Los enfoques anteriores fusionan la información parche por parche, lo que resulta en una subutilización de las señales informativas y una pérdida de coherencia contextual global.
• Supervisión agnóstica al modelo: Las señales de supervisión utilizadas anteriormente no son lo suficientemente específicas para guiar al modelo de fondo (backbone) a confiar en la representación fusionada.
• Desconfianza del modelo: Debido a las discrepancias entre el prompt fusionado y el par de consulta (query), el modelo tiende a ignorar la información fusionada y confiar únicamente en su capacidad interna, anulando los beneficios del aprendizaje en contexto.
• Ruido en los bordes: La fusión global sin considerar la localidad introduce ruido en los bordes de las imágenes.

2. Metodología: PromptHub

PromptHub es un marco diseñado para fortalecer el aprendizaje multi-prompt mediante una fusión, concentración y alineación conscientes de la localidad. Se basa en la arquitectura MAE-VQGAN y opera en tres etapas principales:

A. Fusión de Prompts Consciente de la Localidad

En lugar de una fusión global o puramente parche a parche, PromptHub introduce un prior de localidad que aplica pesos que decaen espacialmente desde el parche actual.

• Mecanismo: Utiliza una distribución de probabilidad (Gaussiana o Laplaciana) controlada por un hiperparámetro $\sigma$ para definir una matriz de localidad $\Psi$.
• Atención Cruzada Mejorada: Se emplea una atención cruzada adaptativa a la consulta que utiliza este prior para extraer información espacial de los pares de prompts ($N$ pares). Esto permite mantener un campo receptivo global mientras se mitiga el ruido de los bordes, preservando la coherencia estructural.

B. Objetivos de Aprendizaje Complementarios

Para guiar el entrenamiento y asegurar que el modelo confíe y utilice eficazmente los prompts fusionados, se proponen tres objetivos de pérdida que forman un ciclo cerrado:

1. Pérdida de Predicción de Etiquetas ($\mathcal{L}_p$): Mantiene la supervisión base del VICL. Alinea la reconstrucción de la parte enmascarada de la imagen de consulta con la etiqueta real. Es fundamental para que el paradigma funcione.
2. Pérdida de Alineación de Semántica ($\mathcal{L}_s$): Busca que el par de prompt fusionado sea semánticamente idéntico al par de consulta original. Minimiza la discrepancia entre los tokens continuos del prompt fusionado y los tokens discretos del prompt de consulta, asegurando la integridad de la fusión.
3. Pérdida de Utilización ($\mathcal{L}_u$): Diseñada para forzar al modelo de fondo a confiar en la representación fusionada. Utiliza una pérdida de similitud coseno para reducir la disimilitud entre el par de consulta y el par de prompt fusionado, evitando que el modelo "deshidrate" la información externa.

C. Aumento de Datos Orientado a VICL

Durante el entrenamiento, se emplea una estrategia de aumento de datos donde los pares de prompts recuperados se sustituyen aleatoriamente por:

• El par de consulta real (para minimizar la discrepancia y reforzar $\mathcal{L}_u$).
• Pares recuperados aleatoriamente (para introducir ruido controlado y mejorar la robustez y $\mathcal{L}_s$).

3. Contribuciones Clave

1. Estrategia de Fusión Mejorada por Localidad: Un enfoque que equilibra la localidad espacial con el campo receptivo global, permitiendo una extracción de información más completa y precisa que las fusiones puramente globales o parche a parche.
2. Tres Objetivos de Aprendizaje Cooperativos: Un marco de optimización que integra la fusión, la concentración del modelo en los prompts y la predicción contextual, reforzado por técnicas de aumento de datos específicas.
3. Paradigma de Fusión Confiable: Establece un nuevo estándar para la fusión de prompts en VICL, superando las limitaciones de los enfoques anteriores y demostrando superioridad en tareas fundamentales.

4. Resultados Experimentales

Los autores evaluaron PromptHub en tres tareas fundamentales de visión: Segmentación de Primer Plano, Detección de Objetos y Colorización de Imágenes.

• Rendimiento Superior: PromptHub superó consistentemente a los baselines más avanzados (SOTA), incluido CONDENSER.
  • En segmentación, detección y colorización, con un solo prompt ($N=1$), superó a CONDENSER en un 2.3%, 3.0% y 5.1% respectivamente.
  • En configuración multi-prompt ($N=16$), las mejoras fueron de 2.5%, 2.1% y 7.2%.
• Transferibilidad: El modelo entrenado en COCO-5i y probado en Pascal-5i mostró una mejora del 4.1% sobre CONDENSER en configuración multi-prompt, demostrando una fuerte capacidad de transferencia entre dominios.
• Robustez:
  • Retrieval: Funciona bien con diferentes estrategias de recuperación de prompts (aleatoria, no supervisada, supervisada), aunque los recuperadores a nivel de píxel ofrecen los mejores resultados.
  • Desalineación Espacial: PromptHub es significativamente más robusto a desplazamientos espaciales (flips horizontales) que CONDENSER, con una caída de rendimiento mucho menor (-0.66% vs -1.39%).
• Calidad de Fusión: Las visualizaciones de los prompts fusionados muestran que PromptHub genera representaciones suaves y semánticamente coherentes, mientras que CONDENSER tiende a producir patrones ruidosos y de baja calidad.

5. Significado e Impacto

Este trabajo representa un avance significativo en el campo del Aprendizaje en Contexto Visual (VICL) al abordar la problemática de cómo integrar eficazmente múltiples demostraciones visuales.

• Superación de Paradigmas Anteriores: Demuestra que la fusión de prompts no debe ser una simple agregación de parches, sino un proceso consciente de la estructura espacial y la semántica.
• Confianza del Modelo: Al introducir objetivos que fuerzan la "utilización" de los prompts, soluciona el problema de que los modelos de fondo ignoren la información externa.
• Versatilidad: La arquitectura propuesta es agnóstica a la tarea específica y robusta ante variaciones en la recuperación de datos, lo que la hace aplicable en escenarios del mundo real donde la calidad de los prompts puede variar.

En resumen, PromptHub establece un paradigma confiable y de alto rendimiento para la fusión de prompts, moviendo el estado del arte más allá de las aproximaciones parche a parche hacia una integración holística y consciente del contexto local.