Resumen Técnico: Aprendizaje Multigranular en forma de U para Modelos de Visión-Lenguaje (UPrompt)

1. Planteamiento del Problema

Los Modelos de Visión-Lenguaje (VLM) adaptados mediante el aprendizaje de prompts se enfrentan a un dilema de granularidad fundamental. Los métodos existentes suelen optimizar en una granularidad única y fija, lo que crea un compromiso inherente:

• Prompts Globales: Estrategias como CoOp capturan un contexto amplio pero carecen de conciencia semántica fina, fallando al codificar características locales necesarias para un razonamiento detallado (por ejemplo, con un rendimiento inferior en el conjunto de datos FGVCAircraft).
• Prompts Locales: Los prompts finamente estructurados preservan los detalles locales pero tienen dificultades para integrar suficiente contexto global o modelar las relaciones compositivas entre regiones.

Esta limitación restringe el rendimiento de la adaptación y la generalización en diversas tareas, tales como la recuperación cross-modal, la clasificación de pocos ejemplos (few-shot) y la generalización de base a novel (base-to-novel). Si bien las arquitecturas jerárquicas como U-Net han unificado con éxito las representaciones multinivel en tareas de predicción densa (operando sobre rejillas espaciales de píxeles), transferir estos principios al aprendizaje de prompts no es trivial. El aprendizaje de prompts opera en un espacio de embeddings abstracto donde los prompts textuales carecen de una estructura geométrica inherente, lo que convierte la construcción de representaciones multigranulares significativas y el flujo de información bidireccional en un desafío importante.

2. Metodología: UPrompt

Los autores proponen UPrompt, un marco de aprendizaje de prompts multigranular con forma de U inspirado en U-Net. Este construye representaciones multigranulares paralelas en las modalidades visual y textual, conectadas mediante mecanismos de flujo de información bidireccional.

2.1 Construcción Multigranular en forma de U

El marco extiende los codificadores CLIP a versiones multigranulares ($k \in [1, K]$), que abarcan desde los niveles más gruesos hasta los más finos.

• Modalidad Visual: Construye jerarquías de parches anidadas mediante el agrupamiento espacial progresivo (spatial pooling) en el espacio de embeddings. Partiendo de los tokens de parches más finos ($E^{(K)}_{patch}$), las representaciones más gruesas se derivan recursivamente ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). Los prompts aprendibles se concatenan con estos embeddings agrupados antes de ser introducidos en el codificador de visión.
• Modalidad Textual: Construye jerarquías semánticas mediante el enriquecimiento progresivo. Se extraen las semánticas centrales ($T^{(1)}_{embed}$), y los niveles subsiguientes se generan añadiendo iterativamente elaboraciones específicas de la granularidad ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). Estos se instancian utilizando Grandes Modelos de Lenguaje (LLMs) para generar descripciones textuales jerárquicas (por ejemplo, desde conceptos abstractos hasta descripciones detalladas).

2.2 Mecanismos de Conexión Bidireccional

Para asegurar la consistencia entre niveles y el aprendizaje complementario, UPrompt introduce dos mecanismos clave análogos a las conexiones de salto (skip connections) de U-Net:

1. Mejora en Cascada de Grueso a Fino (CE - Coarse-to-Fine Cascaded Enhancement):

   • Objetivo: Abordar la deficiencia de contexto donde los embeddings finos carecen de guía global.
   • Mecanismo: Inyecta información contextual de grano grueso en los embeddings más finos utilizando atención de granularidad cruzada. El embedding mejorado $\hat{X}^{(k)}$ se calcula atendiendo a la representación mejorada del nivel más grueso $\hat{X}^{(k-1)}$.
   • Efecto: Permite que las características finas extraigan información contextualmente relevante de las representaciones globales, mejorando el modelado local.

2. Supervisión Jerárquica de Fino a Grueso (HS - Fine-to-Coarse Hierarchical Supervision):

   • Objetivo: Abordar la inconsistencia de optimización y la deriva semántica en las granularidades gruesas.
   • Mecanismo: Utiliza las características del nivel más fino (que poseen la correspondencia cross-modal óptima) como "señales de profesor" para supervisar los niveles más gruesos mediante destilación de conocimiento. Se minimiza la divergencia KL entre la distribución de similitud del nivel grueso y la distribución desprendida del nivel fino.
   • Efecto: Asegura la consistencia semántica a través de las escalas, evitando que las representaciones gruesas sufran deriva mientras mantiene su naturaleza complementaria.

2.3 Objetivo General

El objetivo de entrenamiento combina la pérdida de alineación contrastiva en todos los $K$ niveles de granularidad con la pérdida de supervisión jerárquica ($L_{guide}$). Durante la inferencia, el sistema puede seleccionar flexiblemente los niveles de granularidad para equilibrar el rendimiento y la eficiencia, optando por defecto por el nivel más fino para una precisión óptima.

3. Contribuciones Clave

• Marco UPrompt: Un marco inspirado en U-Net que introduce una jerarquía estructurada en la adaptación de visión-lenguaje, superando las limitaciones de escala única mediante vías multigranulares paralelas.
• Flujo de Información Bidireccional: La introducción de la Mejora en Cascada de Grueso a Fino (inyectar contexto global en detalles locales) y la Supervisión Jerárquica de Fino a Grueso (regularizar las granularidades gruesas con la alineación del nivel fino) para asegurar la consistencia semántica y el aprendizaje complementario.
• Validación Exhaustiva: Demostración de un rendimiento superior en 17 evaluaciones, incluyendo recuperación cross-modal, clasificación de pocos ejemplos, generalización de base a novel y escenarios fuera de la distribución (out-of-distribution).

4. Resultados Experimentales

Experimentos extensos validan la efectividad de UPrompt:

• Recuperación Cross-Modal:
  • En MSCOCO, UPrompt supera a MAMET y VPKE por 4.1 y 7.3 rSum, respectivamente.
  • En Flickr30K, alcanza un rSum de 571.1, superando métodos de ajuste fino recientes como DoPL, MAMET y VPKE.
• Generalización de Base a Novel:
  • Logra una Media Armónica (HM) del 82.12% en 11 conjuntos de datos, superando a CoCoA-Mix por 5.09% y superando a TAP y SurPL-G.
  • Se observan ganancias notables en conjuntos de datos desafiantes como FGVCAircraft (+0.79% HM).
• Clasificación de Pocos Ejemplos (Few-Shot):
  • Alcanza un 85.13% de precisión promedio en 11 conjuntos de datos a 16-shot, superando a GalLoP, ProVP-Ref y MMA.
• Eficiencia y Adaptabilidad:
  • Inferencia Adaptativa: Utilizando una estrategia de salida temprana en cascada, UPrompt iguala la precisión de grano fino reduciendo el costo computacional al 48%, logrando una aceleración de 2.1×.
  • Relación Costo-Rendimiento: La configuración de grano medio (UPrompt-M) iguala la precisión de PSRC con solo 1/3 de los FLOPs.
• Robustez:
  • Demuestra una fuerte generalización fuera de la distribución (OOD) (61.22% promedio en variantes de ImageNet), superando a métodos como GalLoP e HiCroPL.
  • El rendimiento se mantiene estable a través de diferentes LLMs (Qwen3, Llama3) utilizados para la generación de la jerarquía de texto.

5. Significado y Reivindicaciones

El artículo afirma que UPrompt proporciona una solución fundamentada para la adaptación de visión-lenguaje al trasladar los principios de aprendizaje de representación jerárquica de U-Net a los VLM basados en prompts.

• Resolución de Compromisos: Resuelve con éxito la limitación de los enfoques de granularidad única al establecer un marco unificado que logra tanto la comprensión global como la precisión local mediante el flujo de información bidireccional.
• Consistencia Semántica: El marco asegura que la consistencia semántica se mantenga a través de las escalas de representación, evitando la degradación que suele verse en módulos multigranulares aislados.
• Flexibilidad: El diseño jerárquico permite compromisos flexibles entre rendimiento y eficiencia, permitiendo que el modelo se adapte a las restricciones de recursos sin una pérdida significativa de precisión.

Los autores reconocen que, aunque es efectivo, la profundidad jerárquica actual es limitada, y el trabajo futuro explorará arquitecturas de multigranularidad más profundas para modelar estructuras semánticas más ricas.