Resumen Técnico: Replanteando la Asignación de Información por Capas para la Adaptación de Modelos Fundacionales de Visión

Planteamiento del Problema

Los Modelos Fundacionales de Visión (VFM), particularmente los Vision Transformers (ViT), se utilizan cada vez más como espinas dorsales (backbones) congeladas para tareas de reconocimiento visual de dominio descendente. Si bien los métodos de adaptación basados en prompts, como el Ajuste de Prompts Visuales (VPT), ofrecen una alternativa eficiente en parámetros frente al ajuste fino completo (full fine-tuning), su comportamiento por capas sigue siendo poco comprendido. Las observaciones empíricas indican que aumentar la profundidad, la longitud o el rango de inserción del prompt no mejora de manera fiable el rendimiento de la transferencia. En algunos casos, una parametrización de prompts más fuerte conduce a la inestabilidad en el reconocimiento de grano fino, en la transferencia de pocos ejemplos (low-shot) o bajo cambios de distribución.

Los autores argumentan que estas limitaciones no se deben únicamente a problemas de optimización o a una cuestión de capacidad insuficiente de los prompts. En su lugar, surgen de una falta de control principista sobre la asignación de información por capas. Los métodos de prompts existentes a menudo fallan al regular qué representaciones condicionadas por el prompt deben preservar, suprimir o propagar a través de la profundidad de un transformer congelado. Esto puede resultar en la preservación excesiva de factores de molestia (nuisance factors, como texturas o fondo) o en la supresión prematura de evidencia local relevante para la tarea.

Metodología: Cuellos de Botella de Información Promptados (PIB)

Inspirado en el principio del Cuello de Botella de Información (IB), los autores proponen los Cuellos de Botella de Información Promptados (PIB), un marco que trata la adaptación basada en prompts como un proceso de asignación de información por capas. La hipótesis central es que una adaptación efectiva debe seguir una trayectoria de "mínimo pero suficiente": las capas iniciales deben retener la evidencia local necesaria para la discriminación, mientras que las capas más profundas deben suprimir progresivamente los factores de molestia y los detalles redundantes.

El marco PIB introduce un objetivo de entrenamiento que regulariza el comportamiento del prompt a través de tres componentes complementarios:

1. Compresión y Suficiencia por Capa:

   • Compresión: Para desincentivar la propagación de información redundante o con exceso de factores de molestia, el PIB minimiza la energía fuera de la diagonal de la matriz de correlación empírica de las representaciones ocultas normalizadas. Esto sirve como un sustituto para reducir la información mutua entre la representación y la entrada ($I(H_l; X)$).
   • Suficiencia: Para evitar una compresión excesiva que pueda descartar claves discriminativas útiles, el PIB maximiza la separabilidad de clases. Esto se logra minimizando la relación entre la dispersión intra-clase y la dispersión inter-clase ($S_{intra}/S_{inter}$), actuando como un sustituto para maximizar la información mutua con la etiqueta ($I(H_l; Y)$).
   • El loss por capa total combina estos términos: $\mathcal{L}_{PIB} = \sum (\lambda_l \mathcal{L}^{(l)}_{comp} + \gamma_l \mathcal{L}^{(l)}_{suff})$.

2. Trayectoria Mínima-Suficiente entre Capas:

   • Reconociendo que la optimización independiente por capa es insuficiente, el PIB impone una trayectoria de refinamiento coherente a través de la profundidad. Se define una puntuación de calidad de capa ($q_l$) basada en el equilibrio entre compresión y suficiencia.
   • Un regularizador de trayectoria penaliza el deterioro abrupto en esta puntuación entre capas adyacentes ($\max(0, q_{l+1} - q_l - \delta_l)$), fomentando una transición suave desde la preservación de evidencia local hacia la selectividad semántica de alto nivel.

3. Enrutamiento Opcional Consciente de la Capa:

   • Una compuerta (gate) aprendible opcional ($r_l$) permite al modelo ajustar dinámicamente el peso entre los objetivos de compresión y suficiencia para cada capa, proporcionando flexibilidad para diferentes roles representacionales a lo largo de la profundidad de la red.

El objetivo final combina la pérdida estándar de la tarea con estos regularizadores: $\mathcal{L}_{total} = \mathcal{L}_{task} + \mathcal{L}_{PIB} + \eta \mathcal{L}_{path}$.

Contribuciones Clave

• Identificación de un Modo de Fallo: El artículo identifica que las limitaciones de la adaptación de VFM basada en prompts surgen no solo de la dinámica de optimización, sino de una asignación de información por capas no regulada.
• Formulación de PIB: Los autores formulan la adaptación condicionada por prompts como un proceso de Cuello de Botella de Información Promptado por capa, proporcionando una perspectiva inspirada en el Cuello de Botella de Información donde los prompts efectivos siguen un camino de información mínimo pero suficiente.
• Marco de Entrenamiento: Se desarrolla un marco de entrenamiento práctico que regulariza explícitamente la asignación de información inducida por el prompt utilizando sustitutos complementarios de compresión y suficiencia, junto con restricciones de trayectoria entre capas.
• Análisis Empírico: El estudio conecta el escalado no monotónico, la estabilidad de la generalización, la dependencia de atajos (shortcuts) y la dinámica de los prompts con la perspectiva propuesta de asignación de información, ofreciendo una explicación más clara de los modos de fallo de la adaptación basada en prompts.

Resultados Experimentales

Los autores evaluaron el PIB en 34 conjuntos de datos, incluyendo FGVC (Clasificación Visual de Grano Fino), HTA (Adaptación de Tareas Heterogéneas) y VTAB-1k, utilizando varios backbones congelados (ViT-Base/16, MAE-preentrenado, MoCo v3-preentrenado y Swin-Base).

• Rendimiento: El PIB logró un fuerte rendimiento ajustando solo el 0.35% de los parámetros en promedio. Los resultados clave incluyen:
  • 92.1% en FGVC.
  • 93.01% en HTA.
  • 77.33% en VTAB-1k.
  • Se observaron mejoras consistentes a través de diferentes paradigmas de preentrenamiento (supervisado, MAE, MoCo v3) y arquitecturas (ViT, Swin).
• Comportamiento de Escala: A diferencia del VPT estándar, que exhibe un comportamiento no monotónico y a veces frágil cuando aumenta la profundidad o la longitud del prompt, el PIB demuestra una tendencia de escalado más suave y favorable.
• Robustez y Reducción de Atajos: El PIB redujo la dependencia de pistas visuales propensas a atajos (ej. texturas de fondo). Bajo corrupción, cambio de dominio y configuraciones de pocos ejemplos (few-shot), el PIB mostró una degradación de rendimiento menor en comparación con VPT (reduciendo la caída promedio de 8.0 puntos a 5.3 puntos).
• Diagnósticos: El análisis por capas reveló que el PIB produce una trayectoria de información más coherente, una supresión de redundancia más estable y una mayor separabilidad de clases en comparación con el VPT vanilla. Las visualizaciones de atención confirmaron que el PIB conduce a activaciones más centradas en el objeto y semánticamente alineadas.

Significado y Reivindicaciones

El artículo posiciona al PIB tanto como un método práctico como una nueva perspectiva para adaptar modelos fundacionales de visión congelados. Los autores afirman que:

1. Control Principista: La debilidad principal de la adaptación basada en prompts estándar es la falta de control principista sobre la asignación de información por capas, no simplemente una capacidad insuficiente.
2. Interpretabilidad: El PIB ayuda a explicar el comportamiento no monotónico del escalado de la capacidad de los prompts y proporciona una visión más interpretable de la dinámica de los prompts por capa.
3. Generalización: El marco no está ligado a arquitecturas o recetas de preentrenamiento específicas, generalizando bien a través de diferentes espacios de representación congelados.
4. Robustez: Al regular explícitamente qué preservan y qué descartan los prompts, el PIB genera representaciones que no solo son más discriminativas, sino también más robustas bajo cambios de distribución y configuraciones de reconocimiento de grano fino.

Los autores concluyen que la adaptación eficiente en parámetros debe entenderse no solo por el número de parámetros actualizados, sino también por cómo la adaptación remodela las representaciones intermedias. El PIB ofrece un paso hacia una comprensión más fundamentada de la adaptación de los VFM congelados.