GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

Resumen Técnico: GraSP-VL

Enunciado del Problema
Los modelos de visión-idioma congelados (VLM), como CLIP, generan incrustaciones que contienen señales semánticas de multi-granularidad que van desde la identidad del objeto hasta atributos, relaciones y significados de subtítulos completos. Sin embargo, estos modelos exponen estas señales a través de una interfaz de vector de longitud fija. Esto crea una "incompatibilidad de interfaz": un único vector de incrustación se utiliza para consultas que requieren diferentes niveles de resolución semántica (por ejemplo, identificar un "perro" frente a un "perro marrón corriendo"). Los métodos actuales para acortar incrustaciones, como la truncación, la proyección o la compresión, no garantizan que los vectores resultantes más cortos correspondan a granularidades semánticas específicas. Por ejemplo, las primeras dimensiones de una incrustación congelada de CLIP no están intrínsecamente garantizadas para representar semánticas a nivel de objeto, ni las técnicas estándar de reducción de dimensionalidad como PCA comprenden la jerarquía pretendida de entidades, atributos y relaciones.

Metodología: GraSP-VL
Los autores proponen GraSP-VL (Prefijos Selectivos de Granularidad para representaciones de Visión-Idioma), un método diseñado para convertir la longitud de la incrustación en una interfaz de acceso semántico controlable sin reentrenar el VLM subyacente.

• Transformación Compartida Casi Ortogonal: GraSP-VL aprende una única transformación compartida $F_\theta$ aplicada tanto a las incrustaciones de imagen como a las de texto de un VLM congelado. La transformación se instaura como una matriz ortogonal $R$ parametrizada mediante una transformación de Cayley ($R = (I + A_\theta)^{-1}(I - A_\theta)$), donde $A_\theta$ es una matriz antisimétrica derivada de parámetros entrenables. Esto asegura que la transformación sea casi isométrica, preservando la similitud del coseno del espacio de dimensión completa exactamente ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• Interfaz Semántica Matryoshka: El método implementa un principio de "Matryoshka Semántica". En lugar de tratar la longitud del prefijo meramente como un presupuesto de compresión, asigna roles semánticos específicos a diferentes longitudes de prefijo mediante un contrato de interfaz explícito:
  • Los prefijos cortos (por ejemplo, $D/16$) se asignan a roles gruesos (identidad del objeto).
  • Los prefijos más largos (por ejemplo, $D/8, D/4, D/2$) exponen progresivamente distinciones más finas (atributos, relaciones/acciones, subtítulos completos).
• Objetivo Selectivo de Granularidad: El objetivo de entrenamiento combina cinco términos acoplados para imponer esta estructura:
  1. Alineación de Multi-Granularidad ($L_{align}$): Alinea cada longitud de prefijo con su vista de idioma asignada (objeto, atributo, relación, subtítulo completo).
  2. Retención Acumulativa ($L_{ret}$): Asegura que los prefijos más largos retengan las semánticas gruesas de los más cortos, evitando el reemplazo de información.
  3. Clasificación Selectiva de Negativos Difíciles ($L_{rank}$): Utiliza negativos difíciles tipificados (objeto, atributo, relación, acción, orden, completo) para imponer que distinciones específicas solo sean resolubles en o después de su límite de prefijo asignado.
  4. Invarianza de Prefijo Temprano ($L_{inv}$): Desalienta la separación prematura de pares positivos/negativos antes del límite de prefijo asignado, asegurando que los prefijos cortos permanezcan gruesos y no se ajusten en exceso a detalles de granularidad fina.
  5. Preservación del Espacio Completo ($L_{pres}$ & $L_{ortho}$): Monitorea que la geometría de dimensión completa permanezca sin cambios.

Contribuciones Clave

1. Marco GraSP-VL: Una transformación de prefijo compartida para VLMs congelados que reorganiza el acceso a señales existentes, exponiendo semánticas de grueso a fino mediante la longitud del prefijo mientras preserva la geometría original del espacio completo.
2. Principio de Matryoshka Semántica: Una formalización donde la longitud de la incrustación se asigna a granularidad semántica mediante un contrato explícito en lugar de depender de límites naturales descubiertos.
3. Objetivo Selectivo de Granularidad: Una función de pérdida novedosa que combina alineación, retención, discriminación de negativos difíciles, invarianza de prefijo temprano y preservación de geometría.
4. Protocolo de Diagnóstico: Un marco de evaluación riguroso que separa la selectividad semántica de la truncación cruda, PCA, adaptación genérica y permutaciones de coordenadas, utilizando una "cadena de falsificación" para validar la necesidad de la interfaz aprendida.

Resultados Experimentales
El método fue evaluado en un conjunto de 20.147 ejemplos de COCO y Flickr30K, con pruebas de transferencia adicionales en SugarCrepe-clean y CIFAR-100.

• Rendimiento en Escalera: GraSP-VL logró una puntuación en escalera de 53.01 y una selectividad de negativos difíciles del 89.76%. Esto superó significativamente a las líneas base, incluidos la truncación directa, PCA, rotaciones aleatorias, métodos estilo MRL, estilo Matryoshka y métodos de compresión estilo SMEC.
• Preservación de Geometría: El método mantuvo una deriva del espacio completo por debajo de $10^{-6}$, preservando efectivamente la superficie de decisión original del VLM para consultas de dimensión completa.
• Selectividad vs. Deriva: A diferencia de los adaptadores MLP genéricos que lograron alta selectividad pero reescribieron el espacio completo de incrustaciones (alta deriva), GraSP-VL logró alta selectividad con deriva casi nula.
• Transferibilidad:
  • En SugarCrepe-clean (una referencia externa no utilizada en el entrenamiento), GraSP-VL logró una precisión de objeto del 86.03% y una emergencia externa media de 11.96.
  • Preservó la precisión zero-shot de dimensión completa en CIFAR-100.
  • El enfoque se generalizó a través de diferentes backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) con dimensiones variables.
• Líneas Base: El estudio demostró que las coordenadas crudas, PCA y permutaciones aprendidas fallan en producir la escalera semántica pretendida. Solo la mezcla densa y casi isométrica proporcionada por GraSP-VL organizó con éxito las señales.

Significado y Afirmaciones
El artículo posiciona a GraSP-VL como una solución de ingeniería de interfaz en lugar de un descubrimiento de puntos de ruptura semánticos universales. Los autores afirman:

• Las incrustaciones de VLM congelados contienen suficientes señales de multi-granularidad para ser reorganizadas en una interfaz de prefijo controlable.
• La interfaz "Matryoshka Semántica" permite a los usuarios seleccionar una longitud de prefijo que corresponda a la resolución semántica requerida (entidad, atributo, relación o subtítulo completo) sin reentrenar el modelo base ni destruir el espacio de incrustación original.
• Este enfoque es particularmente valioso para sistemas de recuperación donde la compatibilidad con índices de vectores completos existentes e incrustaciones en caché es crítica, ya que la transformación puede aplicarse fuera de línea a las incrustaciones de la galería.
• Los autores declaran explícitamente que los puntos de ruptura dimensionales elegidos (por ejemplo, $D/16$ para objetos) son contratos de interfaz especificados por el usuario, no constantes naturales inherentes al VLM. El éxito del método radica en realizar este contrato mientras se preserva la geometría completa, en lugar de probar que el VLM almacena naturalmente estas señales en ese orden específico.