GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

Resumo Técnico: GraSP-VL

Declaração do Problema
Modelos de visão e linguagem congelados (VLMs), como o CLIP, geram embeddings que contêm sinais semânticos de multi-granularidade, variando desde a identidade de objetos até atributos, relações e significados de legendas completas. No entanto, esses modelos expõem esses sinais por meio de uma interface de vetor de comprimento fixo. Isso cria um "descompasso de interface": um único vetor de embedding é utilizado para consultas que exigem diferentes níveis de resolução semântica (por exemplo, identificar um "cachorro" versus um "cachorro marrom correndo"). Métodos atuais para encurtar embeddings, como truncamento, projeção ou compressão, não garantem que os vetores resultantes mais curtos correspondam a granularidades semânticas específicas. Por exemplo, as primeiras dimensões de um embedding congelado do CLIP não são inerentemente garantidas para representar semântica em nível de objeto, nem técnicas padrão de redução de dimensionalidade, como PCA, compreendem a hierarquia pretendida de entidades, atributos e relações.

Metodologia: GraSP-VL
Os autores propõem o GraSP-VL (Prefixos Seletivos de Granularidade para Representações de Visão e Linguagem), um método projetado para transformar o comprimento do embedding em uma interface de acesso semântico controlável sem retreinar o VLM subjacente.

• Transformação Compartilhada Quase Ortogonal: O GraSP-VL aprende uma única transformação compartilhada $F_\theta$ aplicada tanto aos embeddings de imagem quanto aos de texto de um VLM congelado. A transformação é instanciada como uma matriz ortogonal $R$ parametrizada via uma transformação de Cayley ($R = (I + A_\theta)^{-1}(I - A_\theta)$), onde $A_\theta$ é uma matriz antissimétrica derivada de parâmetros treináveis. Isso garante que a transformação seja quase isométrica, preservando exatamente a similaridade cosseno do espaço de dimensão completa ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• Interface Semântica Matryoshka: O método implementa um princípio de "Matryoshka Semântica". Em vez de tratar o comprimento do prefixo meramente como um orçamento de compressão, ele atribui papéis semânticos específicos a diferentes comprimentos de prefixo por meio de um contrato de interface explícito:
  • Prefixos curtos (por exemplo, $D/16$) são atribuídos a papéis grosseiros (identidade de objeto).
  • Prefixos mais longos (por exemplo, $D/8, D/4, D/2$) expõem progressivamente distinções mais finas (atributos, relações/ações, legendas completas).
• Objetivo Seletivo de Granularidade: O objetivo de treinamento combina cinco termos acoplados para impor essa estrutura:
  1. Alinhamento de Multi-Granularidade ($L_{align}$): Alinha cada comprimento de prefixo à sua visão de linguagem atribuída (objeto, atributo, relação, legenda completa).
  2. Retenção Cumulativa ($L_{ret}$): Garante que prefixos mais longos retenham as semânticas grosseiras dos mais curtos, prevenindo a substituição de informações.
  3. Classificação Seletiva de Negativos Difíceis ($L_{rank}$): Utiliza negativos difíceis tipados (objeto, atributo, relação, ação, ordem, completo) para impor que distinções específicas sejam resolvidas apenas no ou após seu limite de prefixo atribuído.
  4. Invariância de Prefixo Precoce ($L_{inv}$): Desencoraja a separação prematura de pares positivos/negativos antes do limite de prefixo atribuído, garantindo que prefixos curtos permaneçam grosseiros e não se ajustem excessivamente a detalhes de alta granularidade.
  5. Preservação do Espaço Completo ($L_{pres}$ & $L_{ortho}$): Monitora que a geometria de dimensão completa permaneça inalterada.

Principais Contribuições

1. Framework GraSP-VL: Uma transformação de prefixo compartilhada para VLMs congelados que reorganiza o acesso aos sinais existentes, expondo semânticas do grosseiro ao fino via comprimento do prefixo, enquanto preserva a geometria original do espaço completo.
2. Princípio da Matryoshka Semântica: Uma formalização onde o comprimento do embedding é atribuído a granularidade semântica por um contrato explícito, em vez de depender de limites naturais descobertos.
3. Objetivo Seletivo de Granularidade: Uma função de perda inovadora que combina alinhamento, retenção, discriminação de negativos difíceis, invariância de prefixo precoce e preservação de geometria.
4. Protocolo de Diagnóstico: Um framework de avaliação rigoroso que separa a seletividade semântica de truncamento bruto, PCA, adaptação genérica e permutações de coordenadas, utilizando uma "cadeia de falsificação" para validar a necessidade da interface aprendida.

Resultados Experimentais
O método foi avaliado em um conjunto de 20.147 exemplos do COCO e Flickr30K, com testes adicionais de transferência no SugarCrepe-clean e CIFAR-100.

• Desempenho em Escada: O GraSP-VL alcançou uma pontuação em escada de 53,01 e uma seletividade de negativos difíceis de 89,76%. Isso superou significativamente as linhas de base, incluindo truncamento direto, PCA, rotações aleatórias, métodos estilo MRL, estilo Matryoshka e métodos de compressão estilo SMEC.
• Preservação de Geometria: O método manteve o desvio do espaço completo abaixo de $10^{-6}$, preservando efetivamente a superfície de decisão original do VLM para consultas de dimensão completa.
• Seletividade vs. Desvio: Ao contrário de adaptadores MLP genéricos que alcançaram alta seletividade, mas reescreveram todo o espaço de embedding (alto desvio), o GraSP-VL alcançou alta seletividade com desvio próximo de zero.
• Transferibilidade:
  • No SugarCrepe-clean (um benchmark externo não utilizado no treinamento), o GraSP-VL alcançou 86,03% de precisão em objetos e 11,96 de emergência externa média.
  • Preservou a precisão zero-shot de dimensão completa no CIFAR-100.
  • A abordagem generalizou-se através de diferentes backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) com dimensões variadas.
• Linhas de Base: O estudo demonstrou que coordenadas brutas, PCA e permutações aprendidas falham em produzir a escada semântica pretendida. Apenas a mistura densa e quase isométrica fornecida pelo GraSP-VL organizou com sucesso os sinais.

Significado e Alegações
O artigo posiciona o GraSP-VL como uma solução de engenharia de interface em vez de uma descoberta de pontos de ruptura semânticos universais. Os autores afirmam:

• Os embeddings congelados de VLMs contêm sinais de multi-granularidade suficientes para serem reorganizados em uma interface de prefixo controlável.
• A interface "Matryoshka Semântica" permite que os usuários selecionem um comprimento de prefixo correspondente à resolução semântica necessária (entidade, atributo, relação ou legenda completa) sem retreinar o modelo base ou destruir o espaço de embedding original.
• Essa abordagem é particularmente valiosa para sistemas de recuperação onde a compatibilidade com índices de vetores completos existentes e embeddings em cache é crítica, pois a transformação pode ser aplicada offline aos embeddings da galeria.
• Os autores afirmam explicitamente que os pontos de ruptura dimensionais escolhidos (por exemplo, $D/16$ para objetos) são contratos de interface especificados pelo usuário, não necessariamente constantes naturais inerentes ao VLM. O sucesso do método reside em realizar esse contrato enquanto preserva a geometria completa, e não em provar que o VLM armazena naturalmente esses sinais nessa ordem específica.