Resumo Técnico: LeVLJEPA

Definição do Problema

O pré-treinamento de visão-linguagem (VLP) tem sido historicamente dominado por objetivos contrastivos (ex: CLIP, SigLIP), que otimizam o alinhamento de um único embedding de imagem agrupado (pooled) com um embedding de texto. Enquanto o aprendizado autossupervisionado apenas de visão migrou amplamente para métodos preditivos não contrastivos (ex: DINO, I-JEPA, LeJEPA), o VLP não seguiu essa trajetória.

Essa discrepância cria um desalinhamento entre os objetivos de treinamento e as necessidades modernas de implantação. Codificadores de visão-linguagem são cada vez mais usados não como classificadores zero-shot, mas como backbones visuais congelados para sistemas de predição densa (ex: segmentação semântica) e modelos de visão-linguagem (ex: LLaVA). Esses sistemas de jusante consomem a grade completa de tokens de patches em vez de um único vetor agrupado. No entanto, os objetivos contrastivos supervisionam primariamente o embedding global agrupado, tratando os recursos por token apenas como um subproduto. O artigo questiona: Pode o pré-treinamento de visão-linguagem de ponta a ponta funcionar sem negativos contrastivos para atender melhor a essas aplicações densas, ao nível de token?

Metodologia: LeVLJEPA

Os autores introduzem o LeVLJEPA, o primeiro método de pré-treinamento de visão-linguagem de ponta a end-to-end totalmente não contrastivo. Ele adapta o framework LeJEPA para o cenário cross-modal usando uma arquitetura preditiva com restrições específicas para evitar o colapso de representação sem pares negativos.

Arquitetura e Objetivo

O método emprega dois codificadores: um Vision Transformer (ViT) para imagens e um codificador baseado em GPT-2 para texto. Ambos produzem embeddings ($Z_V$ e $Z_T$) que são passados através de preditores específicos de modalidade (MLPs) para gerar predições cross-modais.

O objetivo de treinamento, $L_{LeVLJEPA}$, combina dois componentes:

1. Predição Cross-Modal com Stop-Gradients:

   • O codificador de imagem prevê o embedding de texto, e o codificador de texto prevê o embedding de imagem.
   • Crucialmente, os alvos são desconectados via uma operação de stop-gradient. Os gradientes fluem apenas através do preditor e do codificador que produz a predição, não de volta para o codificador que produz o alvo.
   • Perda: $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$.
   • Essa assimetria evita que os codificadores colapsem em um subespaço comum de baixa dimensão, um modo de falha observado ao usar regressão simétrica direta.

2. Regularização Distribucional por Modalidade (SIGReg):

   • Para evitar o colapso sem pares negativos, a distribuição de embedding de cada modalidade é regularizada para ser uma Gaussiana isotrópica.
   • Isso é alcançado usando SIGReg (Sketched Isotropic Gaussian Regularization), que projeta os embeddings em direções 1D aleatórias e aplica um teste de normalidade baseado em função característica (Epps–Pulley).
   • Isso evita a maldição da dimensionalidade associada à correspondência direta de densidade e não requer parâmetros de temperatura, encoders de momentum ou cronogramas de professor-aluno.

Protocolo de Treinamento

• Datasets: Avaliado em duas escalas: CC12M (12M amostras) e Datacomp-L (92M amostras).
• Estabilidade: O método treina de forma estável sem a dependência de tamanho de lote (batch size) característica dos métodos contrastivos. O objetivo é computado por amostra, tornando-o amplamente invariante ao tamanho do lote.
• Ablações: Experimentos confirmam que remover qualquer componente (ex: usar MSE direto sem stop-gradients, ou usar preditores sem SIGReg) leva ao colapso ou desempenho pobre.

Principais Resultados

1. Qualidade de Representação Global (Embeddings Agrupados)

Quando avaliado em protocolos que reduzem a imagem a um único vetor:

• Transferência Zero-Shot: Na escala Datacomp-L, os baselines contrastivos (InfoNCE, SigLIP) superam o LeVLJEPA. Isso é esperado, pois a classificação zero-shot mede diretamente o alinhamento imagem-texto que os métodos contrastivos otimizam. Na escala menor CC12M, a lacuna diminui significativamente.
• Linear Probing: Em tokens CLS congelados, o LeVLJEPA é equivalente aos baselines contrastivos em ImageNet, Places365, Aircraft e Pets. Isso indica que os recursos visuais globais aprendidos pelo LeVLJEPA são igualmente discriminativos, e a lacuna zero-shot deve-se aos mecanismos de alinhamento, não à qualidade dos recursos.
• Robustez ao Background: O LeVLJEPA demonstra superior robustez a mudanças de fundo (ImageNet-9), mostrando quedas menores de acurácia quando os foregrounds são compostos sobre diferentes backgrounds. Isso sugere uma representação mais centrada no objeto.

2. Recursos Semânticos Densos (Tokens de Patch)

Quando avaliado em tarefas que consomem a sequência completa de tokens de patch, o LeVLJEPA mostra superioridade marcante:

• Segmentação Semântica: Em ADE20K e COCO-Stuff, o LeVLJEPA supera ambos os baselines contrastivos por uma margem significativa (~2.0–2.2 mIoU) quando usado como um backbone congelado com uma cabeça linear. Isso indica uma estrutura espacial e semântica mais forte nos recursos por token.
• Modelos de Visão-Linguagem (VLMs): Quando usado como um backbone visual congelado para VLMs (com um bridge leve treinado para um LLM congelado), o LeVLJEPA atinge a maior acurácia em GQA, VQAv2 e POPE através de duas famílias distintas de modelos de linguagem (Llama-1B e Qwen-1.5B).
  • Notavelmente, o SigLIP é o modelo zero-shot mais forte, mas o mais fraco como backbone de VLM, enquanto o LeVLJEPA é o modelo zero-shot mais fraco, mas o mais forte como backbone.
  • O LeVLJEPA também produz respostas mais equilibradas no POPE (alucinação de objetos), reduzindo o viés de "sim" visto em outros modelos.

Significância e Alegações

O artigo estabelece que o pré-treinamento não contrastivo é um meio eficaz de produzir recursos visuais semânticos densos, desafiando a suposição de que negativos contrastivos são necessários para representações de alta qualidade de visão-linguagem.

• Desacoplamento de Alinhamento e Qualidade de Recurso: Os resultados demonstram que a propriedade representacional que gera um classificador zero-shot forte (alinhamento global) é distinta da propriedade que gera um codificador de recurso visual forte (estrutura de token densa).
• Relevância para Implantação Moderna: À medida que os codificadores de visão-linguagem são cada vez mais implantados como backbones congelados para predição densa e modelos de instrução, os protocolos de avaliação padrão (zero-shot, linear probing em vetores agrupados) falham em capturar as métricas de desempenho relevantes. O LeVLJEPA se destaca nesses cenários de implantação.
• Simplicidade e Estabilidade: O método alcança esses resultados com uma receita de treinamento mais simples, eliminando a necessidade de amostragem de negativos, ajuste de temperatura, encoders de momentum ou cronogramas de professor-aluno, permanecendo estável em grandes escalas.

Os autores concluem que, embora os objetivos contrastivos mantenham uma vantagem no alinhamento direto imagem-texto, os objetivos preditivos não contrastivos são superiores para aprender os recursos densos por token exigidos pela próxima geração de sistemas de visão-linguagem.