Steerable Visual Representations

Título: Steerable Visual Representations (SteerViT)

Autores: Jona Ruthardt, Manu Gaur, Deva Ramanan, Makarand Tapaswi, Yuki M. Asano.
Instituições: Universidade Técnica de Nuremberg, Carnegie Mellon University, IIIT Hyderabad.

---

1. O Problema

As representações visuais pré-treinadas modernas, como DINOv2, MAE e SigLIP, fornecem características visuais genéricas de alta qualidade aplicáveis a diversas tarefas (classificação, segmentação, recuperação). No entanto, elas sofrem de uma limitação fundamental: tendem a focar exclusivamente nos objetos mais salientes (proeminentes) da imagem devido a vieses nos conjuntos de dados de treinamento.

• Exemplo: Em uma imagem de sala com um gato e uma estante, o modelo ignora a estante e foca apenas no gato.
• Limitação de Modelos Atuais:
  • ViTs Unimodais: Não podem ser direcionados para conceitos menos salientes.
  • Modelos Multimodais (MLLMs) e CLIP: Embora possam usar texto, a fusão ocorre frequentemente de forma tardia (late fusion) ou os modelos tornam-se centrados na linguagem, perdendo a fidelidade visual e a qualidade das características para tarefas visuais puras.
  • Falta de Controle: Não existe um mecanismo eficiente para "direcionar" (steer) o encoder visual para focar em objetos específicos ou atributos sem retreinar o modelo inteiro.

2. Metodologia: SteerViT

O trabalho propõe o SteerViT, uma nova classe de representações visuais que permite controlar o que o encoder visual codifica usando linguagem natural, mantendo a qualidade original das características.

Arquitetura e Mecanismo

A abordagem inverte o paradigma comum dos MLLMs (que condicionam a linguagem na visão ou fundem tardia):

1. Condicionamento Precoce (Early Fusion): Em vez de fundir texto e imagem após a codificação, o texto é injetado diretamente nas camadas internas do encoder visual (ViT) congelado.
2. Cross-Attention Leve: O método insere camadas de atenção cruzada (cross-attention) leves e treináveis entre os blocos do ViT pré-treinado (que permanece congelado).
   • Os tokens de imagem atuam como queries.
   • Os tokens de texto (codificados por um encoder de texto congelado, ex: RoBERTa) atuam como keys e values.
3. Mecanismo de Portão (Gating): A saída da atenção cruzada é integrada ao fluxo residual do ViT através de um portão tanh com um escalar aprendível ($\alpha$).
   • Inicialização em zero: O modelo começa idêntico ao ViT original (sem texto).
   • Aprendizado: O portão abre gradualmente, permitindo que o modelo incorpore pistas linguísticas sem destruir as características visuais pré-existentes.
4. Objetivo de Treinamento (Pretext Task): O modelo é treinado em uma tarefa de segmentação referencial. Dada uma imagem e um prompt de texto descrevendo um objeto, o modelo deve prever quais patches da imagem correspondem a esse objeto. Isso força o encoder a alinhar as características visuais com as instruções textuais.

Eficiência

• O método adiciona apenas ~21 milhões de parâmetros treináveis (via camadas de cross-attention e projeção MLP), uma ordem de magnitude menor que os MLLMs (que exigem bilhões de parâmetros).
• Os encoders de imagem e texto permanecem congelados.

3. Contribuições Principais

1. Novo Paradigma: Introduz "Representações Visuais Controláveis", onde o encoder visual é condicionado pela linguagem, em vez da linguagem ser condicionada pela visão.
2. Fronteira de Pareto: Demonstra que é possível obter alta controlabilidade (steerability) sem sacrificar a qualidade da representação visual. Modelos anteriores geralmente exigiam um compromisso (trade-off) entre os dois.
3. Generalização Zero-Shot: O método permite que modelos visuais pré-treinados se adaptem a novos domínios e tarefas (como detecção de anomalias industriais ou discriminação de objetos personalizados) sem treinamento específico para a tarefa, apenas mudando o prompt de texto.
4. Benchmarks: Propõe o benchmark CORE (COnditional REtrieval) para medir a capacidade de um modelo de direcionar suas características globais para objetos não salientes baseados em texto.

4. Resultados e Avaliação

Recuperação Condicional (CORE)

• Desempenho: O SteerViT alcançou 96% de precisão na recuperação de imagens contendo um objeto específico (ex: "bowl de frutas") em meio a cenas complexas, superando drasticamente o DINOv2 (44%) e modelos de fusão tardia (CLIP/SigLIP).
• Evidência: Enquanto o DINOv2 agrupa imagens pela cena geral (ex: "cozinha"), o SteerViT reorganiza o espaço de embedding para agrupar pelo objeto solicitado, mesmo que este seja pequeno ou pouco saliente.

Qualidade da Representação

• Preservação: Ao contrário de métodos que sobrescrevem características, o SteerViT mantém a qualidade para tarefas downstream (classificação fina, segmentação densa).
• Controle Contínuo: O parâmetro de portão ($\omega$) permite interpolar suavemente entre o ViT original e o SteerViT totalmente condicionado. Um fator de 0.6 oferece o melhor equilíbrio, às vezes até melhorando a qualidade da representação (ex: no MAE).

Granularidade Semântica

• A especificidade do texto controla a granularidade das características.
  • Prompt genérico ("copo"): Agrupa todos os copos.
  • Prompt detalhado ("copo branco com pontos pretos"): Permite discriminar instâncias específicas, superando modelos ajustados (fine-tuned) para tarefas específicas, mas usando um único modelo.

Transferência para Domínios Não Vistos (OOD)

• Detecção de Anomalias (MVTec AD): O SteerViT alcançou desempenho competitivo (82.1 PRO) em segmentação de anomalias industriais sem treinamento específico, rivalizando com métodos dedicados e superando abordagens baseadas em CLIP/SAM3. Isso prova que o condicionamento por texto extrai capacidades latentes do encoder visual congelado.

5. Significado e Impacto

O SteerViT estabelece um novo paradigma para a compreensão visual multimodal eficiente:

• Eficiência: Permite adaptar encoders visuais ricos e congelados para tarefas específicas usando apenas prompts de texto e poucos parâmetros adicionais, evitando o custo computacional massivo de treinar MLLMs do zero.
• Flexibilidade: Transforma representações visuais estáticas em dinâmicas, onde o foco da atenção e a organização semântica podem ser alterados em tempo de inferência.
• Aplicabilidade: Abre caminho para sistemas de visão mais robustos em cenários do mundo real onde o foco de interesse muda dinamicamente (ex: inspeção industrial, busca por objetos específicos em grandes bases de dados, robótica), sem a necessidade de retreinar o modelo para cada nova tarefa.

Em resumo, o trabalho demonstra que condicionar a visão na linguagem (e não o contrário) é uma estratégia superior para criar representações visuais que são ao mesmo tempo de alta fidelidade e totalmente controláveis por texto.