Resumo Técnico: SeCo-SBIR

Declaração do Problema

A Recuperação de Imagens Baseada em Esboços Zero-Shot (ZS-SBIR) visa recuperar imagens naturais de um banco de dados usando consultas de esboços feitos à mão, visando especificamente categorias não vistas durante o treinamento. Esta tarefa enfrenta uma tensão fundamental: o modelo deve se adaptar profundamente o suficiente para reduzir a significativa lacuna cross-modal entre esboços abstratos e fotografias detalhadas, mas qualquer flexibilidade adicional introduzida para a adaptação corre o risco de sobreajuste (overfitting) às categorias vistas durante o treinamento, o que corrói as capacidades de generalização zero-shot inerentes aos Modelos de Visão-Linguagem (VLMs) pré-treinados como o CLIP.

Os métodos existentes de aprendizado de prompt para ZS-SBIR frequentemente lutam com esse equilíbrio. Abordagens como o CLIP-AT tratam os ramos textual e visual de forma isolada, enquanto métodos bidirecionais como o SpLIP trocam tokens, mas carecem de uma regularização explícita contra o sobreajuste de classes vistas. Consequentemente, as representações adaptadas tendem a derivar para a distribuição das categorias vistas, falhando em generalizar para classes não vistas, particularmente em configurações de ZS-SBIR Generalizado (GZS-SBIR), onde classes vistas e não vistas coexistem na galeria de recuperação.

Metodologia: SeCo-SBIR

Os autores propõem o SeCo-SBIR (Aprendizado de Prompt Semanticamente Consistente), um framework projetado para resolver a tensão entre adaptação e generalização através de dois mecanismos complementares: prompting multi-modal guiado por texto e uma restrição de consistência baseada em perturbação.

1. Prompting Multi-Modal Guiado por Texto

Ao contrário do padrão de ajuste de prompt visual, que aprende tokens puramente dentro do codificador visual, o SeCo-SBIR roteia vetores de prompt aprendíveis através do codificador de texto primeiro.

• Mecanismo: Vetores de prompt aprendíveis substituem os tokens iniciais de um template textual fixo (ex: "uma foto de um [categoria]"). Esses vetores passam pelas camadas de transformer do codificador de texto.
• Acoplamento Cross-Modal: Em cada camada $l$ do codificador de texto, as representações intermediárias do prompt são projetadas no espaço de embedding do codificador visual via uma função de acoplamento aprendível ($F_l$).
• Injeção Profunda: Essas representações projetadas são injetadas como prompts visuais nas camadas correspondentes do codificador visual (tanto para os ramos de foto quanto de esboço).
• Racional: Como o codificador de texto aprendeu semânticas de nível de categoria robustas e abstratas a partir de supervisão linguística em larga escala, este mecanismo injeta conhecimento semântico inerentemente transferível diretamente na via visual. Isso permite que o modelo se adapte ao gap de domínio esboço-foto enquanto ancora a adaptação na linguagem, em vez de estatísticas visuais de classes vistas.

2. Restrição de Consistência Baseada em Perturbação

Para evitar que os componentes aprendíveis (prompts e funções de acoplamento) sofram sobreajuste às categorias vistas, os autores introduzem uma estratégia de regularização que alinha o modelo adaptado com uma referência CLIP congelada.

• Design Assimétrico: Para uma determinada entrada, uma visão aumentada (via apagamento aleatório, recorte, inversão) é enviada a um codificador visual CLIP congelado, enquanto a entrada limpa é enviada ao codificador treinável (com prompt + adaptado).
• Objetivo InfoNCE: O modelo é treinado usando uma perda InfoNCE assimétrica. O ramo treinável deve produzir embeddings que sejam mais próximos da representação da entrada aumentada pelo ramo congelado do que das representações de outras amostras no lote (batch).
• Racional: Isso evita soluções triviais (onde o modelo treinável simplesmente copia o modelo congelado) ao forçar o ramo treinável a aprender representações invariantes à entrada que permaneçam estruturalmente compatíveis com o espaço de características generalizável do CLIP sob perturbação.

3. Objetivo de Treinamento

O framework emprega uma função de perda multiobjetivo combinando:

• Perda de Triplet Cross-Modal: Aproxima pares esboço-foto correspondentes e afasta pares não correspondentes.
• Perda NT-Xent: Fornece supervisão contrastiva densa ao nível de lote para ambas as direções, esboço-para-foto e foto-para-esboço.
• Perda de Classificação: Alinha características visuais com protótipos de classe derivados do codificador de texto aumentado por prompt.
• Perda de Consistência: A perda InfoNCE baseada em perturbação descrita acima.

Principais Contribuições

1. Prompting Multi-Modal Guiado por Texto: Um novo mecanismo que deriva prompts visuais das representações intermediárias do codificador de texto via funções de acoplamento aprendíveis. Isso utiliza a semântica de categoria pré-existente e ancorada na linguagem para adaptar a via visual, favorecendo inerentemente a generalização para classes não vistas.
2. Restrição de Consistência Baseada em Perturbação: Uma técnica de regularização usando um objetivo InfoNCE assimétrico para alinhar os embeddings adaptados com uma referência CLIP congelada. Isso mitiga efetivamente o risco de sobreajuste às classes vistas introduzido pelos parâmetros aprendíveis adicionais.
3. Desempenho de Estado da Arte: A integração desses componentes com adaptadores leves alcança resultados superiores em todos os benchmarks padrão de ZS-SBIR.

Resultados Experimentais

Os autores avaliaram o SeCo-SBIR em três benchmarks padrão: Sketchy-Ext, TU-Berlin-Ext e QuickDraw-Ext, sob configurações categóricas, generalizadas (GZS-SBIR) e entre datasets (across-dataset).

• ZS-SBIR Categórico: O SeCo-SBIR alcançou as pontuações mais altas em todas as métricas em todos os datasets. Notavelmente, no TU-Berlin-Ext (sensível a sobreajuste devido a categorias finas), ele superou o melhor anterior (SpLIP) em +5,6% mAP@all e +6,5% P@100. No QuickDraw-Ext, melhorou o mAP@all em +1,8%.
• ZS-SBIR Generalizado (GZS-SBIR): Em configurações onde classes vistas e não vistas estão misturadas na galeria, o SeCo-SBIR demonstrou ganhos significativos, melhorando o mAP@all em +4,6% e P@100 em +7,5% no TU-Berlin-Ext em comparação ao SpLIP, indicando mitigação eficaz do viés de classes vistas.
• ZS-SBIR Entre Datasets (Across-Dataset): Quando treinado no Sketchy-Ext e testado no TU-Berlin-Ext e QuickDraw-Ext sem fine-tuning, o modelo melhorou o mAP@all em +6,8% no QuickDraw-Ext, destacando a robustez ao shift de domínio.
• Estudos de Ablação: Experimentos confirmaram que cada componente contribui de forma não redundante. O acoplamento guiado por texto proporcionou um ganho de +1,4% sobre o prompting independente, e a restrição de consistência foi crítica, evitando uma queda de 2,6% no desempenho quando removida. O design de perturbação assimétrico também foi validado como superior ao uso de entradas limpas para ambos os ramos.

Significância e Alegações

O artigo afirma que o SeCo-SBIR resolve com sucesso a tensão central no ZS-SBIR: a necessidade de adaptação profunda versus a necessidade de generalização zero-shot. Ao canalizar a adaptação através de conhecimento ancorado na linguagem (via codificador de texto) e restringir explicitamente os componentes aprendíveis (via restrição de consistência), o framework adapta o modelo ao domínio esboço-foto sem sacrificar as capacidades de generalização do backbone CLIP pré-treinado.

Os autores posicionam este trabalho como uma abordagem fundamentada para implantar modelos de visão-linguagem em cenários que exigem generalização para categorias não vistas, demonstrando que a consistência semântica e a regularização baseada em perturbação são estratégias eficazes para superar as limitações dos atuais paradigmas de aprendizado de prompt em recuperação cross-modal.