Local-Global Prompt Learning via Sparse Optimal Transport

O artigo apresenta o SOT-GLP, um método de aprendizado de prompts que combina alinhamento global e local utilizando transporte ótimo esparso para particionar regiões visuais salientes entre prompts específicos de classe, alcançando desempenho superior em classificação com poucos exemplos e detecção de dados fora de distribuição ao preservar a geometria nativa do modelo CLIP.

O essencial

Imagine que você tem um super-herói da visão chamado CLIP. Ele é incrível: já viu milhões de fotos e sabe o que é um "cachorro", um "carro" ou uma "flor" sem precisar ser treinado especificamente para isso. Ele é como um turista que viajou pelo mundo inteiro e tem uma noção geral de tudo.

Mas, e se você quiser que esse super-herói aprenda a distinguir dois tipos muito parecidos de cachorro (como um Golden Retriever de um Labrador) usando apenas poucas fotos (digamos, 16 fotos de cada)? É aqui que o método SOT-GLP entra em cena.

Os autores do artigo propuseram uma maneira inteligente de "treinar" esse super-herói para ser um especialista, sem perder sua sabedoria geral. Vamos explicar como funciona usando uma analogia de uma equipe de detetives.

O Problema: O Detetive que olha tudo de longe

Antes, os métodos tentavam ensinar o CLIP a olhar para a foto inteira de uma vez só.

• A analogia: Imagine que você precisa identificar um suspeito em uma multidão. O método antigo olhava para a foto da multidão inteira e dizia: "Parece um suspeito!". O problema é que ele ignora os detalhes: a cor do chapéu, o formato do nariz, a textura da roupa. Se houver dois suspeitos muito parecidos, o método se confunde.
• Além disso, quando tentavam olhar para detalhes, cada "detetive" (prompt) escolhia suas próprias partes da foto. Isso gerava confusão: três detetives diferentes poderiam estar olhando para a mesma janela da foto, ignorando o que estava acontecendo no resto da sala.

A Solução: A Equipe SOT-GLP (Detetives Globais e Locais)

O SOT-GLP cria uma equipe com dois tipos de especialistas trabalhando juntos:

1. O Chefe de Equipe (O Ramo Global)

Este é o "olho de águia" que vê a foto inteira. Ele garante que o modelo não esqueça o básico. Se a foto é de um carro, o Chefe garante que todos saibam que é um carro, não um cachorro. Ele mantém a estabilidade e a segurança do sistema.

2. Os Detetives de Campo (Os Ramos Locais)

Aqui está a mágica. Em vez de olhar para a foto inteira, o sistema divide a imagem em pequenos pedaços (como um quebra-cabeça).

• Atenção Especial (V-V): O sistema usa uma técnica especial para focar apenas nas partes importantes da imagem (como as asas de um avião ou a textura de uma flor), ignorando o fundo bagunçado (como o céu ou a grama). É como usar um filtro que remove o ruído e deixa apenas o sinal importante.
• O "Transporte Ótimo" (A Regra de Ouro): Este é o conceito mais criativo. Imagine que você tem 5 detetives e 10 pistas importantes na foto.
  • O jeito antigo: Cada detetive escolhia suas 3 pistas favoritas. Resultado? Todos os 5 detetives escolhiam a mesma pista "mais brilhante" e ignoravam as outras.
  • O jeito SOT-GLP (Transporte Ótimo): O sistema usa uma matemática inteligente (chamada Transporte Ótimo) para distribuir as pistas. Ele garante que:
    • O Detetive A olhe para o nariz do suspeito.
    • O Detetive B olhe para o sapato.
    • O Detetive C olhe para o casaco.
  • Nenhum detetive compete pelo mesmo pedaço. Eles se especializam em partes diferentes da imagem e, juntos, formam uma descrição completa e única. Isso evita que eles "colapsem" (todos olharem para a mesma coisa).

O Grande Descoberta: Precisão vs. Robustez

Os autores descobriram algo muito interessante, como se tivessem encontrado um botão de ajuste fino:

• Modo "Super Especialista" (Com Projeção): Se você deixar o sistema aprender detalhes muito específicos da sua tarefa, ele fica muito preciso em classificar os dados que ele já conhece (alta precisão).
• Modo "Guardião Seguro" (Sem Projeção): Se você tirar essa camada de aprendizado específico, o sistema se torna muito melhor em detectar o estranho.
  • Analogia: Imagine um porteiro de um clube.
    • O "Especialista" conhece os rostos dos membros tão bem que os deixa entrar rapidinho (alta precisão), mas pode deixar um impostor entrar se ele se parecer um pouco com um membro.
    • O "Guardião" (sem projeção) mantém a memória original do porteiro. Ele não é tão rápido em reconhecer os membros específicos, mas se alguém tentar entrar que não é da lista, ele percebe imediatamente porque a "vibe" da pessoa não bate com o padrão original.
  • Resultado: O SOT-GLP sem projeção bateu todos os recordes em detectar imagens estranhas (Out-of-Distribution), algo crucial para segurança e confiabilidade da IA.

Resumo da Ópera

O SOT-GLP é como transformar um turista geral (CLIP) em uma equipe de detetives de elite:

1. Um Chefe que vê o quadro geral.
2. Vários Especialistas que olham para partes diferentes da imagem, sem brigar entre si, graças a uma regra matemática de distribuição justa.
3. Um Filtro que remove o lixo visual (fundo bagunçado).

Isso permite que a IA aprenda com poucas fotos, seja extremamente precisa em tarefas difíceis (como diferenciar flores parecidas) e, ao mesmo tempo, seja incrivelmente segura ao detectar coisas que ela nunca viu antes. É um equilíbrio perfeito entre ser um especialista e ser um guardião confiável.

Resumo técnico

Título: Aprendizado de Prompt Local-Global via Transporte Ótimo Esparsos (SOT-GLP)

1. Problema e Motivação

Os Modelos de Visão-Linguagem (VLMs) de grande escala, como o CLIP, demonstraram excelente desempenho em tarefas de few-shot (poucos exemplos) ao alinhar imagens com prompts de texto. No entanto, existem duas limitações principais nas abordagens atuais de aprendizado de prompt:

1. Foco Excessivo no Global: A maioria dos métodos (ex: CoOp) alinha apenas o embedding global da imagem (token [CLS]) com o texto. Isso ignora detalhes visuais finos (texturas, partes de objetos, configurações espaciais) cruciais para discriminar categorias similares e detectar amostras fora da distribuição (OOD).
2. Sobreposição e Redundância em Métodos Locais: Abordagens que tentam usar características locais frequentemente selecionam regiões de imagem independentemente para cada prompt. Isso leva a múltiplos prompts atendendo às mesmas regiões dominantes (sobreposição), causando redundância e impedindo a especialização eficaz de cada prompt em partes visuais distintas.

O objetivo do SOT-GLP é resolver a alocação de evidências locais para múltiplos prompts, garantindo que cada prompt se especialize em evidências visuais distintas extraídas de um conjunto compartilhado de manchas (patches) salientes.

2. Metodologia (SOT-GLP)

O framework propõe uma arquitetura de dupla ramificação que combina alinhamento global robusto com alinhamento local fino, guiado por Transporte Ótimo (OT) esparsos.

• Arquitetura de Dupla Ramificação:

  • Ramificação Global: Mantém o alinhamento padrão estilo CLIP (usando atenção Q-K) entre o token [CLS] da imagem e prompts globais compartilhados entre todas as classes. Isso preserva a generalização robusta de nível de categoria.
  • Ramificação Local: Utiliza um fluxo paralelo de atenção Valor-Valor (V-V) em vez da atenção padrão. A atenção V-V correlaciona diretamente as representações de valor, fortalecendo as interações entre patches e gerando características locais mais discriminativas, reduzindo a interferência do fundo.

• Extração de Características Locais e Esparsificação:

  • Em vez de alinhar todos os patches, o modelo gera um mapa de saliência baseado na similaridade média entre os patches e o conjunto de prompts locais de uma classe específica.
  • Aplica-se um operador de esparsificação para selecionar apenas os top-K patches mais salientes, filtrando ruído de fundo e criando um conjunto de suporte comum.

• Alinhamento via Transporte Ótimo Esparsos (Sparse OT):

  • O núcleo da inovação é o uso de Transporte Ótimo Entópico Balanceado para alinhar o conjunto de patches salientes selecionados aos prompts locais específicos de cada classe.
  • Restrição de Margens Uniformes: O OT é formulado com margens uniformes (balanceadas). Isso força uma partição suave dos patches entre os prompts, impedindo que todos os prompts se concentrem no mesmo "melhor" patch (evitando o colapso do prompt) e garantindo que diferentes prompts se especializem em diferentes partes visuais.

• Objetivo de Treinamento:

  • A perda total é uma combinação da perda de contraste global e da perda de entropia cruzada local: $L = L_{global} + \lambda L_{local}$.
  • Durante a inferência, as pontuações globais e locais são combinadas aditivamente para a classificação final.

3. Principais Contribuições

1. Mecanismo de Alocação de Prompt: Introdução de um conjunto de suporte de patches compartilhado e esparsos, alocado via Transporte Ótimo balanceado, garantindo especialização não sobreposta entre prompts locais.
2. Uso de Atenção V-V: Adaptação da atenção Valor-Valor (V-V) como um fluxo dedicado para extração de características locais, melhorando a captura de texturas e partes finas.
3. Descoberta de Trade-off Precisão-Robustez: O trabalho identifica e demonstra um trade-off distinto no aprendizado de prompts:
   • Com Projeção Local Aprendível: Maximiza a precisão few-shot (ajustando o espaço de características à tarefa).
   • Sem Projeção Local (Proj-free): Preserva a geometria nativa do manifold do CLIP pré-treinado. Embora haja uma pequena queda na precisão in-distribution, isso resulta em desempenho State-of-the-Art (SOTA) em detecção de OOD.

4. Resultados Experimentais

Os métodos foram avaliados em 11 benchmarks padrão e em tarefas de detecção OOD.

• Classificação Few-Shot:

  • No benchmark de 11 conjuntos de dados com 16 exemplos por classe (ViT-B/16), o SOT-GLP alcançou 85,1% de precisão média, superando todos os métodos anteriores de aprendizado de prompt (incluindo GalLoP, que tinha 84,4%).
  • Obteve os melhores resultados em 9 dos 11 conjuntos de dados, com ganhos significativos em tarefas que dependem de detalhes locais (texturas, flores finas, ações).

• Detecção Out-of-Distribution (OOD):

  • O modelo completo obteve 93,2% de AUC.
  • Destaque: A variante sem projeção local alcançou 94,2% de AUC e 23,8 FPR95 (Taxa de Falsos Positivos a 95% de Verdadeiros Positivos), superando todos os métodos de base e modelos totalmente adaptados. Isso confirma que manter a geometria original do CLIP é crucial para a robustez em distribuições não vistas.

• Análise de Ablação:

  • Remover a atenção V-V reduziu a precisão média em 0,3 pontos percentuais.
  • Remover a projeção local reduziu a precisão em 0,9 pontos, mas melhorou drasticamente a detecção OOD.
  • Prompts locais específicos por classe foram essenciais para tarefas de alta granularidade (ex: Aircraft, Cars).

5. Significado e Conclusão

O SOT-GLP representa um avanço significativo na adaptação de VLMs para cenários few-shot. Ao resolver o problema de sobreposição de atenção em prompts locais através do Transporte Ótimo balanceado, o método permite uma especialização mais eficiente das características visuais.

A descoberta mais impactante é a controle explícito entre precisão e robustez. Os pesquisadores demonstram que, dependendo da necessidade de implantação (alta precisão em dados conhecidos vs. alta segurança contra dados desconhecidos), o usuário pode escolher entre usar ou não a projeção local aprendível. Isso oferece uma flexibilidade prática sem precedentes em modelos de prompt learning, estabelecendo novos padrões de referência tanto para classificação quanto para detecção de anomalias/OOD.