Exploring Interpretability for Visual Prompt Tuning with Cross-layer Concepts

Este artigo apresenta o Interpretable Visual Prompt Tuning (IVPT), um novo framework que introduz protótipos de conceitos entre camadas para vincular prompts visuais a conceitos semânticos compreensíveis por humanos, permitindo a geração de prompts interpretáveis em múltiplas profundidades da rede e demonstrando superioridade em desempenho e interpretabilidade em benchmarks de classificação de granularidade fina.

O essencial

Imagine que você tem um gênio da lâmpada (um modelo de inteligência artificial) que já viu milhões de fotos e sabe reconhecer quase tudo. Mas, se você pedir para ele identificar um tipo específico de pássaro raro ou diagnosticar uma doença rara, ele precisa de um "empurrãozinho" para focar no que importa.

No mundo da IA, esse empurrãozinho é chamado de "Prompt Visual". É como se você escrevesse uma nota mental para o gênio: "Ei, olhe para as penas!" ou "Foque no bico!".

O problema é que, até agora, essas notas eram como bilhetes escritos em código secreto. O computador entendia, mas os humanos não sabiam o que significavam. Era uma "caixa preta": o modelo dava a resposta certa, mas ninguém sabia por que.

Este artigo apresenta uma nova solução chamada IVPT (Ajuste de Prompt Visual Interpretável). Vamos explicar como funciona usando analogias simples:

1. O Problema: O Gênio que não explica o raciocínio

Os métodos antigos de "ajuste de prompt" criavam vetores matemáticos abstratos. Imagine que o gênio dissesse: "Use o código #FF00AA para classificar este pássaro". Você não sabe o que é #FF00AA. É um bico? Uma asa? Uma mancha de cor? Sem saber, você não confia totalmente na resposta dele, especialmente em áreas críticas como medicina ou carros autônomos.

2. A Solução: O IVPT e os "Conceitos Visuais"

O IVPT muda a regra do jogo. Em vez de usar códigos secretos, ele ensina o modelo a usar conceitos que nós, humanos, entendemos.

• A Analogia do Detetive: Imagine que o modelo não é mais um gênio mudo, mas um detetive com uma lupa.
• O IVPT cria "protótipos" (modelos de referência) que são como cartões de conceitos: "Asa", "Bico", "Pata", "Olho".
• Quando o modelo vê uma foto, ele não apenas classifica; ele aponta: "Veja, eu usei o conceito 'Asa' (que é a parte verde no mapa de calor) e o conceito 'Bico' (parte vermelha) para decidir que é um pardal."

3. A Grande Inovação: A Escada de Significado (Camadas Cruzadas)

A parte mais genial do IVPT é como ele organiza esses conceitos. Pense em como um humano olha para uma foto:

1. Primeiro, vemos detalhes pequenos e específicos (uma pena solta, a textura da pele).
2. Depois, juntamos esses detalhes para formar ideias maiores (o formato do bico, a forma da asa).
3. Por fim, temos a ideia completa (é um pássaro).

Muitos métodos anteriores só olhavam para o final da escada (a resposta final) ou só para o começo (detalhes soltos). O IVPT cria uma escada conectada:

• Camadas Rasas (O Início): O modelo identifica muitos detalhes pequenos e específicos (como "ponta da pena").
• Camadas Profundas (O Fim): O modelo agrupa esses detalhes em conceitos maiores (como "asas").
• A Mágica: O IVPT conecta os detalhes pequenos às ideias grandes. Ele mostra como a "ponta da pena" se transforma em "asa" dentro do raciocínio da máquina. Isso permite que o modelo explique sua decisão em vários níveis de detalhe, exatamente como um humano faria.

4. Por que isso é importante?

• Confiança: Se você é um médico usando IA para ler um raio-X, você quer saber onde o modelo viu o tumor. Com o IVPT, o modelo mostra: "Estou focando nesta área escura (o conceito de 'célula doente') para dar este diagnóstico".
• Descoberta de Erros: Se o modelo estiver errado, você pode ver o conceito que ele usou. Se ele achou que era um pássaro porque estava focando no "galho" e não no "pássaro", você sabe exatamente onde corrigir o modelo.
• Aprendizado Universal: O modelo aprende conceitos que servem para várias coisas. O conceito de "pata" serve para um cachorro, um cavalo e um pássaro. Ele não precisa reaprender tudo do zero para cada nova tarefa.

Resumo em uma frase

O IVPT transforma a IA de um gênio que dá respostas misteriosas em um professor explicativo, que aponta para a foto e diz: "Olhe aqui, usei este conceito e aquele conceito para chegar a esta conclusão, e veja como eles se conectam".

Isso torna a Inteligência Artificial mais transparente, confiável e fácil de entender para qualquer pessoa, não apenas para cientistas de dados.

Resumo técnico

Título: Explorando Interpretabilidade para Ajuste de Prompt Visual com Conceitos de Camada Cruzada (IVPT)

1. O Problema

O Ajuste de Prompt Visual (Visual Prompt Tuning - VPT) tornou-se uma abordagem eficiente para adaptar modelos de fundação visual pré-treinados a tarefas específicas, sem a necessidade de fine-tuning completo do modelo. No entanto, a maioria dos métodos atuais de VPT aprende embeddings de prompts abstratos que funcionam como "caixas-pretas".

• Falta de Transparência: Esses prompts não fornecem informações compreensíveis por humanos sobre o processo de tomada de decisão do modelo.
• Limitações de Segurança: A falta de interpretabilidade dificulta a avaliação da confiabilidade de sistemas de IA em domínios críticos (como saúde e direção autônoma).
• Limitações de Métodos Existentes: Métodos interpretáveis anteriores (baseados em protótipos ou atribuição) geralmente:
  1. Não conectam conceitos a embeddings de prompts.
  2. Operam apenas na camada final, ignorando interações entre camadas.
  3. Aprendem protótipos específicos por classe, dificultando a análise de conceitos compartilhados entre categorias.

2. Metodologia: IVPT (Interpretable Visual Prompt Tuning)

Os autores propõem o IVPT, o primeiro framework que integra conceitos de camada cruzada para tornar os prompts visuais interpretáveis. A abordagem conecta prompts aprendíveis a protótipos de conceitos agnósticos à categoria (ou seja, conceitos que não pertencem a uma classe específica, mas a regiões semânticas comuns).

A arquitetura do IVPT baseia-se em três componentes principais:

A. Descoberta de Região de Conceito (CRD - Concept Region Discovery)

• Objetivo: Ancorar cada protótipo de conceito a uma região específica da imagem.
• Mecanismo: Utiliza mapas de atenção calculados pela distância euclidiana negativa entre os embeddings de patch da imagem e os protótipos de conceito.
• Regularização: Emprega uma função de perda de "part-shaping" (inspirada em trabalhos anteriores) para garantir que as regiões descobertas sejam distintas, invariantes a transformações, e cubram tanto o primeiro plano quanto o fundo, evitando ambiguidade semântica.

B. Agregação de Recursos Intra-Região (IFA - Intra-region Feature Aggregation)

• Objetivo: Gerar o embedding do prompt interpretável a partir da região descoberta.
• Mecanismo: Os recursos (patches) dentro da região de conceito definida pelo CRD são agregados (média ponderada) para formar o vetor do prompt $p_k$. Isso garante que o prompt seja uma representação direta e compreensível daquela região visual.

C. Fusão de Prompt de Camada Cruzada (Cross-Layer Prompt Fusion)

• Desafio: Prompts em camadas rasas capturam detalhes finos (textura, bordas), enquanto prompts em camadas profundas capturam conceitos abstratos (formas, objetos).
• Solução: O IVPT utiliza um número decrescente de protótipos conforme a profundidade da rede aumenta.
  • Hierarquia: Camadas rasas têm muitos protótipos (alta granularidade); camadas profundas têm poucos (baixa granularidade/alta abstração).
  • Fusão: Um mecanismo de agrupamento (usando Gumbel-Softmax) agrupa prompts de camadas rasas que compartilham semântica de alto nível, alinhando-os com os prompts de camadas profundas.
  • Consistência: Uma perda de consistência de região ($L_{con}$) é aplicada para garantir que a fusão de regiões finas corresponda espacialmente à região grosseira da camada final.

Treinamento: O modelo é treinado com uma perda composta que equilibra a acurácia de classificação, a forma das partes (part-shaping) e a consistência entre camadas, mantendo o backbone do Transformer congelado e atualizando apenas os prompts e os protótipos.

3. Principais Contribuições

1. Novo Framework Interpretável: Proposta do IVPT, que usa protótipos de conceito como ponte entre prompts aprendíveis e conceitos visuais compreensíveis por humanos.
2. Interpretação de Camada Cruzada: Introdução de protótipos distribuídos por múltiplas camadas, permitindo explicar prompts em diferentes profundidades semânticas e modelar suas relações (do fino ao grosseiro).
3. Protótipos Agnósticos à Categoria: Diferente de métodos anteriores, o IVPT aprende conceitos compartilhados entre várias classes, permitindo uma análise mais coerente e generalizável do comportamento do modelo.
4. Validação Exaustiva: Demonstração de superioridade em benchmarks de classificação de alta granularidade e imagens patológicas, superando tanto métodos de VPT tradicionais quanto métodos interpretáveis existentes.

4. Resultados

Os experimentos foram conduzidos em benchmarks como CUB-200-2011 (aves), Stanford Cars, FGVC-Aircraft, Gleason-2019 (câncer de próstata) e PartImageNet.

• Métricas Quantitativas:
  • O IVPT superou redes de protótipos convencionais (como ProtoPNet e TesNet) e métodos de VPT (como VPT-Shallow/Deep) em Acurácia (Acc), Consistência (Con.) e Estabilidade (Sta.).
  • Exemplo no CUB-200-2011 com DinoV2-L: IVPT alcançou 91.1% de acurácia, 72.6% de consistência e 77.4% de estabilidade, superando significativamente o VPT-Deep (89.5% / 14.0% / 47.6%).
• Análise Qualitativa:
  • Visualização: Os mapas de região gerados pelo IVPT destacam partes semanticamente relevantes (ex: "asa de pássaro", "lúmen glandular" em tecidos) com alta precisão.
  • Hierarquia: A visualização cruzada de camadas mostra uma transição suave de detalhes finos (penas individuais) para conceitos abstratos (formato da asa), alinhando-se ao raciocínio humano.
  • Estudo Humano: Uma avaliação com 20 participantes resultou em 97.5% de precisão na anotação de conceitos, confirmando que os protótipos aprendidos correspondem a conceitos humanos.
• Generalização: O modelo demonstrou capacidade de transferir conceitos aprendidos para novas categorias e domínios (ex: de aves para carros ou imagens médicas) sem re-treinamento específico.

5. Significado e Impacto

O trabalho IVPT preenche uma lacuna crítica na literatura de Visão Computacional ao tornar o Ajuste de Prompt Visual transparente.

• Confiabilidade da IA: Ao vincular decisões do modelo a regiões visuais e conceitos humanos, o IVPT permite a auditoria de sistemas de IA, essencial para aplicações de segurança crítica.
• Descoberta de Conhecimento: A capacidade de identificar conceitos compartilhados entre classes e visualizar a evolução semântica através das camadas da rede oferece novas ferramentas para a descoberta de conhecimento guiada por IA.
• Eficiência: Mantém a eficiência paramétrica do VPT (apenas uma pequena fração de parâmetros é treinada) enquanto adiciona uma camada robusta de explicabilidade, sem comprometer significativamente o desempenho ou a latência de inferência.

Em resumo, o IVPT estabelece um novo paradigma para o ajuste de prompts visuais, transformando vetores abstratos em representações semânticas estruturadas e interpretáveis, alinhadas com o raciocínio visual humano.