Active Prompt Learning with Vision-Language Model Priors

Este artigo propõe um framework de aprendizado ativo eficiente em orçamento para modelos visão-linguagem, que utiliza agrupamento guiado por classe e consultas seletivas baseadas em limiares adaptativos para melhorar a precisão com menos dados rotulados.

O essencial

Imagine que você tem um super-herói da inteligência artificial chamado CLIP. Ele é incrível: já viu milhões de fotos e textos na internet, então ele sabe o que é um "cachorro", um "gato" ou um "avião" sem nunca ter sido treinado especificamente para isso. Ele é um gênio "zero-shot" (faz tudo de primeira).

Mas, para usar esse gênio em uma tarefa específica (como identificar raças de cães), precisamos dar a ele um "prompt" (um comando de texto). O problema é que criar esses comandos manualmente é chato e demorado. A solução atual é "Prompt Learning": ensinar o computador a criar seus próprios comandos melhores.

Aqui entra o grande desafio: dinheiro e tempo. Para ensinar o computador, precisamos mostrar fotos e dizer: "Isso é um Poodle, isso é um Golden". Pedir para um humano rotular (anotar) milhares de fotos custa caro.

Aqui está o que os autores deste artigo propuseram, explicado de forma simples:

O Problema: O "Chão de Fábrica" Desorganizado

Imagine que você tem um armazém gigante cheio de caixas (fotos) e precisa separá-las por tipo de fruta.

• Métodos antigos: Eles pegavam caixas aleatoriamente para ver o que tinha dentro. Isso era ineficiente.
• Métodos recentes (como o PCB): Eles tentavam garantir que pegassem caixas de todas as frutas, mas ainda dependiam muito de como as caixas estavam organizadas no início, o que podia confundir o sistema se ele não soubesse nada sobre as frutas ainda (o "problema do início frio").

A Solução: O "Detetive com Mapa do Tesouro"

Os autores criaram um novo método chamado Active Prompt Learning (Aprendizado Ativo de Prompt) que funciona como um detetive esperto usando um mapa do tesouro. Eles usam duas ideias principais:

1. Agrupamento Guiado por Classe (O Mapa do Tesouro)

Em vez de olhar apenas para a foto da fruta (a imagem), o sistema usa o conhecimento prévio do "Super-herói" (CLIP) para criar um mapa híbrido.

• Como funciona: O sistema olha para a foto e pergunta: "O que o texto 'uma foto de um cachorro' diz sobre esta imagem?". Ele mistura a imagem com a ideia do texto.
• A Analogia: Imagine que você está organizando uma festa. Em vez de apenas olhar para as roupas das pessoas (imagem), você também pergunta: "Quem aqui gosta de rock?". O sistema agrupa as pessoas não só pelo visual, mas pelo "tema" (classe) que o texto sugere.
• O Resultado: Isso permite que o sistema comece a organizar as caixas (fotos) de forma inteligente desde o primeiro dia, sem precisar de um monte de ajuda humana. Ele sabe exatamente onde procurar as frutas raras.

2. Consulta Seletiva (O "Pulo do Gato" para Economizar)

Aqui está a parte mais brilhante para economizar dinheiro.

• O Cenário: O sistema escolhe 10 caixas para você analisar.
• O Truque: Antes de você gastar seu tempo abrindo todas as 10, o sistema olha para elas. Se ele estiver 100% confiante de que aquela caixa é uma "maçã" (porque o Super-herói já sabe disso), ele não te pergunta. Ele coloca um rótulo automático (pseudo-rótulo) e pula para a próxima.
• Quando ele pede ajuda? Só quando ele está inseguro. Se a caixa parece meio estranha ou se o sistema tem dúvida entre "maçã" e "pêra", aí ele te chama: "Ei, humano, me diz o que é isso!".
• A Analogia: É como um professor que já sabe que o aluno João é ótimo em matemática. O professor não pede para João resolver 100 exercícios fáceis. Ele só pede para João resolver os 5 exercícios difíceis onde ele pode errar. O resto, o professor já sabe a resposta. Isso economiza o tempo do aluno (o seu orçamento).

Por que isso é genial?

1. Começo Forte: Eles não começam do zero. Usam o conhecimento do modelo para criar um "aquecimento" (warm-start), evitando o erro inicial comum em outros métodos.
2. Economia Extrema: Eles conseguem atingir a mesma precisão de outros métodos, mas gastando menos de 20% a menos do orçamento de anotação humana. É como fazer um bolo delicioso usando menos farinha e ovos.
3. Funciona em Tudo: Eles testaram em 7 conjuntos de dados diferentes (de carros a flores, de satélites a animais) e funcionou melhor que todos os concorrentes.

Resumo da Ópera

Os autores criaram um sistema que usa a inteligência prévia da IA para escolher as melhores fotos para ensinar a IA, e pula a etapa de pedir ajuda humana quando a IA já está confiante.

É como ter um assistente de compras que já sabe o que você gosta, vai ao mercado, pega as melhores frutas para você provar, e só te pergunta "Isso está bom?" se a fruta parecer duvidosa. O resultado? Você gasta menos tempo no mercado e leva para casa uma cesta de frutas perfeita.

Resumo técnico

Título: Active Prompt Learning with Vision-Language Model Priors (Aprendizado de Prompt Ativo com Priors de Modelos Visão-Linguagem)

1. Problema

Os Modelos Visão-Linguagem (VLMs), como o CLIP, demonstraram capacidades impressionantes de zero-shot em diversas tarefas de classificação. No entanto, sua adaptação eficiente para novas tarefas enfrenta dois desafios principais:

1. Dependência de Prompts Manuais: O desempenho dos VLMs depende fortemente de prompts de texto manualmente criados, o que é trabalhoso e não escalável.
2. Ineficiência no Aprendizado de Prompt (Prompt Learning): Embora o prompt learning (aprender vetores de prompt em vez de ajustar todo o modelo) seja uma solução promissora, a maioria dos métodos existentes foca em otimizar o modelo em conjuntos de dados few-shot já fornecidos. Eles frequentemente ignoram estratégias de seleção de dados, desperdiçando orçamentos de anotação em amostras que não trazem o máximo de informação ou que o modelo já consegue classificar com alta confiança.

O objetivo deste trabalho é desenvolver um framework de Aprendizado de Prompt Ativo que seja eficiente em termos de orçamento, selecionando estrategicamente quais imagens devem ser anotadas por humanos para maximizar a precisão com o mínimo de dados rotulados.

2. Metodologia

Os autores propõem um framework de aprendizado ativo que explora totalmente os priors (conhecimentos pré-treinados) dos VLMs. O método consiste em três componentes principais, ilustrados na Figura 1 do artigo:

A. Agrupamento Guiado por Classe (Class-Guided Clustering)
Para resolver o problema de "início frio" (cold-start) no primeiro round de aprendizado ativo (onde não há dados rotulados), o método utiliza os codificadores de imagem e texto pré-treinados do CLIP.

• Extração de Características: Para cada imagem, são extraídas características de imagem ($I$) e características de texto ponderadas ($\tilde{T}_C$). As características de texto são calculadas como uma soma ponderada das características de texto de todas as classes, onde os pesos são baseados na similaridade de cosseno entre a imagem e os prompts de texto de cada classe.
• Características Guiadas ($F_C$): As características de imagem e texto são concatenadas para formar características guiadas pela classe.
• Visualização: O uso de GradFAM (uma variação do GradCAM) mostra que essas características focam nos objetos relevantes para as classes-alvo, ao contrário das características de imagem puras que focam em objetos gerais.
• Agrupamento: Aplica-se o algoritmo K-means nessas características guiadas para selecionar amostras representativas de cada cluster, garantindo diversidade e equilíbrio desde o início.

B. Função de Aquisição Balanceada por Cluster (Cluster-Balanced Acquisition)

• Em cada rodada, o número de clusters ($K$) aumenta progressivamente (ex: $K = B \times r$, onde $B$ é o orçamento e $r$ a rodada).
• A amostragem é feita selecionando a imagem mais próxima do centróide de cada cluster. Isso garante que o conjunto de dados candidato seja diversificado e balanceado entre as classes, evitando viés de distribuição.

C. Consulta Seletiva com Limiares Adaptativos (Selective Querying)

• Reconhecendo que os VLMs possuem alta confiança em certas classes e tarefas, o método introduz uma estratégia de economia de orçamento.
• Limiares por Classe: Calcula-se um limiar de confiança adaptativo para cada classe com base nos dados já rotulados nas rodadas anteriores.
• Atribuição de Pseudo-rótulos: Se a confiança do VLM para uma imagem candidata candidata exceder o limiar da classe correspondente, um pseudo-rótulo é atribuído automaticamente, sem custo de anotação humana. Caso contrário, a imagem é enviada para anotação humana.
• Isso permite que o orçamento seja conservado em cada rodada, focando os recursos humanos apenas nas amostras incertas.

D. Prompt Unificado
Para evitar overfitting (especialmente em cenários com poucos dados), o método utiliza uma medida de similaridade que combina prompts unificados (comuns a todas as classes) e prompts específicos por classe, melhorando a generalização.

3. Principais Contribuições

1. Framework de Aprendizado Ativo Eficiente: Propõe um método que integra clustering guiado por classe e consulta seletiva para maximizar a eficiência do orçamento em VLMs.
2. Exploração de Priors de VLM: Diferente de métodos anteriores que tratam os VLMs como caixas-pretas ou focam apenas na arquitetura do prompt, este trabalho utiliza explicitamente os codificadores pré-treinados para guiar a seleção de dados e a atribuição de pseudo-rótulos.
3. Análises Profundas: Fornece visualizações detalhadas (GradFAM e T-SNE) demonstrando como as características guiadas por classe melhoram a separabilidade dos clusters em comparação com características de imagem puras.
4. Extensibilidade: Demonstra que a abordagem centrada nos dados pode ser integrada a métodos de prompt learning centrados no modelo (como MaPle, PromptSRC), melhorando seu desempenho.

4. Resultados Experimentais

Os experimentos foram conduzidos em 7 conjuntos de dados (incluindo OxfordPets, Flowers102, StanfordCars, EuroSAT, etc.) e em escala no ImageNet.

• Desempenho Superior: O método proposto (denotado como CB+SQ) superou consistentemente os baselines de ponta, incluindo métodos de aprendizado ativo tradicionais (Random, Entropy, CoreSet, BADGE) e o método específico para VLMs (PCB).
• Eficiência de Orçamento:
  • No primeiro round de aquisição, o método mostrou um ganho de 19,5 pontos percentuais em comparação aos baselines.
  • Com apenas $|C|$ amostras consultadas (onde $|C|$ é o número de classes), o método superou baselines treinados com $3|C|$ amostras.
  • A consulta seletiva reduziu o orçamento de rotulagem em 17,6% em comparação com métodos que gastam o orçamento total em cada rodada, mantendo a mesma precisão.
• Escalabilidade: O método foi capaz de escalar para o ImageNet (1,28 milhão de imagens), onde métodos baseados em BADGE/PCB se tornaram inviáveis computacionalmente, graças ao uso de K-means leve.
• Generalização: O método demonstrou forte desempenho em classes "novas" (base-to-novel generalization), superando a seleção aleatória tanto em classes base quanto em classes não vistas.

5. Significado e Impacto

Este trabalho é significativo porque muda o paradigma de como os VLMs são adaptados para tarefas específicas. Em vez de apenas otimizar a arquitetura do modelo ou o objetivo de perda em um conjunto de dados fixo, ele introduz uma abordagem centrada nos dados que é crucial para a era dos modelos fundacionais.

• Redução de Custos: Ao permitir a atribuição de pseudo-rótulos para amostras de alta confiança, o método reduz drasticamente a necessidade de anotação humana, tornando a adaptação de VLMs viável para aplicações em larga escala com orçamentos limitados.
• Solução para o "Cold-Start": A técnica de agrupamento guiado por classe resolve o problema crítico de como iniciar o aprendizado ativo sem dados rotulados, garantindo que o modelo comece com uma compreensão diversificada do espaço de dados.
• Sinergia com Métodos Existentes: A descoberta de que a seleção de dados baseada em priors de VLM pode melhorar até mesmo métodos de prompt learning já estabelecidos sugere que a seleção inteligente de dados é um componente fundamental, muitas vezes negligenciado, para o sucesso da adaptação de modelos fundacionais.

Em resumo, o artigo estabelece um novo estado da arte para a adaptação eficiente de VLMs, provando que a combinação inteligente de priors de modelos pré-treinados com estratégias de seleção de dados ativas é a chave para a escalabilidade e eficiência em tarefas de visão computacional.