Resumo Técnico: USE – Um Framework de Auto-Ensemble Unificado para Ajuste de Prompt em Tempo de Teste

1. Declaração do Problema

Modelos de Visão-Linguagem (VLMs), como o CLIP, demonstraram uma forte generalização em configurações zero-shot, mas permanecem vulneráveis a mudanças de distribuição em tarefas de downstream. Embora a Adaptação em Tempo de Teste (TTA) ofereça uma solução ao aproveitar amostras de teste não rotuladas, os métodos existentes frequentemente sofrem com inconsistências entre suas etapas de otimização e inferência.

Especificamente, o método pioneiro de Ajuste de Prompt em Tempo de Teste (TPT) otimiza prompts textuais minimizando a entropia marginal sobre as predições médias de visualizações aumentadas. No entanto, o TPT e suas variantes dependem tipicamente de um aumento "fraco" (a imagem original) para a inferência final, enquanto a etapa de otimização utiliza uma média de aumentos "fortes". Essa discrepância cria um desalinhamento entre os pseudo-rótulos usados para otimização e a estratégia de predição final. Além disso, abordagens existentes frequentemente subestimam ou excluem a imagem de teste original durante a construção de pseudo-rótulos, apesar da evidência de que a imagem original pode ser mais confiável do que certas visualizações aumentadas na classificação zero-shot.

2. Metodologia

O artigo propõe o USE (Unified Self-Ensembling), um framework que unifica as etapas de otimização e inferência através de uma estratégia de auto-ensemble consistente.

2.1 Reinterpretando o TPT como Auto-Treinamento

Os autores primeiro reinterpretam o objetivo do TPT. Ao introduzir uma distribuição auxiliar $q$ (uma versão do gradiente interrompido da predição média), o objetivo de minimização da entropia marginal é decomposto em um termo de Entropia Reversa Cruzada (RCE) e um termo de divergência KL. Como o termo KL é otimizado quando $q$ é fixo, o objetivo efetivamente reduz-se a minimizar a RCE. Isso revela que o TPT aprende implicitamente de pseudo-rótulos autogerados, onde o pseudo-rótulo é construído pela média das predições de visualizações selecionadas de baixa entropia.

2.2 Estratégia de Auto-Ensemble (SE)

Para melhorar a qualidade desses pseudo-rótulos, os autores introduzem uma estratégia de Auto-Ensemble (SE). Análises empíricas mostram que, embora os aumentos fortes sejam úteis, o aumento fraco (a imagem de teste original) frequentemente possui um valor distintivo e não deve ser descartado.

A estratégia SE agrega dinamicamente as predições de aumentos fracos ($p_w$) e fortes ($p_s$). Ela emprega um coeficiente de ponderação baseado em entropia $\beta$ para ajustar adaptativamente a contribuição da imagem de teste:

1. Ranking: O ranking de auto-entropia relativa $\delta$ do aumento fraco é computado contra o conjunto de aumentos fortes.
2. Ponderação: Uma função linear reescala $\delta$ em um peso $\beta$ (restrito entre 0,3 e 0,7). Se o aumento fraco tiver menor entropia (maior confiança) do que a maioria dos aumentos fortes, ele recebe um peso maior.
3. Construção do Pseudo-Rótulo: O pseudo-rótulo final $q(x)$ é computado como:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 O Framework Unificado (USE)

O USE garante consistência entre as duas etapas de TTA:

• Etapa de Otimização: O prompt textual é otimizado usando a perda RCE, onde o pseudo-rótulo alvo $q(x)$ é gerado via estratégia SE.
• Etapa de Inferência: Diferente do TPT, que prediz unicamente na ampliação fraca, o USE aplica a mesma estratégia SE para gerar a predição final $\hat{p}(x)$. Isso unifica o objetivo de estimativa de pseudo-rótulo e a inferência final.

Adicionalmente, os autores introduzem uma técnica de salto (skip technique) para reduzir o custo computacional. Se a predição do aumento fraco for idêntica às aumentos fortes selecionados, a etapa de otimização é pulada, pois a predição é considerada confiável.

Notavelmente, a estratégia SE pode funcionar independentemente como um método de TTA livre de otimização, não requerendo backpropagation.

3. Principais Contribuições

• Reinterpretação do TPT: O artigo revela que o TPT aprende implicitamente de pseudo-rótulos autogerados, enquadrando o objetivo de entropia marginal como uma perda de Entropia Reversa Cruzada contra um alvo de gradiente interrompido.
• Auto-Ensemble (SE): Uma estratégia simples e eficaz que pondera adaptativamente aumentos fracos e fortes para gerar pseudo-rótulos mais confiáveis. Serve como um método de TTA autônomo e livre de otimização.
• Framework Unificado (USE): Um framework de TTA que alinha o objetivo de otimização com o objetivo de inferência ao aplicar a estratégia SE em ambas as etapas, garantindo consistência.
• Capacidade Plug-and-Play: O SE é mostrado como um módulo leve que pode ser integrado em métodos de TTA existentes para aumentar consistentemente o desempenho sem sobrecarga computacional significativa.

4. Resultados Experimentais

Os autores avaliaram o USE e o SE no ImageNet, seus variantes Out-of-Distribution (OOD) (ImageNet-A, V2, R, Sketch) e dez conjuntos de dados finos (ex: DTD, Flowers102, EuroSAT) usando backbones ViT-B/16 e ResNet-50.

• Desempenho:
  • Livre de Otimização: O SE alcançou os melhores ou segundos melhores resultados entre os métodos livres de otimização, superando CLIP, MTA e ZERO. No backbone ResNet-50, o SE alcançou uma precisão média de 47,80% em conjuntos de dados OOD, superando muitos métodos baseados em otimização.
  • Baseado em Otimização: O USE superou consistentemente baselines como TPT, C-TPT, R-TPT e STS. Em conjuntos de dados finos com ViT-B/16, o USE melhorou a precisão média de 64,84% (TPT) para 65,35%.
  • Robustez: Quando inicializado com CoOp (uma inicialização de prompt mais forte), tanto o SE quanto o USE mantiveram desempenho de alto nível, demonstrando robustez a diferentes configurações pré-treinadas.
• Integração: Integrar o SE como um módulo plug-in em métodos existentes (TPT, C-TPT, R-TPT, STS) resultou consistentemente em ganhos de precisão. Por exemplo, adicionar o SE ao C-TPT aumentou sua precisão IN&O de 61,09% para 64,27%.
• Eficiência:
  • O SE é altamente eficiente, exigindo apenas 0,059 segundos por amostra e 1,06 GB de memória, comparável a 64 passagens de forward do CLIP, mas com maior precisão.
  • O USE, utilizando a técnica de salto, reduziu o tempo médio de teste para 0,144 segundos por imagem. Mais de 60% das amostras de teste foram puladas sem degradação da precisão.

5. Significância e Alegações

O artigo afirma que a principal significância do USE reside na sua unificação dos objetivos de otimização e inferência. Ao garantir que os pseudo-rótulos usados para adaptação sejam construídos usando a mesma estratégia da inferência final, o USE elimina a lacuna de desempenho frequentemente encontrada em métodos de TTA.

Os autores enfatizam que:

1. Consistência é a Chave: Os ganhos de desempenho são atribuídos em grande parte à consistência proporcionada pela estratégia SE em ambas as etapas.
2. Simplicidade e Eficácia: A estratégia SE é um mecanismo de ponderação baseado em entropia simples que não requer objetivos de treinamento complexos ou parâmetros adicionais, mas produz melhorias substanciais de desempenho.
3. Versatilidade: O framework é versátil, funcionando efetivamente tanto como um método autônomo livre de otimização quanto como um aprimoramento consistente para métodos baseados em otimização.

O artigo conclui que, embora o método introduza alguma sobrecarga computacional devido à geração de múltiplos aumentos (uma característica comum de TTA episódica), o uso da técnica de salto e os altos ganhos de precisão tornam-no uma abordagem prática e eficaz para melhorar a robustez do VLM contra mudanças de distribuição.