Adapting in the Dark: Efficient and Stable Test-Time Adaptation for Black-Box Models

1. O Problema: Adaptação em Tempo de Teste (TTA) em Cenários de Caixa-Preta

O artigo aborda um desafio crítico no aprendizado de máquina moderno: a Adaptação em Tempo de Teste (TTA) para modelos acessíveis apenas via APIs de caixa-preta.

• Contexto: Modelos de deep learning frequentemente sofrem degradação de desempenho quando implantados em cenários reais devido a shifts de distribuição entre os dados de treinamento e os dados de teste (ex: imagens corrompidas, mudanças de domínio).
• A Limitação Atual: A maioria dos métodos de TTA existentes assume acesso "caixa-branca" (parâmetros e gradientes disponíveis) ou "cinza" (acesso a características intermediárias). No entanto, os modelos mais poderosos (SOTA) são frequentemente disponibilizados como APIs opacas (ex: Clarifai, OpenAI), onde o usuário só pode enviar uma imagem bruta e receber probabilidades de saída.
• Desafios Específicos da Caixa-Preta:
  1. Custo de Consulta (Query Cost): Métodos baseados em otimização de ordem zero (ZOO) ou aumento de dados exigem múltiplas chamadas à API por amostra, tornando-os proibitivamente caros e lentos.
  2. Instabilidade: Em cenários não supervisionados (sem rótulos verdadeiros), métodos que tentam aprender prompts de entrada via ZOO tendem a colapsar, aprendendo soluções degeneradas que corrompem o conteúdo semântico da imagem para minimizar a entropia artificialmente.
  3. Falta de Gradientes: Não é possível realizar backpropagation através do modelo alvo.

2. Metodologia: O Framework BETA

Os autores propõem o BETA (Black-box Efficient Test-time Adaptation), um framework que permite adaptação estável e eficiente com apenas uma chamada de API por amostra.

Componentes Principais:

1. Modelo de Direção (Steering Model):

   • Um modelo leve e local (ex: ViT-Small) com acesso total a parâmetros e gradientes.
   • Não requer acesso aos dados de pré-treinamento ou arquitetura do modelo alvo.
   • Pode ser um modelo genérico (como CLIP) adaptado zero-shot para as classes do alvo.

2. Harmonização de Previsão (Prediction Harmonization):

   • Em vez de tentar estimar o gradiente do modelo alvo (impossível) ou transferir diretamente o gradiente do modelo local (ineficaz devido à baixa similaridade entre arquiteturas), o BETA cria um objetivo compartilhado.
   • Define uma previsão harmonizada $p_H$ que combina as saídas do modelo local ($p_S$) e do modelo alvo ($p_B$):
     $$p_H(x') = \alpha \cdot p_S(x') + (1 - \alpha) \cdot p_B(x')$$
   • O objetivo é minimizar a entropia de $p_H$.
   • Fundamentação Teórica: A entropia da mistura pode ser decomposta em uma soma ponderada das entropias individuais mais uma divergência de Jensen-Shannon (JS) entre elas. O termo JS atua como um "âncora" que alinha a direção de otimização do modelo local com a crença do modelo alvo, mesmo sem backpropagation através do alvo.

3. Estabilização e Otimização Conjunta:
   Para evitar o colapso da otimização (comum em TTA não supervisionado), o BETA introduz dois mecanismos:

   • Filtragem de Dados Orientada a Aprendizado de Prompt: Atualiza o prompt visual apenas com amostras de baixa entropia (confiáveis), ignorando amostras ruidosas que gerariam gradientes instáveis.
   • Regularização de Consistência: Minimiza a divergência KL entre as previsões da imagem original e da imagem com o prompt aplicado no modelo local. Isso impede que o prompt aprenda soluções degeneradas que destroem a representação semântica.

4. Otimização:

   • O prompt visual ($\delta$) é adicionado à imagem de entrada ($x' = x + \delta$).
   • Os gradientes são calculados exclusivamente através do modelo local ($f_S$) em relação ao objetivo harmonizado.
   • O modelo alvo ($f_B$) permanece congelado; apenas o prompt e as camadas de normalização do modelo local são atualizados.

3. Contribuições Chave

1. Estudo Sistemático do Cenário de Caixa-Preta: É o primeiro trabalho a estudar rigorosamente a TTA em um cenário estrito de caixa-preta (apenas entrada e saída de probabilidades), revelando as limitações de métodos existentes como refinamento pós-hoc, aumento de dados e ZOO.
2. Framework BETA: Introduz uma abordagem que contorna chamadas de API caras usando um modelo de direção local e harmonização de previsões, estabilizada por regularização e filtragem.
3. Fundamentação Analítica: Fornece uma derivação teórica mostrando como o termo de divergência JS na função de perda cria um objetivo otimizable que alinha o modelo local com o alvo.
4. Novos Recordes (SOTA): Estabelece novos estados da arte para TTA em caixa-preta, superando métodos de caixa-branca e cinza em eficiência e desempenho.

4. Resultados Experimentais

O BETA foi avaliado em diversos benchmarks (ImageNet-C, ImageNet-S, ImageNet-R) e em uma API comercial real (Clarifai).

• Desempenho em ImageNet-C (ViT-B/16):

  • O BETA alcançou 62.6% de precisão, um ganho de +7.1% sobre o modelo fonte.
  • Superou métodos de caixa-branca fortes como TENT e CoTTA, e métodos de caixa-cinza como FOA.
  • Métodos baseados em ZOO colapsaram em domínios difíceis (ex: precisão caiu de 32.6% para 4.1% em "Contrast" com ZOO), enquanto o BETA manteve estabilidade.

• Desempenho em Modelos de Linguagem-Vision (CLIP):

  • No CLIP, o BETA alcançou 63.4%, superando métodos especializados como TPT e DynaPrompt.

• Eficiência e Custo (API Comercial Clarifai):

  • Custo: O BETA alcançou um ganho de +5.2% de precisão com um custo de apenas $0.40 (aprox. 120 amostras).
  • Comparação: Para atingir desempenho similar, métodos baseados em ZOO exigiram mais de $100, representando uma vantagem de custo de 250x para o BETA.
  • Latência: O BETA mantém a velocidade de inferência padrão (1 chamada de API), enquanto métodos concorrentes sofrem atrasos severos devido a múltiplas chamadas.

• Generalização:

  • Funcionou bem em tarefas de sensoriamento remoto (EuroSAT) e dermatologia (Derm7pt), mesmo usando um modelo de direção zero-shot sem treinamento específico para o domínio.

5. Significado e Impacto

O trabalho do BETA é significativo por várias razões:

1. Viabilidade Prática: Torna a adaptação de modelos de caixa-preta economicamente viável para aplicações do mundo real, onde o custo de API e a latência são barreiras críticas.
2. Solução para o "Colapso": Resolve o problema fundamental de instabilidade na TTA não supervisionada de caixa-preta, que limitava o uso de métodos anteriores.
3. Paradigma de "Advisors" (Conselheiros): O artigo propõe um novo paradigma onde um modelo local pequeno e barato atua como um "conselheiro" que guia o comportamento de um modelo remoto grande e opaco sem alterar seus pesos. Isso tem implicações futuras para a adaptação de sistemas de agentes de IA e modelos de linguagem grandes (LLMs) em tempo de teste.
4. Acesso Democrático: Permite que usuários de APIs proprietárias (que não têm acesso aos dados de treinamento ou gradientes) ainda possam adaptar seus modelos a novas distribuições de dados de forma eficiente.

Em resumo, o BETA demonstra que é possível realizar adaptação robusta e de alta performance em modelos de IA de ponta, mesmo quando estes são tratados como "caixas pretas" inescrutáveis, através de uma combinação inteligente de modelos locais leves e otimização de objetivos compartilhados.