PAS: Estimating the target accuracy before domain adaptation

Título: PAS: Estimando a Precisão do Alvo Antes da Adaptação de Domínio

1. O Problema

A Adaptação de Domínio Não Supervisionada (UDA) visa realizar previsões em um domínio alvo não rotulado, utilizando dados rotulados de um domínio fonte relacionado. O sucesso desses métodos depende criticamente de dois fatores:

1. Escolha do Domínio Fonte: Nem todos os domínios fontes são igualmente úteis; alguns podem até causar transferência negativa (piorar o desempenho no alvo) se forem muito distantes ou irrelevantes.
2. Escolha do Modelo Pré-treinado: Existem inúmeros modelos pré-treinados com diferentes viéses indutivos e arquiteturas. A escolha errada pode limitar a capacidade de transferência.

O Desafio: Como não há rótulos no domínio alvo, não é possível validar qual combinação de (domínio fonte + modelo pré-treinado) funcionará melhor antes de executar o processo de adaptação. Métodos atuais de estimativa de transferibilidade geralmente exigem rótulos no alvo ou são simétricos (tratando a transferência de A para B igual a B para A), o que não reflete a realidade assimétrica da adaptação de domínio (transferir de um domínio "fácil" para um "difícil" é mais desafiador que o inverso).

2. Metodologia: Potential Adaptability Score (PAS)

Os autores propõem o Potential Adaptability Score (PAS), uma métrica simples e eficaz para estimar a potencialidade de sucesso de uma adaptação antes de qualquer treinamento de adaptação de domínio.

Premissas Fundamentais:

• Um bom modelo pré-treinado extrai características discriminativas invariantes entre domínios.
• No espaço de embeddings gerado por esse modelo, amostras da mesma classe (mesmo de domínios diferentes) devem estar próximas, enquanto amostras de classes diferentes devem estar distantes.

Cálculo do PAS:
O PAS é inspirado na pontuação de Silhueta, mas adaptado para dados não rotulados e com viés assimétrico:

1. Embeddings: Os dados fonte e alvo são processados por um modelo pré-treinado $f_\theta$ para obter vetores de características.
2. Centroides: Calcula-se o centróide ($\mu_c$) de cada classe no domínio fonte no espaço de embeddings.
3. Distâncias: Para cada amostra alvo $x^T_i$, calcula-se a distância (cosseno) até todos os centroides das classes fonte.
4. Seleção de Distâncias: Identifica-se a menor distância ($d_1$) até o centróide mais próximo e a segunda menor distância ($d_2$).
5. Fórmula: O PAS para uma amostra é definido como:
   $$\text{PAS}_i = \frac{d_{2i} - d_{1i}}{d_{2i}}$$
   A pontuação final é a média sobre todas as amostras do domínio alvo.

Interpretação:

• Um PAS alto (próximo de 1) indica que a amostra alvo está muito próxima de um único cluster de classe fonte e distante dos outros. Isso sugere que o modelo pré-treinado capturou bem as características invariantes e que a adaptação será fácil.
• Um PAS baixo sugere ambiguidade (a amostra está equidistante de várias classes) ou que o modelo não consegue separar as classes no espaço de embeddings, indicando risco de baixa precisão ou necessidade de aprender novas características (risco de overfitting na fonte).

Diferenciais:

• Assimétrico: Diferente de métricas como MMD ou Wasserstein, o PAS considera a direção da transferência (Fonte $\to$ Alvo).
• Não Supervisionado: Não requer rótulos no domínio alvo.
• Eficiente: Pode ser calculado em subconjuntos de dados, reduzindo o custo computacional.

3. Contribuições Principais

1. Proposta do PAS: Uma nova métrica para quantificar a contribuição potencial de um modelo pré-treinado e um domínio fonte para uma tarefa de adaptação não supervisionada.
2. Framework de Seleção: Um método para selecionar a melhor combinação de modelo pré-treinado e domínio fonte entre vários candidatos, evitando a necessidade de treinar múltiplos modelos de adaptação.
3. Validação Empírica: Demonstração de que o PAS tem alta correlação com a precisão final no domínio alvo em diversos benchmarks de classificação de imagens.

4. Resultados Experimentais

Os autores avaliaram o PAS em quatro benchmarks populares: Office-Home, Office-31, ImageCLEF e DomainNet, utilizando diversos métodos de adaptação (DANN, MCC, etc.) e backbones (ResNet, ViT, Swin, DeiT).

• Correlação com Precisão: O PAS apresentou uma correlação de Spearman global de 0.88 com a precisão final do alvo, superando significativamente métricas simétricas tradicionais como MMD (0.37) e A-distance (0.04).
• Seleção de Domínio Fonte: O PAS conseguiu identificar corretamente o domínio fonte que levaria à melhor precisão na maioria dos cenários.
• Seleção de Modelo Pré-treinado: O score também foi eficaz em escolher o backbone (ex: ViT vs. ResNet) que resultaria em melhor desempenho para um par fonte-alvo específico.
• Robustez a Tamanho de Amostra: O cálculo do PAS é robusto mesmo quando utilizado apenas uma fração dos dados (subamostragem), mantendo a ordem relativa das pontuações.
• Limitações Observadas: Em benchmarks com imagens complexas de múltiplos objetos (como ImageCLEF), o PAS às vezes falha se a amostra estiver geometricamente próxima de um centróide de classe que não corresponde ao rótulo verdadeiro da imagem (problema de ambiguidade semântica).

5. Significado e Conclusão

O trabalho aborda uma lacuna crítica na adaptação de domínio: a incerteza na seleção de hiperparâmetros de configuração (fonte e modelo) antes do treinamento.

• Impacto Prático: O PAS permite que pesquisadores e engenheiros evitem o custo computacional proibitivo de treinar e validar todas as combinações possíveis de modelos e fontes. Ao calcular o PAS, é possível descartar combinações promissoras com alta confiança.
• Inovação: É a primeira proposta de estimativa de transferibilidade especificamente desenhada para o cenário de adaptação de domínio não supervisionado, reconhecendo a natureza assimétrica do problema.
• Futuro: Os autores sugerem extensões para adaptação multi-fonte e aplicação em outras modalidades além de visão computacional.

Em resumo, o PAS oferece uma ferramenta de diagnóstico rápida e confiável para prever o sucesso da adaptação de domínio, otimizando recursos computacionais e melhorando a precisão final ao guiar a escolha estratégica de dados e modelos.