Resumo Técnico: RADAR (Divergência Angular Relativa Através de Representações)

Declaração do Problema

Na aprendizagem de máquina moderna, expandir conjuntos de dados de treinamento com domínios fonte auxiliares é uma estratégia padrão para lidar com restrições de dados. No entanto, essa prática não garante melhoria no desempenho downstream e pode levar a transferência negativa, onde a incorporação de informações da fonte degrada ativamente o desempenho no alvo. Identificar quais domínios fonte resultarão em transferência positiva é difícil, pois avaliar empiricamente cada candidato requer retreinamento completo do modelo, o que é custoso. Métricas de transferibilidade existentes frequentemente dependem de representações estáticas em uma única camada ou exigem pré-treinamento no conjunto de dados alvo, falhando em capturar a evolução estrutural dinâmica das representações através da hierarquia do modelo.

Metodologia: RADAR

Os autores propõem o RADAR (Divergência Angular Relativa Através de Representações), uma metrica geometricamente fundamentada projetada para estimar a transferibilidade entre domínios utilizando apenas recursos congelados de modelos fundamentais. O método opera analisando a evolução das representações camada por camada, em vez de instantâneos estáticos.

Mecanismo Central

1. Extração de Trajetória Camada por Camada: Para um modelo fundamental pré-treinado $\Phi$, as representações de recursos intermediários $h^{(l)}(x)$ são extraídas em cada camada $l$.
2. Construção Geométrica de Triângulos: Para uma amostra âncora $x$ e uma amostra secundária $x'$ (seja dentro do mesmo domínio ou entre domínios), o método constrói um triângulo geométrico de vetores de deslocamento abrangendo as camadas $l$ e $l+1$:
   • Separação ($v_{sep}$): O vetor entre $h^{(l)}(x)$ e $h^{(l)}(x')$.
   • Desvio ($v_{detour}$): O vetor de $h^{(l)}(x')$ para $h^{(l+1)}(x)$.
   • Trajetória ($v_{traj}$): O deslocamento direto de $h^{(l)}(x)$ para $h^{(l+1)}(x)$.
   • Nota: O artigo prova que $v_{sep} + v_{detour} = v_{traj}$ exatamente.
3. Cálculo de Descritores: O método computa dois descritores-chave para esses triângulos:
   • Alinhamento Angular ($\theta$): A similaridade de cosseno entre os vetores de separação e desvio.
   • Distância Relativa ($d$): O comprimento de caminho excedente normalizado do desvio de dois passos em comparação com a trajetória direta ($d = \frac{\|v_{sep}\| + \|v_{detour}\| - \|v_{traj}\|}{\|v_{traj}\|}$).
   • Adaptação Topológica: Embora a métrica possa ser definida em distâncias geodésicas para espaços hiperesféricos (por exemplo, recursos DINO), os autores adotam uma formulação unificada em espaço Euclidiano, pois provou ser mais robusta entre modalidades, particularmente para texto.
4. Modelagem de Distribuição:
   • O método amostra pares para computar distribuições empíricas de $\theta$ e $d$ para pares dentro do domínio e pares entre domínios.
   • Para garantir a viabilidade computacional, é utilizada uma estratégia de amostragem estratificada, ponderando pares com base em sua distância aos centróides de classe (capturando tanto a dinâmica inlier-inlier quanto inlier-outlier).
   • Modelos de Mistura Gaussiana (GMMs) são ajustados a essas distribuições para modelar as densidades de probabilidade contínuas das dinâmicas dentro do domínio e entre domínios.
5. Medição de Divergência: A pontuação final de transferibilidade é derivada da divergência simétrica de Kullback-Leibler (KL) entre os dois GMMs. Uma divergência menor indica maior similaridade estrutural e, consequentemente, maior transferibilidade prevista.
6. Trajetórias Estendidas: Para capturar mudanças estruturais holísticas, a métrica concatena descritores através de uma janela de camadas (por exemplo, $l-6$ a $l+6$), criando um vetor de recursos de alta dimensão antes de ajustar o GMM.

Contribuições Principais

1. Evolução Estrutural Dinâmica, Camada por Camada: O RADAR é a primeira métrica a avaliar a transferibilidade medindo a divergência entre distribuições contínuas e dinâmicas de trajetórias geométricas (ângulos e distâncias relativas) através das camadas da rede, em vez de distribuições de recursos estáticos.
2. Desempenho Preditivo Altamente Competitivo: A métrica alcança desempenho entre os três primeiros em 7 de 10 configurações em benchmarks de visão e texto, garantindo o desempenho absoluto melhor em 6 deles. Consistentemente supera ou iguala baselines de última geração como LEEP, LogME, NCE, TransRate e S-OTDD.
3. Estimativa Robusta e Eficiente: Através de extensos estudos de ablação, os autores demonstram que o RADAR é robusto a escolhas de hiperparâmetros (tamanho da amostra, raio da janela, temperatura) e computacionalmente eficiente, frequentemente superando baselines em ambientes apenas de CPU devido à sua dependência de recursos congelados e subamostragem.

Resultados Experimentais

Os autores avaliaram o RADAR em:

• Modalidades de Visão: Backbones CLIP e DINOv3 em DomainNet, OfficeHome e PACS.
• Modalidades de Texto: Qwen3-Embedding e EmbeddingGemma em EuroEval e AmazonReviews.

Principais Descobertas:

• Desempenho: O RADAR alcançou a melhor Melhoria de Correlação Média (MCI) no DomainNet para ambos CLIP e DINOv3, e no OfficeHome para CLIP. Em texto, alcançou os melhores resultados no EuroEval para EmbeddingGemma (superando a próxima melhor baseline em mais de 30 pontos percentuais) e foi competitivo no AmazonReviews.
• Regimes de Separação de Domínio: O RADAR se destaca quando as transições de domínio são suaves (baixa corrupção/separação) ou claramente separadas (alta corrupção/separação). Seu desempenho degrada em regimes "intermediários" (por exemplo, conjunto de dados PACS) onde os domínios exibem separação dispersa e não uniforme, que não é suave o suficiente para alinhamento de trajetória nem distinta o suficiente para estimativa de divergência limpa.
• Diferenças de Modalidade: Representações de texto favorecem estritamente o espaço Euclidiano e recursos angulares, enquanto representações de visão mostram robustez tanto a espaços Euclidianos quanto pseudo-cartesianos.
• Robustez à Corrupção: No ImageNet-C, o RADAR demonstrou robustez excepcional em níveis extremos de corrupção (Severidade 5), onde métricas estatísticas estáticas falharam, embora tenha mostrado vulnerabilidade a ruído sintético moderado (Severidade 3).

Significado e Alegações

O artigo afirma que a estrutura geométrica camada por camada carrega um sinal de transferibilidade significativo que métricas estáticas de camada única falham em capturar. Ao medir a divergência de como as representações evoluem através das camadas, o RADAR fornece uma maneira principial e computacionalmente eficiente de prever classificações de ganho de transferência sem retreinar modelos.

Os autores enfatizam que sua abordagem é motivada pela Hipótese de Endireitamento Perceptual e pela observação de que as representações mais informativas em modelos fundamentais nem sempre estão na camada final. Eles argumentam que o RADAR oferece um framework unificado e cross-modal para decisões de aprendizagem de transferência, particularmente eficaz quando as mudanças de domínio são bem definidas. No entanto, eles modestamente reconhecem limitações, observando que o poder preditivo da métrica degrada em cenários com estruturas de domínio dispersas e sobrepostas e que a dependência de GMMs apresenta um gargalo computacional para filtragem em tempo real.