Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

Resumo Técnico: Identificação de Classes Privadas Consciente de Localidade para Adaptação de Domínio com Deslocamento Extremo de Rótulos

Declaração do Problema
A Adaptação de Domínio Não Supervisionada (UDA) tipicamente assume um cenário de conjunto fechado onde os domínios de origem e destino compartilham um espaço de rótulos idêntico. No entanto, aplicações do mundo real frequentemente envolvem "deslocamento extremo de rótulos", onde os espaços de rótulos são heterogêneos. Isso se manifesta em dois cenários primários: Adaptação de Domínio de Conjunto Aberto (OSDA), onde o domínio de destino contém classes privadas ausentes na origem, e Adaptação de Domínio Parcial (PDA), onde o domínio de origem contém classes privadas ausentes no destino.

O desafio central nestes cenários é a "identificação de classes privadas". Métodos existentes geralmente dependem da suposição de que o deslocamento semântico das classes privadas é consistentemente maior que o deslocamento de domínio das classes compartilhadas, tratando amostras privadas como outliers. Os autores argumentam que essa suposição é frequentemente violada na prática, pois a variância dentro de uma única classe compartilhada pode exceder a lacuna entre uma classe privada e outra classe compartilhada. Consequentemente, métodos existentes frequentemente falham em distinguir confiavelmente amostras privadas, levando a transferência negativa e desalinhamento.

Metodologia
O artigo propõe um novo framework centrado na Identificação de Classes Privadas Consciente de Localidade e em um modelo de transferência confiável denominado ReOT (Método baseado em OT Confiável).

1. Identificação Consciente de Localidade via Transporte Ótimo Mascarado (MOT):

   • Os autores observam que, embora deslocamentos globais possam ser ambíguos, uma estrutura espacial local se mantém: dentro de uma vizinhança local de um cluster de classe compartilhada, a distância entre amostras compartilhadas é consistentemente menor que a distância entre amostras compartilhadas e privadas.
   • Eles utilizam Transporte Ótimo Mascarado (MOT) para caracterizar essa estrutura local. Uma matriz de máscara é aplicada à matriz de custo para impor transporte apenas entre amostras com rótulos preditos idênticos.
   • Uma função de pontuação baseada em massa de transporte é derivada. Com base nas propriedades teóricas do MOT, a massa total transportada para uma amostra de classe privada a partir de uma fonte de classe compartilhada é significativamente menor que a massa transportada para uma amostra de classe compartilhada.
   • Uma pontuação $s(z')$ é definida como $1/m - \sum \Gamma^*_{ij}$. Amostras com $s(z') > 0$ (ou excedendo uma margem) são identificadas como privadas, enquanto aquelas com $s(z') < 0$ são identificadas como compartilhadas. Esta abordagem garante teoricamente a separação de amostras compartilhadas e privadas sob suposições de estrutura espacial local, sem depender de suposições de outliers globais.

2. O Framework ReOT:

   • Função de Perda de Transferência Confiável ($L_{rt}$): Uma vez que amostras privadas e compartilhadas são identificadas, o ReOT minimiza as distâncias intra-classe entre domínios para classes compartilhadas, enquanto maximiza a distância entre classes compartilhadas e privadas. Isso é alcançado usando o plano de transporte do MOT para alinhar distribuições condicionais apenas dentro dos conjuntos compartilhados identificados.
   • Minimização de Risco ($L_{cls}$): O modelo minimiza o risco de classificação empírico tanto no domínio de origem quanto nas amostras privadas identificadas no domínio de destino (ou origem, para PDA).
   • Função de Perda de Reconstrução de Baricentro ($L_{br}$): Para refinar ainda mais a representação, o modelo mapeia representações de destino de volta ao domínio de origem usando o plano de transporte (mapa de baricentro) e minimiza a perda de reconstrução. Isso fornece supervisão suave, empurrando amostras de destino em direção aos seus protótipos de classe correspondentes.
   • O objetivo final combina essas perdas: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. Análise Teórica:

   • O artigo fornece um limite superior de generalização para o risco de destino em cenários de deslocamento extremo de rótulos. O limite decompõe o erro em termos relacionados ao risco de origem, erro máximo de predição, discrepância na distribuição de rótulos e a lacuna condicional compartilhada.
   • Os autores provam que o ReOT minimiza esse limite superior ao reduzir o risco de origem, alinhar distribuições condicionais (reduzindo a lacuna condicional compartilhada) e identificar efetivamente classes privadas para minimizar erros nessas amostras específicas.

Principais Contribuições

• Identificação Consciente de Localidade: Um novo método para identificar classes privadas usando uma função de pontuação derivada da massa de transporte MOT. Ele relaxa a suposição irrealista de outlier global ao alavancar estruturas espaciais locais.
• Garantia Teórica: Uma prova teórica demonstrando a capacidade da função de pontuação de distinguir amostras compartilhadas e privadas, e um limite de erro de generalização para cenários de deslocamento extremo de rótulos que o ReOT é mostrado minimizar.
• Framework Unificado (ReOT): Um único algoritmo capaz de lidar com configurações tanto de OSDA quanto de PDA, ajustando dinamicamente a direção de transporte e definições de máscara com base em qual domínio contém as classes privadas.
• Validação Empírica: Experimentos extensivos em quatro conjuntos de dados de referência (Image-CLEF, Office-31, Office-Home, VisDA-2017) demonstrando desempenho superior sobre métodos state-of-the-art em configurações tanto de OSDA quanto de PDA.

Resultados Experimentais

• Desempenho em OSDA: Em Image-CLEF, Office-31 e Office-Home, o ReOT alcançou a maior precisão média harmônica ($H$) na maioria das tarefas, superando métodos SOTA como ANNA e MRJT. Por exemplo, em Image-CLEF, o ReOT alcançou uma $H$ média de 84,4%, superando a ANNA em 1,5%.
• Desempenho em PDA: O ReOT demonstrou desempenho robusto em Office-Home e VisDA-2017, alcançando a melhor precisão média (78,7% em Office-Home) e mantendo alto desempenho no desafiador conjunto de dados VisDA-2017, onde outros métodos degradaram significativamente.
• Estudos de Ablação: Remover a perda de transferência ($L_{rt}$) ou a perda de reconstrução ($L_{br}$) resultou em quedas de desempenho, confirmando a necessidade de ambos o alinhamento condicional de classes e a reconstrução de baricentro.
• Eficiência de Identificação: O método de identificação de classes privadas identificou com sucesso aproximadamente 88,2% das amostras privadas em OSDA e 95,6% em PDA entre os conjuntos de dados.
• Robustez: O método permaneceu estável através de diferentes configurações de hiperparâmetros e escolhas de função de custo (Euclidiana quadrada vs. baseada em discriminador).

Significado e Alegações
O artigo alega que o ReOT aborda a limitação fundamental dos métodos existentes de identificação de classes privadas ao deslocar o foco da detecção de outliers globais para a caracterização de estrutura espacial local. Ao fundamentar teoricamente o processo de identificação nas propriedades do transporte ótimo mascarado, o método garante confiabilidade mesmo quando as classes privadas não são outliers distintos.

Os autores afirmam que o ReOT fornece uma solução unificada tanto para OSDA quanto para PDA, preenchendo a lacuna entre esses dois cenários simétricos, mas frequentemente tratados separadamente. Teoricamente, o limite de generalização proposto oferece uma nova perspectiva sobre a decomposição de erro em espaços de rótulos heterogêneos, mostrando que minimizar o limite requer tanto identificação precisa de classes privadas quanto alinhamento de distribuições condicionais. Empiricamente, os resultados validam que o ReOT alcança um melhor equilíbrio entre reconhecer amostras privadas e preservar o desempenho das classes compartilhadas, levando a uma adaptação de domínio mais robusta em cenários do mundo real com deslocamento extremo de rótulos.

O artigo conclui modestamente, notando que, embora o ReOT seja eficaz para cenários de origem única/destino único, trabalhos futuros poderiam estender o framework para configurações de múltiplas origens, múltiplos destinos e sem origem.