Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

Technische Samenvatting: Locality-aware Private Class Identification voor Domeinadaptatie met Extreme Label Shift

Probleemstelling
Ongecontroleerde Domeinadaptatie (UDA) gaat doorgaans uit van een gesloten-set scenario waarbij bron- en doeldomeinen een identieke labelruimte delen. Echter, real-world toepassingen omvatten vaak "extreme label shift", waarbij de labelruimten heterogeen zijn. Dit manifesteert zich in twee primaire scenario's: Open Set Domain Adaptation (OSDA), waarbij het doeldomein private klassen bevat die afwezig zijn in de bron, en Partial Domain Adaptation (PDA), waarbij het brondomein private klassen bevat die afwezig zijn in het doel.

De kernuitdaging in deze scenario's is "private class identification" (identificatie van private klassen). Bestaande methoden vertrouwen doorgaans op de aanname dat de semantische verschuiving van private klassen consistent groter is dan de domeinverschuiving van gedeelde klassen, waarbij private steekproeven worden behandeld als outliers. De auteurs betogen dat deze aanname in de praktijk vaak wordt geschonden, aangezien de variantie binnen een enkele gedeelde klasse groter kan zijn dan de kloof tussen een private klasse en een andere gedeelde klasse. Bijgevolg falen bestaande methoden vaak om private steekproeven betrouwbaar te onderscheiden, wat leidt tot negatieve transfer en misalignement.

Methodologie
Het artikel stelt een nieuw raamwerk voor dat is gecentreerd rondom Locality-aware Private Class Identification en een betrouwbaar transfermodel genaamd ReOT (Reliable OT-based method).

1. Locality-aware Identificatie via Masked Optimal Transport (MOT):

   • De auteurs observeren dat, hoewel globale verschuivingen dubbelzinnig kunnen zijn, een lokale ruimtelijke structuur geldt: binnen een lokaal buurtpunt van een cluster van gedeelde klassen is de afstand tussen gedeelde steekproeven consistent kleiner dan de afstand tussen gedeelde en private steekproeven.
   • Zij maken gebruik van Masked Optimal Transport (MOT) om deze lokale structuur te karakteriseren. Een maskermatrix wordt toegepast op de kostenmatrix om transport alleen tussen steekproeven met dezelfde voorspelde labels af te dwingen.
   • Er wordt een scorefunctie gebaseerd op transportmassa afgeleid. Gebaseerd op de theoretische eigenschappen van MOT is de totale massa die naar een private-klasse-steekproef wordt getransporteerd vanuit een bron van gedeelde klassen significant kleiner dan de massa die naar een gedeelde-klasse-steekproef wordt getransporteerd.
   • Een score $s(z')$ wordt gedefinieerd als $1/m - \sum \Gamma^*_{ij}$. Steekproeven met $s(z') > 0$ (of die een marge overschrijden) worden geïdentificeerd als private, terwijl die met $s(z') < 0$ worden geïdentificeerd als gedeeld. Deze benadering garandeert theoretisch de scheiding van gedeelde en private steekproeven onder lokale ruimtelijke aannames zonder te vertrouwen op globale outlier-aannames.

2. Het ReOT-raamwerk:

   • Betrouwbare Transferverlies ($L_{rt}$): Zodra private en gedeelde steekproeven zijn geïdentificeerd, minimaliseert ReOT de cross-domein intra-klasseafstanden voor gedeelde klassen terwijl het de afstand tussen gedeelde en private klassen maximaliseert. Dit wordt bereikt met behulp van het transportplan van MOT om conditionele distributies alleen binnen de geïdentificeerde gedeelde sets te aligneren.
   • Risicominimalisatie ($L_{cls}$): Het model minimaliseert het empirische classificatierisico op zowel het brondomein als de geïdentificeerde private steekproeven in het doel (of bron, voor PDA) domein.
   • Barycenter Reconstructieverlies ($L_{br}$): Om de representatie verder te verfijnen, mapt het model doeldrepresentaties terug naar het brondomein met behulp van het transportplan (barycenter map) en minimaliseert het reconstructieverlies. Dit biedt zachte supervisie, waarbij doeldsteekproeven worden geduwd naar hun corresponderende klassenprototypen.
   • Het uiteindelijke doel combineert deze verliezen: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. Theoretische Analyse:

   • Het artikel biedt een generalisatiebovengrens voor het doelrisico in scenario's met extreme label shift. De grens decomposeert de fout in termen gerelateerd aan bronrisico, maximale voorspelfout, labeldistributie-discrepantie en de gedeelde conditionele kloof.
   • De auteurs bewijzen dat ReOT deze bovengrens minimaliseert door het bronrisico te verminderen, conditionele distributies te aligneren (de gedeelde conditionele kloof verkleinend), en private klassen effectief te identificeren om fouten op die specifieke steekproeven te minimaliseren.

Belangrijkste Bijdragen

• Locality-aware Identificatie: Een nieuwe methode voor het identificeren van private klassen met behulp van een scorefunctie afgeleid van MOT-transportmassa. Het verlegt de onrealistische globale outlier-aanname door lokale ruimtelijke structuren te benutten.
• Theoretische Garantie: Een theoretisch bewijs dat het vermogen van de scorefunctie aantoont om gedeelde en private steekproeven te onderscheiden, en een generalisatiefoutgrens voor scenario's met extreme label shift die ReOT blijkt te minimaliseren.
• Unificerend Raamwerk (ReOT): Een enkel algoritme dat zowel OSDA- als PDA-instellingen kan hanteren door dynamisch de transportrichting en maskergedefinities aan te passen op basis van welk domein de private klassen bevat.
• Empirische Validatie: Uitgebreide experimenten op vier benchmarkdatasets (Image-CLEF, Office-31, Office-Home, VisDA-2017) die superieure prestaties tonen ten opzichte van state-of-the-art methoden in zowel OSDA- als PDA-instellingen.

Experimentele Resultaten

• OSDA-prestaties: Op Image-CLEF, Office-31 en Office-Home behaalde ReOT de hoogste harmonische gemiddelde ($H$) nauwkeurigheid in de meerderheid van de taken, en presteerde het beter dan SOTA-methoden zoals ANNA en MRJT. Bijvoorbeeld, op Image-CLEF behaalde ReOT een gemiddelde $H$ van 84,4%, wat ANNA met 1,5% overtrof.
• PDA-prestaties: ReOT toonde robuuste prestaties op Office-Home en VisDA-2017, met de beste gemiddelde nauwkeurigheid (78,7% op Office-Home) en behield hoge prestaties op de uitdagende VisDA-2017-dataset waar andere methoden aanzienlijk degradeerden.
• Ablatiestudies: Het verwijderen van het transferverlies ($L_{rt}$) of reconstructieverlies ($L_{br}$) resulteerde in prestatiedalingen, wat de noodzaak bevestigt van zowel klassen-conditionele alignement als barycenter-reconstructie.
• Identificatie-efficiëntie: De methode voor private class identificatie slaagde erin ongeveer 88,2% van de private steekproeven te identificeren in OSDA en 95,6% in PDA over de datasets heen.
• Robuustheid: De methode bleef stabiel over verschillende hyperparameter-instellingen en keuzes voor kostenfuncties (gekwadrateerde Euclidische afstand versus discriminator-gebaseerd).

Betekenis en Claims
Het artikel claimt dat ReOT de fundamentele beperking van bestaande methoden voor private class identificatie aanpakt door de focus te verschuiven van globale outlier-detectie naar karakterisering van lokale ruimtelijke structuren. Door het identificatieproces theoretisch te verankeren in de eigenschappen van masked optimal transport, zorgt de methode voor betrouwbaarheid, zelfs wanneer private klassen geen duidelijke outliers zijn.

De auteurs stellen dat ReOT een unificerende oplossing biedt voor zowel OSDA als PDA, waarmee de kloof wordt overbrugd tussen deze twee symmetrische maar vaak afzonderlijk behandelde scenario's. Theoretisch biedt de voorgestelde generalisatiegrens een nieuw perspectief op het decomponeren van fouten in heterogene labelruimten, waarbij wordt aangetoond dat het minimaliseren van de grens zowel nauwkeurige private class identificatie als conditionele distributie-alignement vereist. Empirisch valideren de resultaten dat ReOT een betere balans bereikt tussen het herkennen van private steekproeven en het behoud van de prestaties van gedeelde klassen, wat leidt tot robuustere domeinadaptatie in real-world scenario's met extreme label shift.

Het artikel concludeert bescheiden, met de opmerking dat hoewel ReOT effectief is voor single-source/single-target scenario's, toekomstig werk het raamwerk zou kunnen uitbreiden naar multi-source, multi-target en source-free instellingen.