Domain-Agnostic Feature Modulation for Semi-Supervised Domain Generalization

Technische Samenvatting: Domein-agnostische Feature-modulatie voor Semi-supervised Domein-generalisatie

Probleemstelling
Semi-supervised Domein-generalisatie (SSDG) streeft ernaar de generalisatie van modellen naar ongezette doeldomeinen te verbeteren door gebruik te maken van een klein deel gelabelde data naast een overvloed aan ongelabelde data. Hoewel bestaande SSDG-methode vaak vertrouwen op pseudo-labeling (PL) voor ongelabelde data, gaan ze er vaak van uit dat er tijdens het trainen toegang is tot domeinlabels – een voorrecht dat niet altijd beschikbaar is in real-world scenario's. Bovendien introduceren domeinschiften "domeinruis", wat leidt tot inconsistente pseudo-labels die de modelprestaties verslechteren. Methoden die zijn afgeleid van semi-supervised learning-baselines lijden vaak aan een lage nauwkeurigheid van pseudo-labels, waardoor de effectieve benutting van ongelabelde data beperkt blijft. Er bestaat een fundamenteel dilemma: het verlagen van de betrouwbaarheidstreshhold om meer ongelabelde data te benutten verhoogt de ruis, terwijl het handhaven van een hoge drempel waardevolle data verwijdert. Dit artikel behandelt de domein-label-agnostische SSDG-instelling, waarbij domeinlabels voor ongelabelde data tijdens het trainen niet beschikbaar zijn.

Methodologie
De voorgestelde aanpak introduceert een nieuw raamwerk dat bestaat uit vier kerncomponenten: Similar Average Representations (SAR), een Feature Modulator, Pseudo-labeling met gemoduleerde features, en een Loss Scaling-functie met onzekerheidsschatting.

1. Similar Average Representations (SAR):
   Om de impact van domeinspecifieke informatie te verminderen, definiëren de auteurs class-prototypen ($P_c$) uitsluitend op basis van class-labels, waardoor ze domein-agnostisch zijn. In tegenstelling tot methoden die features middelen over domeinen met behulp van domeinlabels, berekent deze aanpak SAR ($R_c$) door class-prototypen te wegen op basis van hun cosinus-similariteit. Dit creëert een representatie die class-specifieke signalen benadrukt terwijl domein-gerelateerde variaties (bijvoorbeeld achtergrond, textuur) worden onderdrukt. SAR's dienen als een robuust doel voor feature-modulatie.

2. Feature Modulation:
   Er wordt een leerbaar feature-modulatormatrix ($M$) geïntroduceerd om instance-specifieke features ($z$) te mengen met SAR's ($R$). De gemoduleerde feature $Z_m$ wordt berekend als:
   $$Z_m = M \odot Z + (1 - M) \odot R$$
   De matrix $M$ wordt geïnitieerd op basis van de variantie van features binnen elke class (features met een hoge variantie, die waarschijnlijk domeinspecifiek zijn, worden minder zwaar gewogen) en wordt tijdens het trainen bijgewerkt via een diagonale loss-functie. Dit proces verschuift features naar hun SAR's, waardoor de feature-extractor wordt aangemoedigd om strak geclusterde, domein-invariante representaties te vormen en de classifier wordt gedwongen om onderscheid te maken tussen nauw verwante classes door te focussen op unieke class-specifieke features in plaats van gedeelde of domeinspecifieke features.

3. Pseudo-labeling met Gemoduleerde Features:
   Om nauwkeurigere pseudo-labels te genereren, worden de features van ongelabelde samples gemoduleerd naar de SAR van elke class voordat ze door de classifier worden geleid. De class die de hoogste betrouwbaarheidsscore oplevert op deze gemoduleerde features, wordt toegewezen als pseudo-label. Deze strategie vermindert domeininterferentie tijdens het labelingsproces, wat resulteert in pseudo-labels van hogere kwaliteit.

4. Onzekerheidsschatting en Loss Scaling:
   Om de afweging tussen data-benutting en labelruis aan te pakken, maken de auteurs gebruik van Monte Carlo (MC) dropout om de onzekerheid van pseudo-labels te schatten. Ze introduceren een dynamische loss scaling-functie ($l_{scale}$) die de bijdrage van elke pseudo-label aanpast op basis van zijn betrouwbaarheid ($p_{max}$) en onzekerheid ($\sigma$). Hierdoor kan het model pseudo-labels met lagere betrouwbaarheid op een gecontroleerde manier opnemen, waardoor het "keep rate" (het aandeel ongelabelde data dat wordt gebruikt) toeneemt zonder dat er significant ruis wordt geïntroduceerd.

Belangrijkste Bijdragen

• Feature Modulator: Een strategie die class-discriminerende features versterkt en domeinspecifieke informatie onderdrukt zonder afhankelijk te zijn van domeinlabels, wat leidt tot nauwkeurigere pseudo-labels.
• Loss Scaling-functie: Een mechanisme dat de invloed van pseudo-labels dynamisch aanpast op basis van betrouwbaarheid en onzekerheid, waardoor de benutting van ongelabelde data wordt geoptimaliseerd terwijl labelruis wordt beperkt.
• Domein-label-agnostische Instelling: De methode behandelt het SSDG-probleem in een uitdagendere instelling waar domeinlabels niet beschikbaar zijn, en toont effectiviteit aan op vier belangrijke benchmarks.

Experimentele Resultaten
De methode werd geëvalueerd op vier standaard Domein-generalisatie-benchmarks: PACS, OfficeHome, VLCS en DigitsDG, onder 5-label- en 10-label-instellingen.

• Prestaties: De voorgestelde methode (FM) boekte consistente verbeteringen ten opzichte van de sterke FixMatch-baseline, met gemiddelde nauwkeurigheidsstijgingen van 3,3% (10-label-instelling) en 4,3% (5-label-instelling) over de datasets.
• Specifieke Winsten: Opmerkelijke verbeteringen werden waargenomen in OfficeHome (57,2% en 61,0% voor respectievelijk 5 en 10 labels), VLCS (75,5% en 75,3%) en DigitsDG (73,0% voor 10 labels).
• Componentanalyse: Ablatiestudies bevestigden dat de feature modulator de nauwkeurigheid van pseudo-labels verbetert, terwijl de loss scaling-functie het keep rate significant verhoogt. De combinatie van beide componenten leverde de beste balans op tussen nauwkeurigheid en data-benutting.
• Vergelijking: De methode presteerde beter dan andere SOTA SSDG-methoden (zoals StyleMatch, FBCSA, DGWM), waarvan veel afhankelijk zijn van domeinlabels en niet goed presteren in de domein-label-agnostische instelling.

Betekenis
Het artikel claimt het fundamentele dilemma in SSDG op te lossen tussen het bereiken van nauwkeurige pseudo-labels en het maximaliseren van de benutting van ongelabelde data. Door features te verschuiven naar Similar Average Representations, leert het model om nauw geclusterde classes te onderscheiden en domein-invariante representaties te vormen zonder expliciete domein-supervisie. De dynamische loss scaling maakt bovendien het effectief gebruik mogelijk van pseudo-labels met lagere betrouwbaarheid, die doorgaans worden verworpen. De auteurs stellen dat deze innovaties het model in staat stellen om effectief te generaliseren naar ongezette domeinen, zelfs bij afwezigheid van domeinlabels, een instelling die real-world beperkingen beter weerspiegelt.