eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

Technische Samenvatting: eXplaining to Learn (eX2L)

Probleemstelling
Standaard machine learning-modellen vertrouwen op de aanname dat trainings- en testdata onafhankelijk en identiek verdeeld zijn (i.i.d.). Wanneer deze aanname wordt geschonden, falen modellen vaak in het generaliseren en vertrouwen ze in plaats daarvan op schijnbare correlaties—statistische patronen in de trainingsdata die conceptueel niet voorspellend zijn voor de werkelijke labels. Deze schendingen manifesteren zich voornamelijk als subpopulatieverschuivingen (wijzigingen in de verhoudingen van demografische of contextuele variabelen) en uitdagingen op het gebied van domeingeneralisatie (leren vanuit bron-domeinen om prestaties te leveren op onzichtbare doeldomeinen).

Bestaande algoritmen die deze verschuivingen proberen te mitigeren, staan voor drie primaire hindernissen:

1. Blinde Regularisatie: Veel black-box-methoden richten zich niet expliciet op de specifieke schijnbare correlaties die prestatieverlies veroorzaken.
2. Inconsistente Prestaties: Geen enkel algoritme presteert consistent beter dan Empirical Risk Minimization (ERM) over alle datasets heen, wat de "no-free-lunch"-stelling weerspiegelt.
3. Gebrek aan Interpretatie: Geavanceerde methoden zoals Domain-Adversarial Neural Networks (DANN) vertrouwen op mechanismen zoals gradient reversal die moeilijk uit te leggen zijn aan niet-technische stakeholders, wat vertrouwen in gevoelige implementaties belemmert.

Het artikel stelt dat interpreteerbaarheid geen afweging mag zijn tegen voorspellende robuustheid. Het vraagt zich af of het straffen van de ruimtelijke overlap van op gradiënten gebaseerde verklaringen van een label-classificator en een confounder-classificator kan dienen als een directe, interpreteerbare regularisator voor robuustheid tegen distributieveranderingen.

Methodologie: eX2L Framework
De auteurs stellen eXplaining to Learn (eX2L) voor, een interpreteerbaar, op verklaringen gebaseerd raamwerk dat verstorende kenmerken ontkoppelt van de latente representaties van een classificator tijdens het trainen. Het kernmechanisme omvat het trainen van twee gelijktijdige modellen:

1. Een primaire label-classificator ($f_y$) die is getraind om het doel-label $Y$ te voorspellen.
2. Een gelijktijdig getrainde confounder-classificator ($f_c$) die is getraind om de verstorende variabele $C$ te voorspellen (bijvoorbeeld achtergrond, geslacht, kleur).

Het Regularisatiemechanisme
eX2L bereikt domein-invariantie door de visuele focus van het label-model expliciet te ontkoppelen van het confounder-model. Het maakt gebruik van Grad-CAM (Gradient-weighted Class Activation Mapping) om warmtekaarten te genereren die de ruimtelijke gebieden weergeven waarop elk model zich richt.

• Doelspecificiteit: In tegenstelling tot input-gradiëntmethoden (zoals SHAP, Integrated Gradients), die invariant kunnen blijven ten opzichte van herschikking van het netwerk, wordt Grad-CAM gekozen vanwege zijn trouw aan de geleerde parameters van het model.
• Disjuncte Aandacht: Het raamwerk straft de ruimtelijke gelijkenis tussen de Grad-CAM warmtekaart van het label-model ($L_y$) en die van het confounder-model ($L_c$). Als de modellen zich op dezelfde pixels richten, leert het label-model waarschijnlijk via "shortcut learning" met behulp van schijnbare achtergrondsignalen.
• Verliesfunctie: Het totale trainingsdoel $\hat{R}_{eX2L}$ combineert de taakverliezen voor beide classificatoren met een gelijkenisverlies ($L_{sim}$):
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  Hierbij meet $L_{sim}$ de ruimtelijke overlap (bijvoorbeeld met Cosine Similarity, MAE of Soft Dice) tussen de losgekoppelde Grad-CAM warmtekaarten. De warmtekaarten worden losgekoppeld (stop-gradient) om ze te behandelen als statische ruimtelijke priors, waardoor de rekenkosten van tweede-orde afgeleiden worden vermeden.

Steekproefstrategie
Het artikel benadrukt de cruciale rol van Uniform Group Sampling. In tegenstelling tot willekeurige steekproeven, die de trainingsdistributie volgen, zorgt uniforme groepsteekproef ervoor dat elke batch gebalanceerde representaties bevat van alle label-confounder-groepen. Dit voorkomt dat het model inherente label-confounder-verhoudingen leert als een shortcut, en dwingt het om zich te baseren op de Grad-CAM-straf om invariante kenmerken te onderscheiden van schijnbare.

Belangrijkste Bijdragen

1. Interpreteerbaarheid als Katalysator: eX2L daagt de heersende aanname uit dat meer verklaarbare modellen per definitie minder nauwkeurig zijn. Het toont aan dat functionele domein-invariantie kan worden bereikt door label- en storende attributen expliciet te ontkoppelen op groepsniveau met behulp van op verklaringen gebaseerde regularisatie.
2. Directe Aanpak van Schijnbare Correlaties: In tegenstelling tot "blinde" regularisatoren, straft eX2L direct de ruimtelijke overlap van attentiekaarten, waardoor het label-model wordt gedwongen unieke, invariante kenmerken te identificeren in plaats van te vertrouwen op verstorende gebieden.
3. Efficiëntie in Complexiteit: De methode vereist slechts twee gelijktijdige classificatoren en confounder-labels (geen grond-waarheid segmentatiemaskers), wat een gestroomlijnde, eenstaps trainingspijplijn biedt in vergelijking met tweestaps datagedreven benaderingen zoals Just Train Twice (JTT).

Experimentele Resultaten
De auteurs hebben eX2L geëvalueerd op standaard benchmarks voor subpopulatieverschuiving (CMNIST, Waterbirds, CelebA) en de rigoureuze Spawrious-benchmark voor domeingeneralisatie (One-to-One Easy en Many-to-Many Hard uitdagingen).

• Subpopulatieverschuivingen: Op de Spawrious Many-to-Many Hard-benchmark bereikte eX2L (specifiek de MAE-variant) een gemiddelde nauwkeurigheid (AA) van 82,24% ± 3,87% en een nauwkeurigheid voor de ergste groep (WGA) van 66,31% ± 8,73%. Dit presteert beter dan de huidige state-of-the-art (GroupDRO) met 5,49% in AA en 10,90% in WGA.
• Visueel Bewijs: Grad-CAM-visualisaties bevestigen dat eX2L de focus beperkt tot semantisch invariante gebieden (bijvoorbeeld een oor van een hond), terwijl baselines zoals ERM en GroupDRO de aandacht verspreiden over verstorende achtergronden (bijvoorbeeld strandtextuur).
• Analyse van de Latente Ruimte: UMAP-visualisaties tonen aan dat eX2L compacte, goed gescheiden label-representaties produceert met een hoge MMD (Maximum Mean Discrepancy) voor labels, terwijl het tegelijkertijd een bijna totale interspersie van confounder-kenmerken bereikt (lage MMD voor confounders), wat wijst op succesvolle ontkoppeling.
• Afweging in Efficiëntie: Hoewel eX2L door de berekening van Grad-CAM ongeveer de dubbele trainingsduur van ERM heeft, levert deze kost aanzienlijke prestatiewinst op in moeilijke situaties met distributieveranderingen waar basismethoden falen.

Betekenis en Beweringen
Het artikel beweert dat eX2L een transparant mechanisme biedt om schijnbare correlaties te ontkoppelen, waardoor distributieveranderingen worden gemitigeerd. Het stelt dat interpreteerbaarheid kan fungeren als een katalysator voor voorspellende robuustheid in plaats van een afweging daartegen. Het raamwerk is bijzonder significant voor implementaties met hoge risico's (bijvoorbeeld gezondheidszorg, autonome systemen), waarbij de controleerbaarheid van het debiasingsproces cruciaal is voor verantwoordingsplicht.

De auteurs merken bescheiden op dat eX2L trainingsdata vereist met annotaties op beeldniveau voor confounders, wat de toepasbaarheid beperkt in verkennende situaties waar storende attributen onbekend zijn. Ze erkennen ook dat de keuze van de gelijkenismetriek (bijvoorbeeld MAE versus Cosine) moet worden ingegeven door de geometrie van de confounder (bijvoorbeeld pixel-voor-pixel straffen werken goed voor achtergrondconfounders, terwijl zachtere metrieken beter zijn voor diffuse attributen zoals haarkleur). Het artikel concludeert dat eX2L een fundament legt voor algoritmische rechtvaardigheid door aan te tonen dat expliciete ontkoppeling van attributen kan leiden tot superieure generalisatie zonder in te leveren op interpreteerbaarheid.