Technische Samenvatting: Subset-Selected Counterfactual Augmentation (SS-CA)

Probleemstelling

Huidige diepe visuele modellen bereiken vaak een hoge nauwkeurigheid door te vertrouwen op een beperkte set discriminerende visuele aanwijzingen of "shortcuts", in plaats van op robuuste, causale bewijslast. Deze afhankelijkheid maakt modellen kwetsbaar bij distributieverschuivingen (Out-of-Distribution, OOD) of wanneer cruciale objectonderdelen worden geoccludeerd. Hoewel getrouwe attributiemethoden deze problematische afhankelijkheden kunnen onthullen via gelokaliseerde verklaringen, worden ze doorgaans post hoc toegepast en niet geïntegreerd in de trainingslus om de beslissingsgrenzen van het model te corrigeren. Bovs de bestaat er al bestaande methode voor verklaring-gestuurd leren die vertrouwen op gradiënt-gebaseerde attributies (bijv. Grad-CAM), welke bekend staan als zwak getrouw en er niet in slagen de werkelijke rationale van het model volledig te vatten, wat hun effectiviteit beperkt bij het sturen van de training.

Methodologie

Het artikel stelt Subset-Selected Counterfactual Augmentation (SS-CA) voor, een trainingsstrategie die attributieregio's omzet in effectieve contrafeitelijke trainingsfeedback. Het raamwerk werkt als een gesloten lus bestaande uit drie hoofdfasen:

1. Selectie van de Contra-categorie

Tijdens de conventionele trainingsfase wordt een feitelijke inputafbeelding verwerkt om klasse-logits te verkrijgen. De grondwaarheid-klasse wordt behouden, en een "contra-klasse" wordt willekeurig gesampled uit de top-$k$ hoogst scorende alternatieve klassen. Deze contra-klasse dient als het doelwit voor de contrafeitelijke interventie.

2. Contrafeitelijke Verklaring (Counterfactual LIMA)

De auteurs breiden LIMA (een op subset-selectie gebaseerde getrouwe attributiemethode) uit naar Counterfactual LIMA voor attributie tijdens de training. In tegenstelling tot standaard LIMA, dat regio's identificeert die de huidige voorspelling ondersteunen, zoekt Counterfactual LIMA naar de minimale set regio's $S$ waarvan de verwijdering de voorspelling van het model van de grondwaarheid-klasse naar de geselecteerde contra-klasse drijft.

• Doelstelling: De methode formuleert dit als een submodulair subset-selectieprobleem, waarbij een gulzig algoritme (greedy algorithm) wordt gebruikt om iteratief regio's te selecteren die de nutfunctie $F(S)$ maximaliseren.
• Nutfunctie: $F(S)$ combineert twee complementaire doelstellingen:
  • Verwijderingsscore (Deletion Score): Meet de toename in vertrouwen voor de contra-klasse en de afname voor de grondwaarheid-klasse wanneer regio's worden verwijderd.
  • Invoegingsscore (Insertion Score): Zorgt ervoor dat de geselecteerde regio's, wanneer ze geïsoleerd zijn, nog steeds voldoende bewijs behouden voor de grondwaarheid-klasse en niet spurius de contra-klasse ondersteunen.
• Zoekpoort (Search Gate): Voordat augmentatie plaatsvindt, worden kandidaat-subsets gefilterd door twee criteria:
  1. Marginale Daling (Margin Drop): De verwijdering van de subset moet de logit-marge tussen de grondwaarheid-klasse en de sterkste concurrerende klasse aanzienlijk verkleinen.
  2. Semantisch Behoud (Semantics-Preserving): De verzwakte afbeelding moet nog steeds worden voorspeld als de grondwaarheid-klasse, wat garandeert dat de modificatie de oorspronkelijke semantische inhoud niet vernietigt.

3. Attributie-gestuurde Augmentatie

Zodra geldige attributiekaarten zijn geïdentificeerd, worden de geselecteerde regio's verzwakt met behulp van een Three-Way Adaptive Combination strategie. In plaats van zwarte maskers of externe achtergronden te gebruiken (wat nieuwe semantiek introduceert), vervangt de methode de gemaskeerde regio's door een gewogen combinatie van:

• Laagfrequente componenten
• Bewerkte (blurred) inhoud
• Gemiddelde pixelwaarden
  Deze adaptieve invulling ($Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$) verzwakt het beslissingsrelevante bewijs terwijl de globale beeldsemantiek behouden blijft.

Gezamenlijke Optimalisatie

De resulterende contrafeitelijke samples, die de oorspronkelijke grondwaarheid-labels behouden, worden teruggevoerd in de trainingslus. Het model wordt gezamenlijk geoptimaliseerd met een verliesfunctie die standaard cross-entropie op originele afbeeldingen combineert met cross-entropie op de contrafeitelijk geaugmenteerde samples. Dit stimuleert het model om resterend informatief bewijs te exploiteren en de beslissingsgrens te verschuiven naar een meer robuuste configuratie.

Belangrijkste Bijdragen

1. SS-CA Raamwerk: De auteurs stellen een trainingsraamwerk voor dat post-hoc LIMA uitbreidt naar een trainingstijd Counterfactual LIMA. Dit identificeert beslissingsveranderende regio's, genereert effectieve contrafeitelijke samples en voert deze terug om de beslissingsgrens naar een verbeterde staat te duwen.
2. Geldige Nabij-de-Grens Maskerselectie: Er wordt een strategie geïntroduceerd om maskers te selecteren die de oorspronkelijke semantiek behouden terwijl ze de logit-kloof tussen de grondwaarheid- en concurrerende klassen verkleinen, waardoor gegenereerde samples de beslissingsgrens effectief benaderen.
3. Three-Way Adaptive Filling: Een theoretische en praktische strategie voor contrafeitelijke padding die geselecteerd bewijs onderdrukt zonder externe semantische informatie te introduceren, waardoor de corruptie van de oorspronkelijke semantiek wordt vermeden.
4. Uitgebreide Validatie: De methode wordt gevalideerd over vijf ImageNet-varianten (ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S) en meerdere backbones (CLIP ViT, ViT, ResNet-101), waarbij consistente verbeteringen in ID-nauwkeurigheid, OOD-generalisatie en perturbatie-robuustheid worden aangetoond.

Experimentele Resultaten

Het artikel rapporteert significante prestatiewinsten over diverse benchmarks:

• ImageNet-1k (CLIP ViT-B/32): SS-CA verbetert de In-Distribution (ID) nauwkeurigheid met 5,70% (van 71,44% naar 77,14%) en de OOD-nauwkeurigheid op ImageNet-R met 18,04% (van 31,63% naar 49,67%).
• TinyImageNet-200 (ResNet-101): De methode behaalt winsten van 9,52% op ImageNet-R (van 11,29% naar 20,81%) en 11,33% op ImageNet-S (van 11,34% naar 22,67%).
• Robuustheid: Onder Gaussian Noise corruptie bereikt SS-CA ongeveer 4% verbetering ten opzichte van conventionele training.
• Vergelijking: SS-CA presteert consequent beter dan conventionele training en recente debiasing-methoden (Xiao et al. [16], Chen et al. [12]) die vertrouwen op gradiënt-gebaseerde attributies. Ablatiestudies bevestigen dat zowel de Counterfactual LIMA-component als de Adaptive Combination filling-strategie noodzakelijk zijn voor deze winsten.

Betekenis en Claims

Het artikel claimt dat het koppelen van contrafeitelijke interpreteerbaarheid aan modeltraining een veelbelovende weg is naar meer betrouwbare en transparante visuele modellen. Door expliciet de beperkte, voldoende oorzaken te identificeren en te verzwakken waar modellen op vertrouwen, dwingt SS-CA het model om te leren van een bredere set causale bewijslast. De auteurs benadrukken dat hun aanpak de kwetsbaarheid van huidige modellen onder distributieverschuivingen aanpakt zonder te vertrouwen op externe generatieve modellen of het introduceren van spurius semantische artefacten. Het werk demonstreert dat het verder gaan dan post-hoc analyse naar actieve, attributie-gestuurde training effectief de beslissingsgrenzen kan hervormen voor grotere robuustheid.