Technische Samenvatting: CAMAL

Probleemstelling

Visiemodellen die in real-world toepassingen worden ingezet, vereisen interpretatie om ervoor te zorgen dat hun beslissingen betrouwbaar zijn. Class Activation Maps (CAM's) worden veel gebruikt om de aandacht van een model te visualiseren, waarbij gebieden worden gemarkeerd die het model als discriminerend beschouwt. Echter, bestaande benaderingen lijden aan twee kritieke beperkingen:

1. Gebrek aan Aandachtsuitlijning: Modellen besteden vaak aandacht aan spurious gebieden in plaats van aan ground-truth discriminerende gebieden, een fenomeen dat bekend staat als "shortcut learning".
2. Gebrek aan Aandachtsbetrouwbaarheid: Zelfs als de uitlijning met een gebied overeenkomt, garandeert dit niet dat de aandacht causaal invloed heeft op de beslissing van het model.

Recente pogingen om dit aan te pakken via "aandachtssupervisie" hebben vertrouwd op pseudo-discriminerende gebieden afgeleid van vooraf getrainde zero-shot modellen (bijv. CLIP) als referentiesignalen. De auteurs betogen dat deze priors onbetrouwbaar zijn omdat ze geoptimaliseerd zijn voor brede generalisatie in plaats van precieze ruimtelijke lokalisatie, wat vaak resulteert in gefragmenteerde of spurious referentiegebieden. Bovendien falen bestaande methoden vaak om efficiënt te schalen naar grote datasets omdat ze afhankelijk zijn van per-sample gradient-based aandachtsextractie, wat onaanvaardbare rekenkundige overhead met zich meebrengt.

Methodologie: CAMAL

De auteurs stellen Class Activation Map Attention Learning (CAMAL) voor, een methode die segmentatiemaskers gebruikt als betrouwbare referentiegebieden om de modelaandacht te sturen.

1. Betrouwbare Referentiegebieden

In tegenstelling tot eerdere werken die CLIP-gebaseerde priors gebruiken, maakt CAMAL gebruik van segmentatiemaskers (vaak door mensen geverifieerd of gegenereerd door tools zoals SAM) om ground-truth discriminerende gebieden te definiëren. Deze maskers bieden gestructureerde, complete en nauwkeurige ruimtelijke informatie.

2. Masker-Gestuurde Auxiliaire Regularisatie

CAMAL formuleert een auxiliaire regularisatie-Doelstelling die twee metrieken optimaliseert die zijn afgeleid van de aandachtsheatmap $H_c$ van het model en het segmentatiemasker $M_c$:

• $\alpha$ (In-Mask Aandacht): De gemiddelde aandacht binnen de ground-truth discriminerende gebieden.
• $\beta$ (Out-of-Mask Aandacht): De gemiddelde aandacht buiten deze gebieden.

De doelfunctie minimaliseert het verschil $(\beta - \alpha)$, wat het model effectief aanmoedigt om de aandacht binnen het masker te verhogen ($\alpha \uparrow$) en de aandacht in spurious gebieden te onderdrukken ($\beta \downarrow$). Dit wordt toegevoegd als regularisator aan de standaard cross-entropy loss:
$$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$$
waarbij $\lambda$ de sterkte van de regularisatie controleert.

3. Efficiënte Batch-Level Aandachtsextractie

Een belangrijke technische bijdrage is de oplossing van het schaalbaarheidsprobleem bij gradient-based aandachtsextractie (bijv. Grad-CAM). Standaard methoden vereisen een aparte backward pass voor elk monster in een mini-batch ($O(B)$ complexiteit). CAMAL introduceert een efficiënte formulering waarbij de logits voor alle monsters in een mini-batch worden opgeteld tot een enkele scalar voordat er één enkele backward pass wordt uitgevoerd.

• Theoretische Garantie: Vanwege de lineariteit van differentiatie en de onafhankelijkheid van monsters binnen een batch, levert deze enkele backward pass gradienten op die identiek zijn aan het individueel berekenen ervan ($O(1)$ complexiteit).
• Impact: Dit vermindert de trainingsoverhead aanzienlijk, waardoor aandachtssupervisie haalbaar wordt voor schaalbare trainingsregimes.

4. Architectuur- en Taakonafhankelijkheid

CAMAL is ontworpen om onafhankelijk te zijn van netwerkarchitectuur (toepasbaar op CNN's, Transformers zoals ViT, en hybride modellen) en leerparradigma's. In Deep Reinforcement Learning (DRL), waar ground-truth labels ontbreken, gebruikt CAMAL de waarde-inschatting $V(s)$ van de critic als doel voor de berekening van de aandacht, wat supervisie mogelijk maakt in zwak-gesuperviseerde settings.

Belangrijkste Bijdragen

1. Principiële Aandachtssupervisie: Introductie van CAMAL, die aandachtslering verankert in betrouwbare segmentatiemaskers in plaats van ongeverifieerde pseudo-gebieden.
2. Nieuwe Regularisatie-Doelstelling: Een formulering die tegelijkertijd aandacht binnen ground-truth gebieden aanmoedigt en deze elders onderdrukt, waardoor de beperkingen van "suppress-only" regularisatoren worden aangepakt.
3. Schaalbare Extractiemethode: Een efficiënte batch-level aandachtsextractietechniek die de rekenkundige complexiteit verlaagt van $O(B)$ naar $O(1)$, wat schaalbare supervisie mogelijk maakt.
4. Uitgebreide Evaluatie: Een statistisch rigoureuze evaluatie over Deep Learning (DL) en Deep Reinforcement Learning (DRL) paradigma's.

Experimentele Resultaten

De auteurs hebben CAMAL geëvalueerd tegen twee baselines: Vanilla (geen aandachtssupervisie) en Prior (aandachtssupervisie met CLIP-gebaseerde pseudo-gebieden).

Aandachtsuitlijning

• Metriek: Intersection-over-Union (IoU) tussen modelaandacht en ground-truth maskers.
• DL Resultaten: CAMAL behaalde statistisch significante verbeteringen in IoU over alle 6 modellen (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) en 3 datasets (BUSI, Oxford-IIIT-Pet, Oxford-Flower). De IoU-scores van CAMAL waren aanzienlijk hoger dan die van zowel Vanilla als Prior (bijv. ~33-42% voor CAMAL versus ~2-12% voor Prior op verschillende datasets).
• DRL Resultaten: In ViZDoom-omgevingen toonde CAMAL een significant hogere gemiddelde IoU in vergelijking met Vanilla, met statistische significantie bevestigd via Stratified Bootstrap Confidence Intervals (SBCI) en Probability of Improvement (POI).

Aandachtsbetrouwbaarheid

• Metriek: Causale impact gemeten door pixels te verwijderen/invoegen op basis van aandachtsbelang en veranderingen in modelvertrouwen te observeren.
• Resultaten: CAMAL demonstreerde betrouwbaardere aandacht dan Prior. Bij pixelverwijdering daalde het modelvertrouwen van CAMAL sneller, wat aangeeft dat zijn aandacht correct kritieke kenmerken identificeerde. Bij pixelinvoeging herstelde het vertrouwen sneller. CAMAL behaalde een 35,3% hogere Area Under the Curve (AUC) dan Prior in invoegscenario's.

Generalisatieprestaties

• DL: CAMAL presteerde consistent beter dan Vanilla in classificatie-accuraatheid over de meeste model-datasetcombinaties, met statistisch significante winsten in het merendeel van de gevallen.
• DRL: CAMAL toonde een trend naar verbeterde gemiddelde return in vergelijking met Vanilla, hoewel de winsten niet altijd statistisch significant waren over alle omgevingen, wat suggereert dat aandachtssupervisie generalisatie ten goede komt maar mogelijk verfijning vereist voor complexe DRL-dynamiek.
• Vergelijking met Prior: CAMAL presteerde gelijkwaardig aan of beter dan Prior in generalisatie, wat suggereert dat het primaire voordeel van aandachtssupervisie ligt in het verbeteren van de kwaliteit van de aandacht in plaats van het drastisch verhogen van taakprestaties.

Betekenis en Claims

Het artikel beweert dat CAMAL aantoont dat ruimtelijke informatie in segmentatiemaskers effectief kan worden benut om modelaandacht te sturen. De auteurs benadrukken dat:

• Betrouwbaarheid is Sleutel: Aandachtssupervisie moet zijn verankerd in betrouwbare referentiegebieden (segmentatiemaskers) om betrouwbaar te zijn; vertrouwen op pseudo-gebieden van zero-shot modellen leidt tot onbetrouwbare correcties.
• Kwaliteit boven Kwantiteit: Het primaire voordeel van aandachtssupervisie is de verbetering van de kwaliteit van de geleerde aandacht (uitlijning en betrouwbaarheid), waarbij taakprestatiewinsten bescheiden en contextafhankelijk zijn.
• Schaalbaarheid: De voorgestelde batch-level extractiemethode maakt aandachtssupervisie praktisch voor moderne, schaalbare training zonder inferentiekosten te verhogen.

De auteurs concluderen dat CAMAL een betrouwbare basislijn vestigt voor toekomstige methoden voor aandachtssupervisie, met de nadruk dat het realiseren van het volledige potentieel van dergelijke methoden vereist dat ze worden verankerd in nauwkeurige, ground-truth ruimtelijke informatie.