Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

Technische Samenvatting: Consistente Bewijsvoering, Robuuste Herkenning

Probleemstelling
Attributiemethoden worden breed toegepast om de onderliggende input-bewijsvoering van voorspellingen door diepe neurale netwerken te identificeren. Hun potentieel om het gedrag van modellen actief te verbeteren, is echter nog onvoldoende onderzocht. Een kritiek probleem is de inconsistentie in attributie onder label-behoudende geometrische transformaties (bijv. spiegelen of rotatie). Hoewel de voorspelde klasse ongewijzigd kan blijven, verschuift de afhankelijkheid van het model vaak van de oorspronkelijke object-bewijsvoering naar andere of irrelevante regio's. Dit duidt op een gevoeligheid voor geometrische transformaties die de robuustheid ondermijnt.

Bestaande benaderingen voor attributie-regularisatie vertrouwen doorgaans op zelfgesuperviseerde consistentie-objectieven afgeleid van gradiënt-gebaseerde kaarten (bijv. Grad-CAM). Een fundamentele beperking van deze methoden is de getrouwheid (faithfulness): gradiënt-gebaseerde kaarten reflecteren niet altijd nauwkeurig de bewijsvoering die ten grondslag ligt aan de beslissing van het model. Bijgevolg zorgt het afstemmen van deze kaarten weliswaar voor consistentie in de uitleg-output, maar garandeert dit geen consistentie in het onderliggende beslissingsproces. Een model kan een consistentie op uitlegniveau bereiken terwijl het nog steeds steunt op transformatie-gevoelige bewijsvoering. De centrale uitdaging die dit werk aanpakt, is hoe men getrouwe, aan de beslissing gekoppelde attributie kan omzetten in een effectief trainingssignaal om consistente bewijsvoering af te dwingen zonder menselijke annotaties.

Methodologie
De auteurs stellen een annotatievrij framework voor attributie-regularisatie voor, gebaseerd op submodulaire zoektocht (submodular search) over beeldregio's. De methode werkt in twee stadia:

1. Query-fase (Genereren van Supervisie):
   In plaats van gradiënt-gebaseerde heatmaps te gebruiken, hanteert het framework een zoekgebaseerde attributiemethode (specifiek LIMA) om compacte, klasse-onderscheidende bewijsvoering te extraheren. Het proces selecteert gulzig (greedily) beeldregio's die een submodulaire scorefunctie maximaliseren, welke consistentie, vertrouwen en collaboratie-metrieken combineert. De zoektocht wordt beëindigd wanneer een consistentiedrempel is bereikt.

   • Filtering: Alleen monsters die correct geclassificeerd zijn, een hoge mate van vertrouwen hebben en resulteren in een compact attributiegebied, worden behouden. Dit zorgt ervoor dat het supervisiesignaal wordt afgeleid van betrouwbaar modelgedrag.
   • Supervisie-sequentie: De geordende sequentie van de geselecteerde regio's en de stopconditie vormen de "zoek-afgeleide supervisie".

2. Trainingsfase (Submodulaire Rangschikkingsverlies):
   Om het model te regulariseren, stemt het framework het attributie-zoektraject van een getransformeerd beeld af op het ruimtelijk overeenkomende traject van het originele beeld. Omdat het zoekproces discreet en sequentieel is, is een differentieerbare surrogaat vereist. De auteurs introduceren de Submodulaire Rangschikkingsverlies (Submodular Ranking Loss), bestaande uit twee termen:

   • Selectie-Rangschikkingsverlies ($L_{SelR}$): Bij elke stap van de gulzige zoektocht op het getransformeerde beeld, dwingt deze term af dat de ruimtelijk overeenkomende doelregio (uit de originele sequentie) hoger rangschikt dan alle overige niet-doel kandidaten.
   • Selectie-Afkapverlies ($L_{SelT}$): Deze term moedigt de geaccumuleerde bewijsvoering van het getransformeerde traject aan om aan dezelfde stopcriteria te voldoen als de originele query-sequentie bij de doel-eindstap.

De totale objectieve functie combineert de standaard classificatieverlies met de Submodulaire Rangschikkingsverlies, gewogen door een hyperparameter $\lambda$. Het framework wordt geïmplementeerd met optimalisaties zoals beperkte zoekruimtes en ijle (sparse) regularisatie om de computationele overhead te beheersen.

Belangrijkste Bijdragen

1. Getrouwe Attributie als Voorwaarde: Het werk formuleert attributie-regularisatie rond het principe dat supervisie getrouw moet zijn aan de bewijsvoering die ten grondslag ligt aan de voorspelling, waarmee het verder gaat dan eenvoudige kaart-consistentie.
2. Annotatievrij Framework: Een nieuw framework dat compacte supervisie-sequenties afleidt uit gefilterde submodulaire zoektochten, waardoor de noodzaak voor door mensen verstrekte relevantie-annotaties wordt geëlimineerd.
3. Submodulaire Rangschikkingsverlies: Een differentieerbare verliesfunctie die kandidaat-selectie langs getransformeerde trajecten afstemt en stopcriteria afdwingt, wat dient als een surrogaat voor het anders discrete bewijsvoering-selectieproces.
4. Empirische Validatie: Uitgebreide experimenten die een verbeterde attributiestabiliteit en -getrouwheid aantonen, naast een sterkere robuustheid tegen getransformeerde inputs, met minimale impact op de nauwkeurigheid bij schone afbeeldingen.

Experimentele Resultaten
De methode werd geëvalueerd op ImageNet-100 en ImageNet-1K met behulp van ViT-B/16, ViT-L/16, ResNet-50 en ConvNeXt-B architecturen.

• Attributiekwaliteit (ImageNet-100, ViT-B/16):
  • Attributiestabiliteit steeg van 0.14 naar 0.27.
  • Insertion score verbeterde met 52.1%.
  • Deletion score verminderde met 62.2%.
  • Classificatienauwkeurigheid daalde met slechts 0.28 procentpunt.
• Robuustheid (ImageNet-1K):
  • Gemiddelde nauwkeurigheid bij getransformeerde inputs verbeterde met 0.55 (ResNet-50) en 0.33 (ConvNeXt-B) procentpunt.
  • Reductie in de nauwkeurigheid bij schone afbeeldingen was beperkt tot 0.30 punt.
• Efficiëntie: De methode bereikt een trainingsdoorvoer die vergelijkbaar is met CGC en sneller dan CLIP-AFT, met aanzienlijk lagere GPU-geheugeneisen dan second-order gradiëntmethoden.

Betekenis en Claims
Het artikel beweert dat getrouwe attributie een consistente bewijsvoering bevordert zonder de voorspellende prestaties materieel te schaden. Door de focus te verleggen van het afstemmen van potentieel ongetrouwe gradiëntkaarten naar het afstemmen van het werkelijke bewijsvoerings-selectieproces afgeleid van submodulaire zoektocht, pakt de methode de kernoorzaak van transformatiegevoeligheid aan. De resultaten suggereren dat het afdwingen van equivariantie op de beslissingsrelevante bewijsvoering, in plaats van enkel op de uitleg-output, leidt tot robuustere modellen die steunen op ruimtelijk overeenkomende bewijsvoering over geometrische transformaties heen. De auteurs merken op dat de code binnenkort zal worden vrijgegeven om verder onderzoek te faciliteren.