Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

Technische Samenvatting: "Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making"

Probleemstelling

Betrouwbare machine learning-modellen moeten niet alleen correct voorspellen, maar ook beslissingen baseren op acceptabel, taakrelevant bewijs. Conventioneel supervised learning vertrouwt echter uitsluitend op klasse-specifieke labels, waardoor modellen "shortcut correlaties" kunnen exploiteren (bijv. achtergrondtexturen of spurieuze kenmerken) in plaats van de beoogde causale bewijslast. Hoewel menselijke priors (zoals bounding boxes, doelinterface-elementen of ijle clicks) dit gedrag theoretisch kunnen beperken, blijft het uitdagend om de beslissingsbewijslast van een model af te stemmen op deze priors. Bestaande methoden schieten vaak tekort omdat:

1. Faithfulness Gap (Getrouwheidskloof): Ze vertrouwen op post-hoc attributiemethoden (bijv. Grad-CAM, LIME) die de werkelijke beslissingsbewijslast mogelijk niet accuraat reflecteren.
2. Over-regularisatie: Ze dwingen een harde, uniforme onderdrukking af van alle regio's buiten de prior, waarbij voorbij wordt gegaan aan het feit dat verschillende regio's ongelijke bijdragen leveren en dit potentieel legitieme leersignalen kan verstikken.

Methodologie

De auteurs stellen een selectief prior-beperkt trainingsframework voor dat gebruikmaakt van subset-selectie gebaseerde attributie als een signaal tijdens de training om het modelgedrag te sturen.

1. Attributiemechanisme:
In plaats van gradiënt- of aandacht-gebaseerde verklaringen, gebruikt de methode subset-selectie gebaseerde attributie (specifiek LIMA voor beeldclassificatie en EAGLE voor MLLM-gebaseerde GUI-agents) als trainingssignaal. Deze aanpak identificeert compacte, beslissingsondersteunende subsets van invoerregio's door iteratief regio's te selecteren die een setfunctie $F(\cdot)$ maximaliseren en deze te rangschikken op basis van invloed. Deze methode is gekozen vanwege de hogere getrouwheid (faithfulness) bij het identificeren van het werkelijke bewijs dat voorspellingen drijft.

2. Principe van Selectieve Afstemming:
De kerninnovatie is een asymmetrische afstemstrategie. Het model wordt niet gedwongen om op elk moment met menselijke priors af te stemmen. In plaats daarvan worden restricties alleen opgelegd wanneer het meest saillante geattribueerde bewijs van het model afwijkt van de menselijke priorregio.

• Als het top-geattribueerde bewijs overlapt met de menselijke prior, wordt er geen straf toegepast, waardoor andere regio's vrij kunnen bijdragen.
• Als het top-geattribueerde bewijs buiten de prior valt, krijgt het model een straf voor het vertrouwen op "off-prior" cues.

3. Verliesfuncties:
De trainingsdoelstelling combineert de standaard taakverlies ($L_{task}$) met twee specifieke afstemmingsverliezen die intermitterend worden toegepast (alleen wanneer het model correct voorspelt en op specifieke trainingsintervallen):

• Deviation Loss ($L_{deviation}$): Bestraft de utility score van de hoogst gerangschikte attributieregio ($v_{\pi1}$) als de ruimtelijke overlap met de menselijke prior $H$ onder een drempelwaarde $\tau$ valt. Dit ontmoedigt het vertrouwen op het meest invloedrijke off-prior bewijs.
• Redundancy Loss ($L_{redundancy}$): Reguleert hogere-orde attributieregio's (rangen $r \geq 2$). Als deze regio's off-prior zijn, worden hun marginale winsten ($\Delta_{i,r}$) onderdrukt via ReLU. Dit voorkomt de accumulatie van spurieus bewijs uit meerdere onbedoelde regio's.

4. Trainingsprocedure:
Het algoritme wisselt af tussen standaard taaksupervisie en bewijs-niveau afstemming. Afstemmingsverliezen worden alleen berekend voor correct voorspelde samples op regelmatige intervallen (bijv. elke 10 stappen voor classificatie, elke 5 stappen voor GUI-agents) om computationele overhead te verminderen en overmatige beperking van het model tijdens de vroege leerfasen te voorkomen.

Belangrijkste Bijdragen

1. Getrouwe Attributie voor Training: Het artikel toont aan dat subset-selectie gebaseerde attributie (LIMA/EAGLE) een betrouwbaarder trainingssignaal biedt voor menselijke prior-afstemming dan conventionele gradiënt- of activatie-gebaseerde verklaringen.
2. Selectief Prior-Beperkt Doel: Een nieuwe verliesformulering die alleen ingrijpt wanneer het top-geattribueerde bewijs afwijkt van menselijke priors, waardoor de valkuilen van harde, uniforme onderdrukking van niet-prior regio's worden vermeden.
3. Cross-Taak Validatie: Het framework wordt gevalideerd in twee verschillende settings:
   • Discriminatieve Classificatie: Beeldclassificatie op ImageNet-S en Saliency-Bench.
   • Autoregressieve Besluitvorming: Click-beslissingen in Multimodale Large Language Model (MLLM)-gebaseerde GUI-agents.

Experimentele Resultaten

De methode werd geëvalueerd tegenover baselines inclusief RRR (gradiëntonderdrukking), XIL (feature-niveau Grad-CAM onderdrukking) en MEGL (Grad-CAM afstemming).

• Beeldclassificatie:

  • Nauwkeurigheid: De methode verbeterde consequent de Top-1 nauwkeurigheid over verschillende backbones (CLIP, ViT, ResNet). Bijvoorbeeld, op Saliency-Bench met ViT steeg de nauwkeurigheid van 0.5150 (Fine-tuning) naar 0.5694.
  • Beslissingsrationaliteit: Gemeten door de Point Game (evaluatie van aandacht voor doelobjecten), vertoonde de methode significante winst. Op Saliency-Bench met ViT verbeterde de Point Game score van 0.4363 naar 0.5463.
  • Conditionele Betrouwbaarheid: Wanneer geconditioneerd op succesvolle Point Game uitkomsten (d.w.z. wanneer het model aandacht besteedt aan het juiste object), leverde de methode substantiële nauwkeurigheidswinsten op (bijv. CLIP op ImageNet-S verbeterde van 0.7093 naar 0.8377), wat aangeeft dat correct bewijs leidt tot meer betrouwbare voorspellingen.
  • Robuustheid: De methode demonstreerde superieure robuustheid tegen Gaussian ruis vergeleken met standaard fine-tuning.

• GUI Agent Taken:

  • Toegepast op een MLLM-gebaseerde agent (AgentCPM-GUI) voor click-beslissingen. De methode verbeterde de consistentie tussen het "denken" van het model (redeneringssporen) en de uitgevoerde beslissing, wat de beslissingsrationaliteit verbeterde zonder de taakprestaties op te offeren.

Betekenis en Claims

Het artikel claimt dat het beperken van beslissingsbewijs met behulp van getrouwe attributiesignalen modellen oplevert die niet alleen interpreteerbaarder zijn, maar ook robuuster en effectiever. Door de focus te verschuiven van "wat" het model voorspelt naar "waar" het naar kijkt, pakt de methode de kernoorzaak van shortcut learning aan. De auteurs benadrukken dat hun aanpak geen nieuw paradigma van verklaring-afstemming voorstelt, maar eerder een praktische, selectieve afstemstrategie installeert die gebruikmaakt van hoogwaardige attributie om causale redeneerbaarheid en beslissingsbetrouwbaarheid in zowel discriminatieve als generatieve settings te verbeteren. De resultaten suggereren dat modellen die met deze beperkingen zijn getraind, minder waarschijnlijk onvoorspelbaar zullen falen in veiligheidskritische of interactieve omgevingen.