Technische Samenvatting: Attributies tot in het oneindige? De Metaspel van Interpretatieerbaarheid

Probleemstelling

Attributiemethoden zijn fundamenteel voor de interpretatieerbaarheid van machine learning, omdat ze kwantificeren hoe specifieke variabelen (bijvoorbeeld invoertokens of trainingsdata) het modelgedrag beïnvloeden. Hoewel methoden van de eerste orde (zoals Shapley-waarden, Integrated Gradients en Attention) veel worden gebruikt, zijn ze beperkt tot het vastleggen van de invloed van enkele variabelen, waardoor ze vaak hogere-orde dynamieken zoals synergieën en antisynergieën missen.

Bestaande interactiemethoden proberen dit aan te pakken door invloeden van de tweede orde te meten (bijvoorbeeld Shapley-interacties of Integrated Hessians). Deze benaderingen lopen echter tegen aanzienlijke beperkingen aan:

1. Interactielekkage: Seriële methoden (het toepassen van een attributiemethode op zijn eigen output) slagen er niet in om pure individuele effecten schoon te scheiden van interactie-effecten, waardoor interactietermen lekken naar individuele componenten.
2. Richtinggebondenheid: Op verzamelingen gebaseerde interactie-indices (zoals Shapley-interacties) behandelen interacties als ongerichte subsets $\{i, j\}$, waardoor ze de hiërarchische richting van hoe één feature de attributie van een andere beïnvloedt, niet vastleggen.
3. Berekenings- en structurele beperkingen: Methoden die afhankelijk zijn van invoer-Hessians vereisen architecturale aanpassingen, leiden tot onaanvaardbare berekeningskosten voor grote invoer, en vervagen vaak in standaard ReLU-netwerken.
4. Combinatorische complexiteit: Het aantal interactietermen groeit combinatorisch ($O(d^k)$), waardoor hogere-orde interacties moeilijk te interpreteren zijn.

Het artikel vraagt zich af of een willekeurige attributiemethode van de eerste orde vanuit eerste principes kan worden gegeneraliseerd om hogere-orde interacties vast te leggen zonder deze beperkingen.

Methodologie: Het METAGAME-kader

De auteurs introduceren METAGAME, een conceptueel kader dat de attributiemethode zelf behandelt als een coöperatief spel om interactie-effecten van de tweede orde te kwantificeren.

Kernconcept: Meta-attributies

Voor elke attributie van de eerste orde $\phi_i(f)$ die een model $f$ verklaart, definieert het kader een meta-attributie $\phi_{j \to i}(f)$, die de richtinggebonden invloed van feature $j$ op de attributie van feature $i$ vertegenwoordigt.

1. De constructie van het metaspel:

   • In plaats van het model $f$ direct te evalueren, evalueert het kader de attributie van de eerste orde $\phi_i$ als de waardenfunctie van een nieuw coöperatief spel.
   • De "spelers" in dit spel zijn de invoerfeatures (of tokens).
   • De waarde van een coalitie $S$ in het metaspel wordt gedefinieerd als de attributie van feature $i$ wanneer de features in $S \cup \{i\}$ aanwezig zijn en de anderen gemaskeerd zijn (met behulp van een baseline).

2. Richtinggebonden decompositie:

   • De meta-attributie $\phi_{j \to i}$ wordt berekend als de Shapley-waarde van feature $j$ binnen dit metaspel, waarbij strikt de marginale bijdrage van $j$ aan $\phi_i$ wordt gemeten, gegeven dat $i$ vaststaat.
   • Hiërarchische efficiëntie: Het kader bewijst dat de oorspronkelijke attributie van de eerste orde exact de som is van zijn pure individuele effect en zijn richtinggebonden interacties:
     $$\phi_i(f, x) = \phi_{i \to i}(f, x) + \sum_{j \neq i} \phi_{j \to i}(f, x)$$
   • Deze decompositie isoleert pure individuele effecten (diagonaaltermen) van interactie-effecten (niet-diagonaaltermen), waardoor de lekkage die bij seriële methoden wordt waargenomen, wordt opgelost.

3. Theoretische unificatie:

   • De auteurs bewijzen dat bestaande op verzamelingen gebaseerde interactie-indices impliciet hiërarchische decomposities zijn van attributies van de eerste orde.
   • Specifiek worden Meta-Shapley-waarden getoond als de richtinggebonden varianten van de Shapley-Taylor Interactie-index (STII), en zijn Meta-Integrated Gradients de richtinggebonden varianten van de Sum of Power (SOP)-index.
   • In tegenstelling tot op verzamelingen gebaseerde methoden behouden meta-attributies de richtinggebondenheid (bijvoorbeeld $\phi_{j \to i} \neq \phi_{i \to j}$ voor op gradiënten gebaseerde methoden), waardoor asymmetrische invloeden worden blootgelegd.

Praktische implementatie

Het kader is ontworpen als een universele wrapper voor bestaande attributiemethoden (zoals AttnLRP, Grad-ECLIP, ConceptAttention).

• Efficiëntie: Voor kleine spellen ($d < 20$) worden exacte Shapley-waarden berekend. Voor grotere spellen raden de auteurs state-of-the-art benaderingen aan (bijvoorbeeld Monte Carlo-sampling of regressie-gebaseerde schatters uit de shapiq-bibliotheek).
• Transformers: De methode is aangepast voor moderne architecturen door token-attributies te aggregeren over gegenereerde sequenties (voor LLM's) of door cross-modale interacties te berekenen tussen teksttokens en image patches (voor vision-language encoders).

Belangrijkste bijdragen

1. Gegeneraliseerde principes: Een methode om elke attributie van de eerste orde te generaliseren om interacties van de tweede orde te kwantificeren via de Shapley-waarde, genaamd meta-attributies.
2. Hiërarchische decompositie: Een perspectief dat de combinatorische complexiteit navigeert door attributies te decomponeren in richtinggebonden interacties, en bewijst dat bestaande indices zoals Shapley-interacties en Integrated Hessians deze decompositie impliciet uitvoeren.
3. Richtinggebonden uitbreiding: De introductie van METAGAME en meta-attributies als een nieuwe richtinggebonden interactie-index, bewezen als een richtinggebonden uitbreiding van bestaande op verzamelingen gebaseerde interactie-indices (STII en SOP).
4. Empirische validatie: Demonstratie van het nut van het kader in drie verschillende AI-domeinen:
   • Het kwantificeren van token-interacties in instructie-gefineerde Large Language Models (LLM's).
   • Het verklaren van cross-modale gelijkenis in vision-language encoders.
   • Het interpreteren van tekst-naar-beeld concepten in multimodale diffusietransformers.

Experimentele resultaten

Het artikel valideert METAGAME in drie applicatiescenario's:

1. Taalmodellen (Gemma 3):

   • Met behulp van Meta-AttnLRP identificeert het kader richtinggebonden token-interacties (bijvoorbeeld hoe "honing" de attributie van "boter" beïnvloedt in een veganistische context) die methoden van de eerste orde missen.
   • Het detecteert dat modellen meer aandacht besteden aan "pulmonaal" wanneer "embolie" aanwezig is, terwijl het verwijderen van "pulmonaal" de belangrijkheid van "embolie" verhoogt.
   • Kwantitatieve evaluatie toont een verbeterde recall bij het detecteren van door mensen gelabelde token-interacties in vergelijking met baselines van de eerste orde.

2. Vision-Language Encoders (CLIP, SigLIP-2, MetaCLIP-2):

   • Meta-Grad-ECLIP en Meta-MaskSigLIP werden toegepast om gelijkeniskaarten te verklaren.
   • Op de ImageNet-1k-pijl-interactieherkenningsmetriek presteerden meta-attributies consistent beter dan methoden van de eerste orde (Attention, MaskCLIP, Grad-ECLIP) en zelfs de black-box-baseline van de tweede orde FIxLIP.
   • Opmerkelijk is dat Meta-MaskSigLIP de hoogste trouw bereikte voor SigLIP-2, en dat Meta-Attention Meta-Grad-ECLIP versloeg op het grote MetaCLIP-2-model.

3. Multimodale Diffusietransformers (FLUX.1):

   • Meta-ConceptAttention werd gebruikt om concepten in tekst-naar-beeld-generatie te interpreteren.
   • De methode verlichtte de beperking van context-afhankelijkheid van de oorspronkelijke ConceptAttention.
   • Op Pascal VOC- en MS COCO-segmentatie-benchmarks domineerde Meta-ConceptAttention de oorspronkelijke methode in een Pareto-zin op de metrieken voor nauwkeurigheid, mIoU en mAP, zelfs naarmate het aantal contextuele concepten toenam.

Betekenis en claims

Het artikel claimt dat het METAGAME-kader een wiskundig onderbouwde weg biedt naar het begrijpen van interacties van de tweede orde zonder de lekkage- en richtinggebondenheidsproblemen van eerdere methoden. Door attributies te behandelen als coöperatieve spellen, overbrugt het de kloof tussen discrete speltheoretische principes en de continue dynamiek van moderne interpretatieerbaarheidsmethoden.

De auteurs positioneren dit werk als een stap naar credibeler machine learning-systemen. Ze benadrukken dat het kader, hoewel het de berekeningskosten en cognitieve belasting verhoogt, een rigoureuze hiërarchische decompositie van attributies biedt die precies onthult hoe features de bijdragen van elkaar beïnvloeden. Het werk is bescheiden over zijn reikwijdte, met de opmerking dat analyse van taalmodellen dient als een illustratieve toepassing en dat rigoureuze trouwmetingen (bijvoorbeeld invoegings-/verwijderingscurves) voor bredere vergelijkingen een toekomstige noodzaak blijven. Het kader wordt gepresenteerd als een algemeen hulpmiddel dat toepasbaar is op elke attributiemethode van de eerste orde, en verder reikt dan de specifieke voorbeelden die worden gegeven.