Interaction-Aware Influence Functions for Group Attribution

Technische Samenvatting: Interactiebewuste Invloedfuncties voor Groepsattributie

Probleemstelling
Invloedfuncties zijn een fundamenteel hulpmiddel om te benaderen hoe het verwijderen van een trainingsvoorbeeld een doelfunctie, zoals een achtergehouden verlies, beïnvloedt. De standaardpraktijk voor het schatten van de invloed van een groep voorbeelden is het optellen van de individuele invloeden van de leden ervan. Deze additieve aanpak gaat echter ervan uit dat voorbeelden onafhankelijk bijdragen, waardoor gezamenlijke effecten niet worden vastgelegd. In werkelijkheid kunnen voorbeelden redundant zijn (bijvoorbeeld bijna-duplicaten) of complementair (bijvoorbeeld vergelijkbare kenmerken met verschillende labels). Het optellen van individuele invloeden leidt tot dubbelopname van redundante voorbeelden en mist de synergetische effecten van complementaire voorbeelden, wat resulteert in een slechte groepsattributie en suboptimale dataselectie (bijvoorbeeld het selecteren van sterk redundante subsets). Eerdere pogingen om dit aan te pakken, zoals correcties van de tweede orde voor parameterverplaatsingen, missen vaak hoe de doelfunctie zelf reageert op die verplaatsingen.

Methodologie
De auteurs stellen een interactiebewuste invloedfunctie voor die karakteriseert hoe interacties tussen voorbeelden gezamenlijk een doelfunctie beïnvloeden. De kerninnovatie bestaat uit het uitbreiden van de doelfunctie $f$ tot de tweede orde rondom de getrainde parameters $\hat{\theta}$, in plaats van alleen de parameterverplaatsing te lineariseren.

1. Uitbreiding tot de Tweede Orde:
   Het exacte effect van het uitsluiten van een groep $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ wordt benaderd door $f$ tot de tweede orde uit te breiden:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{Invloed eerste orde}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{Interactieterm}}$$
   Hierbij is $u_S = \sum_{z_i \in S} u_i$ de geaggregeerde parameterverplaatsing, waarbij $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$, en $H_f = \nabla^2_\theta f(\hat{\theta})$ de Hessian van de doelfunctie is.

2. Paarsgewijze Interactieterm:
   De tweede term (de interactieterm) decomposeert tot een som van paarsgewijze bijdragen $\kappa(z_i, z_j) = u_i^\top H_f u_j$.

   • Interpretatie: Als $H_f$ positief definiet is, fungeert $\kappa(z_i, z_j)$ als een inproduct dat de uitlijning van de effecten van twee voorbeelden op het doel meet.
   • Redundantie versus Complementariteit: De term is positief wanneer voorbeelden het model in vergelijkbare richtingen duwen (redundantie, afnemende meeropbrengst) en negatief wanneer ze in tegenovergestelde richtingen duwen (complementariteit, gunstig gezamenlijk effect).
   • Gesloten-vorm Factorisatie: Voor binaire logistische regressie bewijzen de auteurs dat $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$. Dit herwint formeel het principe dat vergelijkbare voorbeelden met verschillende labels complementair zijn, terwijl vergelijkbare voorbeelden met hetzelfde label redundant zijn.

3. Gretige Dataselectie:
   Om dit toe te passen op dataselectie (het vinden van een subset $S$ die het doel minimaliseert wanneer deze wordt toegevoegd), leiden de auteurs een marginale score $m(z_i | S)$ af voor het toevoegen van een kandidaat $z_i$ aan een reeds geselecteerde set $S$. Deze score bevat een term $u_S^\top H_f u_i$ die kandidaten die lijken op reeds geselecteerde exemplaren bestraft, waardoor individuele kwaliteit effectief in evenwicht wordt gebracht met groepsdiversiteit zonder een externe diversiteitsheuristiek te vereisen.

Belangrijkste Bijdragen

• Theoretisch Kader: Een nieuwe schatter voor invloedfuncties die de standaard som van de eerste orde aanvult met een paarsgewijze interactieterm afgeleid van een uitbreiding tot de tweede orde van de doelfunctie. Dit verschilt van eerdere werken die de parameterverplaatsing uitbreidden (bijvoorbeeld Basu et al. [5]), en biedt een stabielere en interpreteerbaardere paarsgewijze structuur.
• Theoretische Waarborgen: Bewijs dat de interactieterm klassieke principes van toezicht op leren codeert (complementariteit van vergelijkbare paren van verschillende klassen, redundantie van vergelijkbare paren van dezelfde klasse) in een gesloten-vorm factorisatie voor logistische regressie, uitbreidbaar naar diepe multi-class classifiers.
• Algoritmische Efficiëntie: Een gretige selectieprocedure (Algoritme 1) met complexiteit $O(KPd)$ die benodigde grootheden vooraf berekent en een accumulator bijwerkt, waardoor het schaalbaar is voor grote datasets en modellen.

Experimentele Resultaten
De methode werd geëvalueerd in twee primaire settings:

1. Getrouwheid aan Opnieuw Trainen (Kleine Schaal Modellen):

   • Opzet: Geëvalueerd op zes dataset-modelparen (Logistische Regressie, MLP's, ResNet-9) over classificatie- en regressietaken.
   • Maatstaf: Spearman rangcorrelatie tussen geschatte invloed en de werkelijke effecten van opnieuw trainen na uitsluiting van een groep.
   • Resultaat: De interactiebewuste schatter (F+I) behaalde de hoogste correlatie in alle settings, aanzienlijk beter dan standaard invloed van de eerste orde (F) en de correctie voor parameterverplaatsing van de tweede orde (F+B). Opvallend was dat F+B instabiliteit vertoonde, wat de theoretische slecht-conditie bevestigt van het uitbreiden van de parameterverplaatsing in niet-convexe settings.

2. Subsetselectie (Kleine Schaal en LLM's):

   • Kleine Schaal (MLP's): Op MNIST en FashionMNIST stortte de standaard op invloed gebaseerde selectie (F) in op enkele klassen, en presteerde slechter dan willekeurige selectie. De interactiebewuste methode behield een klassentropie vergelijkbaar met willekeurige selectie en behaalde het laagste achtergehouden testverlies.
   • Grote Taalmodellen (Llama-3.1-8B): Toegepast op instructie-aanpassingsdataselectie uit een pool van ongeveer 270k voorbeelden.
   • Resultaat: De voorgestelde methode presteerde beter dan willekeurige selectie op alle zeven downstream-taken (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). Het behaalde de beste algehele prestatie op vijf van de zeven taken, en overtrof zowel op invloed gebaseerde baselines (Additieve IF, LESS) als op representatie-相似heid gebaseerde baselines (RDS+, NV-Embed). Cruciaal was dat standaard op invloed gebaseerde selectie (Additieve IF) op de meeste taken slechter presteerde dan willekeurige selectie, wat de falen van additieve scoring in dit regime benadrukt.

Betekenis en Claims
Het artikel claimt dat groepsattributie fundamenteel gaat over hoe trainingsvoorbeelden het doel beïnvloeden, niet alleen de parameterverplaatsing. Door interacties te karakteriseren via hun gezamenlijke effect op het doel, adresseert de voorgestelde methode het "blinde punt" van additieve scoring, wat leidt tot redundante dataselectie. De auteurs demonstreren dat het rekening houden met deze interacties cruciaal is voor zowel het nauwkeurig schatten van groepsinvloed als het selecteren van diverse, effectieve trainingssubsets. De methode biedt een principieel, correctie van de tweede orde die natuurlijk voortkomt uit de kromming van de doelfunctie, in plaats van te vertrouwen op extern opgelegde diversiteitsboetes.

Beperkingen
De auteurs merken twee belangrijke beperkingen op:

1. De gretige selectieprocedure, hoewel effectief, mist formele optimaliteitsgaranties.
2. De schatter erft benaderingsfouten over van de onderliggende Hessian-benaderingen (bijvoorbeeld EK-FAC, laag-rang projecties). Toekomstig werk zou kunnen profiteren van vooruitgang in schaalbare inverse-Hessian-schatting.