Technische Samenvatting: Influcoder

Probleemstelling

Naarmate Large Language Models (LLM's) krachtiger worden, neemt de behoefte aan het cureren van hoogwaardige trainingsdatasets toe. Specifiek is er een vraag naar methoden voor Data Attribution (DA) die kunnen identificeren welke specifieke trainingsvoorbeelden een model voorbereiden op het genereren van bepaalde outputs, zoals toxisch gedrag. Hoewel Influence Functions (Koh en Liang, 2017) hiervoor een theoretisch kader bieden door de effectiviteit van trainingsvoorbeelden op de testverlies te kwantificeren, wordt hun praktische toepassing op grote schaal gehinderd door prohibitieve computationele kosten en opslagvereisten. Bestaande methoden vereisen vaak per voorbeeld gradiënten of inverse Hessian-benaderingen, wat instabiel en traag is. Bovendien wijzen recente studies (Li et al., 2025; Ivison et al., 2025) erop dat veel influence-methoden moeite hebben om de prestaties van random baselines te evenaren wanneer ze opschalen, terwijl anderen (Jiao et al., 2025) veelbelovend zijn voor filtering maar computationeel duur blijven.

Methodologie: Influcoder

De auteurs stellen Influcoder voor, een methode die gradiënt-invloedsrangschikkingen destilleert naar een compact encoder-model om efficiënte, schaalbare data-attributie te bereiken. De aanpak vermijdt de instabiliteit van inverse Hessian-schatting door te vertrouwen op een first-order influence-formulering gebaseerd op de cosinusgelijkenis van LoRA (Low-Rank Adaptation) gradiënten.

1. Gradiënt-invloedsformulering

In plaats van de volledige inverse Hessian te gebruiken, hanteert de methode een first-order influence-formulering (Garima et al., 2020) die beperkt is tot de LoRA-adapterparameters ($\theta_L$). Om stabiliteit te garanderen en te voorkomen dat gradiënten met een hoge norm overmatig worden gewogen, wordt het inproduct vervangen door cosinusgelijkenis:
$$\text{Inf}'(p, q) = \cos(\nabla\ell(\theta_L, p), \nabla\ell(\theta_L, q))$$
waarbij $p$ een pool (trainings) monster is en $q$ een query monster.

2. Tweefasige Trainingspipeline

De methode werkt in twee afzonderlijke fasen:

• Fase 1: Verzameling van Ground Truth Labels

  • Pool ($P$) en query ($Q$) monsters worden door een target decoder-model geleid.
  • Gradiënten worden alleen berekend op de response tokens (het maskeren van de prompt), omdat deze als informatiever worden beschouwd.
  • Om opslag te verminderen, worden gradiënten geprojecteerd naar een lagere dimensie met behulp van CountSketch (Charikar et al., 2004).
  • De "ground truth" invloedsmatrix ($I_{GT}$) wordt vooraf berekend door de cosinusgelijkenis tussen alle paren van pool- en query-gradiënten te berekenen.

• Fase 2: Destillatie naar een Encoder

  • Een encoder-model (bijv. Ettin-encoder) wordt getraind om invloedsscores direct uit inputmonsters te voorspellen, waardoor de noodzaak om voor elke query gradiënten te berekenen wordt omzeild.
  • De encoder produceert embeddings voor pool- en query-monsters ($E_p, E_q$).
  • Voorspelde invloeden ($I_P$) worden berekend als de cosinusgelijkenis tussen deze embeddings.

3. Rangschikkingsgebaseerde Verliesfunctie

Omdat het doel is om de rangschikking van monsters te bepalen in plaats van exacte invloedswaarden te voorspellen, combineert de trainingsdoelstelling twee differentieerbare rangschikkingsverliezen:

• Pearson Correlatie Verlies ($L_{Pearson}$): Stemt de volledige batch voorspelde invloeden af op de ground truth matrix om globale consistentie te waarborgen.
• KL Divergentie Verlies ($L_{KL}$): Een softmax-gebaseerd verlies toegepast per query om specifiek de rangschikking van de top-k meest invloedrijke monsters te optimaliseren.
• Totale Verlies: $L_{Total} = \alpha L_{Pearson} + (1 - \alpha) L_{KL}$.

Belangrijkste Bijdragen

1. Nieuwige Destillatie-aanpak: Influcoder is de eerste methode die gradiënt-invloedsrangschikkingen (specifiek op basis van LoRA) destilleert naar een encoder, wat het onderscheidt van eerdere destillatiewerken die zich richten op trainingsverliezen (bijv. AirRep) of volledige gradiënt-proxies (bijv. IProX).
2. Schaalbaarheid en Efficiëntie: Door dure gradiëntberekeningen te vervangen door een forward pass door een kleine encoder, bereikt de methode aanzienlijke versnellingen en reducties in opslag.
3. Praktische Filtering: De methode toont effectiviteit in het filteren van toxische data, een cruciale toepassing voor LLM-veiligheid.

Experimentele Resultaten

De auteurs hebben Influcoder geëvalueerd tegen baselines waaronder LESS, LoGRA, DataInf, RDS+ en TF-IDF.

• Inference Snelheid en Kosten:

  • Influcoder (68M parameters) verwerkt monsters 15x sneller dan het dichtstbijzijnde proxy-model, 45x sneller dan volledige LoGRA, en 100x sneller dan LESS.
  • Wat betreft FLOPs gebruikt Influcoder 5x minder dan de dichtstbijzijnde proxy en 44x minder dan LESS.
  • De opslagvereisten zijn drastisch lager (30 MB voor Influcoder versus 320 MB voor LESS en 2,24 GB voor LoGRA).

• Kwaliteit van Attributie:

  • Rangschikkingscorrelatie: Influcoder bereikt Mean-Aggregated Spearman-correlaties die vergelijkbaar met of iets lager zijn dan LESS, en presteert hiermee aanzienlijk beter dan semantische gelijkenis-baselines en andere projectie-gebaseerde methoden.
  • Toxische Filtering: In de XSTest-response taak (het filteren van toxische voorbeelden) behaalde Influcoder een AUPRC van 0,6981 (Heterogeen) en 0,6919 (Homogeen). Hoewel dit iets lager is dan LESS (0,7075 en 0,7562), is het vele malen superieur aan DataInf (0,2157) en semantische baselines. Cruciaal is dat Influcoder dit bereikt met een inferentietijd van ~32 seconden vergeleken met ~2248 seconden voor LESS.

Betekenis en Beperkingen

Het artikel beweert dat Influcoder een levensvatbaar pad biedt naar effectieve data-attributie op grote schaal, waarbij de balans wordt gevonden tussen de hoge nauwkeurigheid van gradiënt-gebaseerde methoden en de snelheid van representatie-gebaseerde methoden. Het maakt het gebruik van invloedsfuncties mogelijk voor taken zoals het filteren van toxiciteit waar snelheid essentieel is.

De auteurs merken echter expliciet belangrijke beperkingen op:

• Distributieafhankelijkheid: In tegen tegenstelling tot methoden zoals LoGRA of LESS, die onafhankelijk functioneren van de datadistributie, daalt de prestatie van Influcoder drastisch als monsters buiten de distributie vallen van de pool- en query-sets die tijdens de training zijn gebruikt.
• Vereiste van Trainingsdata: De methode vereist een voldoende hoeveelheid trainingsdata om de invloed aanvankelijk te destilleren. Bij taken met onvoldoende data verslechtert de prestatie.
• Setup Overhead: In tegen tegenstelling tot "plug-in" methoden, vereist Influcoder een initiële opzetfase die het verzamelen van gradiënten en het trainen van de encoder omvat, wat de complexiteit van de workflow verhoogt.

Concluderend biedt Influcoder een kosteneffectief, hoogsnelheidsalternatief voor data-attributie, dat bijzonder geschikt is voor scenario's waarin de datadistributie bekend is en snelle inferentie belangrijker is dan de absolute hoogste precisie in rangschikking.