💻 computer science

Latent Attribution Regularization: Cross-Domain Attribution-Consistency Training for Stable NLP Explanations

Dit artikel introduceert Latent Attribution Regularization (LAR), een methode tijdens de training die attributieconsistentie afdwingt onder semantisch behoudende synoniemsubstituties, waarmee wordt aangetoond dat het de stabiliteit van gradiëntgebaseerde verklaringen in gefinetunede Transformers aanzienlijk verbetert zonder de nauwkeurigheid van het model te compromitteren, terwijl het ook vaststelt dat een juiste tokenuitlijning essentieel is voor het accuraat meten van dergelijke stabiliteit.

Oorspronkelijke auteurs: Junaid Hassan

Gepubliceerd 2026-09-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junaid Hassan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie is een veelgebruikte manier om te begrijpen hoe een computer een beslissing neemt, door te kijken naar welke delen van de invoer de meeste aandacht kreeg. Stel je voor dat een machine een zin leest en bepaalt of deze blij of verdrietig is; onderzoekers kunnen een kaart genereren die laat zien welke woorden het model het belangrijkst vond voor dat oordeel. Deze kaarten, bekend als feature attributies, worden steeds vaker gebruikt om AI-beslissingen aan mensen uit te leggen. Er is echter een verontrustend patroon naar voren gekomen: als je de zin licht verandert door een woord te vervangen door een synoniem met dezelfde betekenis, verandert de kaart vaak volledig. De computer wijst plotseling een ander woord aan als reden voor zijn beslissing, ook al zijn de betekenis van de zin en het uiteindelijke antwoord niet veranderd. Dit maakt de uitleg onbetrouwbaar, alsof de AI onbetrouwbaar of verward is, terwijl de verandering in werkelijkheid een illusie kan zijn die wordt gecreëerd door de manier waarop de computer de tekst leest.

Een nieuwe studie door onafhankelijk onderzoeker Junaid Hassan onderzoekt dit probleem en onthult dat een groot deel van de schijnbare instabiliteit eigenlijk een meetfout is, veroorzaakt door de manier waarop computers woorden opdelen. Moderne taalmodellen lezen geen hele woorden zoals mensen dat doen; in plaats daarvan hakken ze tekst in kleinere stukjes die subwoord-tokens worden genoemd. Wanneer een enkel woord wordt vervangen door een synoniem, kan het aantal van deze kleine stukjes veranderen, waardoor de positie van elk volgend token verschuift. Als onderzoekers de belangscores van woorden vergelijken op basis van hun positie in de lijst, vergelijken ze vaak geheel de verkeerde dingen, zoals het matchen van de eerste pagina van het ene boek met de tweede pagina van een ander boek. De onderzoeker ontwikkelde een methode om dit op te lossen door woorden te matchen op basis van hun werkelijke identiteit in plaats van hun positie, en ontdekte dat de stabiliteit van deze uitleg veel beter was dan voorheen gedacht.

Voortbouwend op deze gecorrigeerde manier van meten, introduceert de studie een nieuwe trainingsmethode genaamd Latent Attribution Regularization. Deze methode leert het AI-model om zijn uitlegkaarten consistent te houden, zelfs wanneer de invoertekst licht wordt gewijzigd met synoniemen. Tijdens het trainingsproces krijgt het model een zin te zien en een licht gewijzigde versie van die zin, en wordt het beloond als de belangscores voor de ongewijzigde woorden in beide versies vergelijkbaar blijven. Dit gebeurt naast de standaardtaak om het sentiment van de tekst correct te classificeren. Het doel is niet alleen om het juiste antwoord te krijgen, maar ook om ervoor te zorgen dat de redenering achter dat antwoord stabiel blijft wanneer de bewoording verschuift.

De onderzoeker testte deze aanpak met behulp van een model genaamd DistilBERT op een dataset van filmrecensies. De experimenten werden uitgevoerd op twee verschillende schalen: een kleinere test met 1.500 voorbeelden en een grotere, realistischere test met 20.000 voorbeelden. In beide gevallen werd het model getraind met en zonder deze consistentietechniek. De resultaten lieten zien dat de modellen die met de consistentietechniek waren getraind, aanzienlijk stabielere uitleg produceerden. Wanneer de tekst werd gewijzigd met lichte, gemiddelde of zware hoeveelheden synoniemvervangingen, bleven de uitleg veel vaker consistent dan bij de modellen die zonder de techniek waren getraind. Bijvoorbeeld, in de grotere test nam de verbetering in stabiliteit toe naarmate de tekstwijzigingen moeilijker werden, wat een duidelijk voordeel liet zien onder moeilijkere omstandigheden.

Cruciaal is dat deze verbetering in stabiliteit niet ten koste ging van het vermogen van het model om de tekst te begrijpen. De modellen die met de nieuwe techniek waren getraind, bereikten dezelfde hoge nauwkeurigheid in het classificeren van filmrecensies als de modellen die zonder de techniek waren getraind. In het grotere experiment bereikte beide groepen een nauwkeurigheid van ongeveer 82 procent, wat bewijst dat het model kon leren om consistenter te zijn zonder zijn hoofdtaken te vergeten. De studie bevestigde ook dat de initiële bevinding van extreme instabiliteit inderdaad een artefact was van de meetmethode; zodra de uitlijning werd gecorrigeerd, was de basisstabiliteit al hoog, maar de nieuwe trainingsmethode dreef deze nog verder omhoog.

De bevindingen suggereren dat er voor ontwikkelaars die AI-systemen bouwen die hun beslissingen aan gebruikers uitleggen, een praktische manier is om die uitleg betrouwbaarder te maken. Door deze consistentiecontrole toe te voegen tijdens de trainingsfase, kan de AI leren om de ruis veroorzaakt door kleine wijzigingen in de bewoording te negeren en zich te concentreren op de ware betekenis. De onderzoeker merkt op dat hoewel dit werk is gedaan op een specif kind type model en een enkele taak, de methode een laag-risico toevoeging is aan de standaardtraining die AI-uitleg betrouwbaarder kan maken voor real-world toepassingen. De studie concludeert dat de instabiliteit die vaak aan de AI-modellen zelf wordt toegeschreven, mogelijk een truc van de meting was, en dat we met de juiste instrumenten en training systemen kunnen bouren die zichzelf met grotere standvastigheid uitleggen.

Technische Samenvatting: Latent Attribution Regularization (LAR)

Probleemstelling

Op basis van gradiënten gebaseerde feature-attributies in gefinetunede Transformer-modellen vertonen vaak een hoge instabiliteit wanneer inputs ondergaan kleine, semantisch behoudende perturbaties (bijv. substitutie van synoniemen). Als een uitleg drastisch verandert terwijl de voorspelling van het model en de betekenis van de input constant blijven, is de uitleg onbetrouwbaar.

Het artikel identificeert een kritiek, voorheen over het hoofd gezien meetartefact in dit domein: tokenisatie-drift. Standaard subwoord-tokenisatie (WordPiece) betekent dat het substitueren van één woord het aantal subwoord-tokens kan wijzigen, waardoor de positie van alle daaropvolgende tokens verschuift. Het evalueren van attributiestabiliteit door ruwe positionele indices te vergelijken (zoals gedaan in eerder werk zoals Yin et al., 2022) veroorzaakt een ernstige mismatch. De auteur laat zien dat deze rechtstreekse aanpak de stabiliteitscorrelaties doet instorten van een plausibiele $\approx 0,90$ naar zo laag als $\approx 0,03$ , wat een vals beeld geeft van totale instabiliteit die onafhankelijk is van het werkelijke gedrag van het model.

Methodologie

1. Gecorrigeerd Evaluatieprotocol

Om het meetartefact aan te pakken, introduceert de auteur een exacte token-uitlijningsprocedure:

Uitlijning: In plaats van tokens op basis van positie te vergelijken, koppelt het algoritme tokens in de originele en de geperturbeerde sequenties op basis van hun exacte string-identiteit, waarbij de volgorde behouden blijft.
Scope: De metriek berekent de Spearman rangcorrelatie alleen over "achtergrond"-tokens (die ongewijzigd zijn gebleven door de substitutie). Gesubstitueerde woorden worden per ontwerp uit de correlatieberekening uitgesloten.
Vereiste: Een sample draagt alleen bij aan de statistiek als er ten minste drie tokens succesvol zijn gematcht.

2. Latent Attribution Regularization (LAR)

Voortbouwend op de gecorrigeerde evaluatie, past de auteur een regularisatiestrategie voor trainingstijd aan voor NLP:

Doelstelling: De trainingsverliesfunctie combineert standaard cross-entropy ( $L_{CE}$ ) met een cosinus-gelijkenis straf tussen de feature-attributies van de originele input ( $x$ ) en een geperturbeerde input ( $\tilde{x}$ ).
$L_{LAR} = L_{CE}(f(x), y) + \lambda \left(1 - \cos(a(x), a(\tilde{x}))\right)$
Attributiemethode: De studie gebruikt de $\ell_2$ -norm van de input-gradiënt ( $\nabla_{e_i} \log_y(f(e))$ ) in plaats van Integrated Gradients (IG), gekozen vanwege de computationele eenvoud binnen de double-backward trainingloop.
Perturbatie: Inputs worden geperturbeerd door bijvoeglijke naamwoorden en bijwoorden te vervangen door WordNet-synoniemen. In tegen tegenstelling tot sommige eerdere contrastieve generatiemethoden, filtert dit proces niet op het behoud van modelvertrouwen.
Asymmetrie tussen Training en Evaluatie: Terwijl de evaluatie gebruikmaakt van exact token-identiteits-matching, vergelijkt de trainingsverliesfunctie attributies positioneel (door af te korten naar de kortere sequentie). Dit is noodzakelijk omdat identiteitsgebaseerde matching een discrete operatie is die incompatibel is met de differentiabele double-backward berekening die vereist is voor gradiënt-van-gradiënt berekeningen.

3. Experimentele Opzet

Model: DistilBERT (66M parameters), geïnitialiseerd vanuit een niet-taakgetunede checkpoint (willekeurig geïnitialiseerde classificatiekop) om echte leerprocessen te waarborgen in plaats van louter herinneren (re-memorization).
Taak: Binaire sentimentclassificatie op SST-2.
Schalen: Experimenten werden uitgevoerd op twee schalen:
- Klein: 1.500 voorbeelden, 1 epoch.
- Groot: 20.000 voorbeelden, 2 epochs (bereikt $\approx 82\%$ validatie-accuratesse).
Controle: Een gematchte cross-entropy-only controle ( $\lambda=0$ ) met gebruik van dezelfde seeds, data en optimizer-instellingen.
Perturbatie-sterktes: Geëvalueerd bij Light (15%), Medium (35%) en Heavy (60%) substitutiesnelheden.

Belangrijkste Resultaten

1. Het Token-Alignment Artefact

In voorlopige experimenten zonder regularisatie leverde rechtstreekse positionele uitlijning een stabiliteitscorrelatie van $\bar{\rho} \approx 0,035$ op. Het toepassen van de exacte token-alignment correctie op dezelfde data en hetzelfde model verhoogde de baseline stabiliteit naar $\bar{\rho} \approx 0,90$ . Dit bevestigt dat de schijnbare instabiliteit in eerdere literatuur grotendeels een meetartefact was.

2. Verbeteringen in Stabiliteit met LAR

Over zowel training-schalen als 10 onafhankelijke seeds produceerde LAR ( $\lambda=0,5$ ) statistisch significante verbeteringen in attributiestabiliteit vergeleken met de controle:

Kleine Schaal: Significante verbeteringen bij alle perturbatie-sterktes (gepaarde t-toets $p \le 0,012$ ).
Grote Schaal: Significante verbeteringen bij alle perturbatie-sterktes (gepaarde t-toets $p = 0,002\text{--}0,004$ ; Wilcoxon $p = 0,004\text{--}0,006$ ).
Grootte: De verbetering in stabiliteit groeide met de ernst van de perturbatie (bijv. $+0,026$ voor lichte, $+0,036$ voor zware perturbaties in de grootschalige setting).
Consistentie: 9 van de 10 seeds kwamen overeen over de richting van de verbetering bij elke perturbatie-sterkte.

3. Accuratesse Trade-offs

Cruciaal is dat de winst in stabiliteit kwam zonder meetbare degradatie van de accuratesse:

Kleine Schaal: Controle (73,2%) vs. LAR (73,3%).
Grote Schaal: Controle (81,6%) vs. LAR (82,3%, $p=0,42$ ).

Betekenis en Claims

Het artikel positioneert de bijdragen op het snijvlak van attributierobustheid (voorheen bestudeerd in computer vision onder adiabatische aanvallen) en NLP-stabiliteitsevaluatie.

Correctie van Meetartefacten: De primaire claim is dat eerdere evaluaties van attributiestabiliteit in NLP fundamenteel gebrekkig waren door tokenisatie-drift. De auteur biedt een noodzakelijke correctie (exacte token-uitlijning) om betrouwbare vergelijkingen mogelijk te maken.
Eerste Toepassing van Consistentie-regularisatie op NLP: De auteur slaat de brug tussen visie-gebaseerde attributieregularisatie (bijv. Wang en Kong, 2022) en NLP. Zij passen de cosinus-gelijkenis doelstelling aan voor Transformer fine-tuning onder semantisch behoudende perturbaties, in plaats van adiabatische ruis.
Directe Trainingsdoelstelling: In tegenstelling tot eerder werk dat stabiliteitsmetrieken uitsluitend gebruikte voor post-hoc evaluatie, gebruikt dit artikel de stabiliteitsmetriek (specifiek de door synoniem-substitutie geïntroduceerde stabiliteit van Yin et al., 2022) als een directe trainingsdoelstelling.
Praktische Implicatie: Voor professionals die gefinetunede Transformers inzetten waarbij uitleg zichtbaar is voor eindgebruikers, biedt LAR een laag-risico toevoeging aan standaard fine-tuning. Het biedt statistisch robuuste stabiliteitsverbeteringen, met name onder significante semantische perturbaties, zonder de classificatieprestaties op te offeren.

Beperkingen en Reikwijdte

De auteur merkt expliciet de volgende beperkingen op:

Enkele Taak/Architectuur: Resultaten zijn specifiek voor SST-2 en DistilBERT.
Attributiemethode: De studie gebruikt input-gradiënt normen, geen Integrated Gradients (IG).
Asymmetrie tussen Training en Evaluatie: De training loss gebruikt positionele uitlijning terwijl de evaluatie gebruikmaakt van identiteits-uitlijning; het dichten van deze kloof is een richting voor toekomstig onderzoek.
Generatie van Perturbaties: De synoniem-substitutie filtert niet op behoud van modelvertrouwen, wat verschilt van het oorspronkelijke protocol van de stabiliteitsmetriek.
Convergentie: De grootschalige experimenten bereikten $\approx 82\%$ accuratesse, wat onder een volledig geconvergeneerde SST-2 fine-tune ligt ( $\approx 90\%+$ ), waardoor de mogelijkheid open blijft voor ander gedrag bij volledige convergentie.