A Systematic Comparison between Extractive Self-Explanations and Human Rationales in Text Classification

Technische Samenvatting: Een Systematische Vergelijking tussen Extractieve Zelfverklaringen en Menselijke Rationales in Tekstclassificatie

Probleemstelling
Op instructies afgestemde Grote Taalmodellen (LLMs) kunnen zelfverklaringen (rationales) genereren voor hun outputs zonder complexe externe interpreteerbaarheidstechnieken te vereisen. De betrouwbaarheid, plausibiliteit en trouw van deze zelfgegenereerde verklaringen blijven echter onderbelicht. Bestaand onderzoek richt zich vaak op korte teksten of op sleutelwoorden gebaseerde taken, en mist systematische vergelijkingen over diverse, realistische domeinen met variërende tekstlengtes en complexiteiten. Bovendien is er behoefte aan inzicht in hoe deze zelfverklaringen zich verhouden tot menselijk geannoteerde rationales en post-hoc attributiemethoden, wat betreft hun vermogen om het daadwerkelijke beslissingsproces van het model te reflecteren.

Methodologie
De auteurs voeren een gecontroleerde studie uit waarin vier open-weight, op instructies afgestemde LLMs (Gemma3, Llama3, Mistral en Qwen3) worden geëvalueerd over drie verschillende tekstclassificatietaken:

1. Sentimentclassificatie (SST/mSST): Binaire classificatie van filmrecensies in het Engels, Deens en Italiaans.
2. Detectie van Gedwongen Arbeid (RaFoLa): Multi-label classificatie van nieuwsartikelen die specifieke risicofactoren voor gedwongen arbeid identificeren.
3. Claimverificatie (Climate-Fever): Verificatie van klimaatveranderingsclaims tegen bewijsfragmenten uit Wikipedia.

Voor de eerste twee taken maakt de studie gebruik van bestaande menselijke rationale-annotaties. Voor Climate-Fever hebben de auteurs nieuwe menselijke rationale-annotaties verzameld voor een subset van 104 claims (520 bewijzen) met behulp van drie persoonlijk geïnstrueerde annotatoren.

Het evaluatiekader beoordeelt twee primaire dimensies:

• Plausibiliteit: Gemeten door de overeenstemming (Cohen's Kappa) tussen door het model gegenereerde rationales en menselijke annotaties.
• Trouw: Gemeten via interventiegebaseerde probing. De auteurs maskeren tokens die zijn geïdentificeerd door menselijke rationales, modelzelfverklaringen en post-hoc attributiemethoden (Layer-wise Relevance Propagation [LRP] en Gradient×Input) om de resulterende daling in de voorspellingskans van het model te observeren.

De studie omvat ook een statistische analyse van token-niveau strategieën, waarbij lexicaal diversiteit, stopwoordfracties en entiteitsverdelingen worden vergeleken tussen menselijke, model- en post-hoc rationales.

Belangrijkste Bijdragen

1. Nieuwe Dataset-annotaties: De verzameling en publicatie van menselijke rationale-annotaties voor een subset van de Climate-Fever dataset, waarmee een gat wordt gedicht in beschikbare grondwaarheid voor claimverificatietaken.
2. Gecontroleerde Vergelijkende Studie: Een systematische vergelijking van menselijke annotaties, LLM zelfverklaringen en post-hoc attributiemethoden over drie domeinen met variërende tekstlengtes en taakcomplexiteiten.
3. Trouw-analyse: Een evaluatie die aantoont dat zelfverklaringen trouwe subsets van token-niveau rationales opleveren, terwijl post-hoc attributiemethoden vaak structurele en opmaaktokens prioriteren boven semantisch bewijs.
4. Strategie-characterisering: Een gedetailleerde analyse die blootlegt dat menselijke rationales nadruk leggen op narratieve inhoud en levenservaringen, modelrationales feitelijke en analytische details bieden, en post-hoc rationales zich richten op geïsoleerde bewijstokens en structurele artefacten.

Belangrijkste Resultaten

• Plausibiliteit: De overeenstemming tussen menselijke en modelrationales varieert aanzienlijk op basis van tekstlengte en taakcomplexiteit.
  • SST: Matige overeenstemming (Kappa 0,4–0,6) voor Engelse subsets; lager voor Deens en Italiaans.
  • RaFoLa: Hoge variantie tussen artikelen; overeenstemming varieert van laag (0,12) tot matig (0,48), correlerend met taakmoeilijkheid en onderscheidend vermogen van sleutelwoorden.
  • Climate-Fever: Over het algemeen lage overeenstemming (0,12–0,24), toegeschreven aan de intrinsieke complexiteit en ambiguïteit van de claimverificatietaken in plaats van oppervlakkige tekstkenmerken.
• Trouw:
  • Modelzelfverklaringen (specifiek wanneer gerangschikt op basis van greedy maximalisatie van het kansverschil) tonen hoge trouw, wat vaak leidt tot een steilere daling in voorspellingskans bij masking dan menselijke rationales, met name in de eerste 10% van de tokens.
  • Post-hoc methoden (LRP, Gradient×Input) tonen lagere trouw bij het identificeren van de meest relevante initiële tokens in vergelijking met zelfverklaringen. Ze wijzen vaak hoge belangrijkheid toe aan structurele tokens (bijv. <s>, <|begin_of_text|>) die nodig zijn voor sequentieafbakening in plaats van semantische inhoud.
• Token-strategieën:
  • Menselijke Rationales: Hogere lexicaal diversiteit en stopwoordgebruik; focus op narratief en menselijke context (bijv. "slachtoffers", "armoede").
  • Model Rationales: Vergelijkbare lexicaal diversiteit als mensen, maar dichter, meer technisch taalgebruik met focus op mechanismen en kwantitatief bewijs (bijv. "handel", "ILO").
  • Post-hoc Rationales: Lagere lexicaal diversiteit en stopwoordgebruik; hogere concentratie van naamlijke entiteiten en opmaaktokens (bijv. "Reuters", "https://").

Betekenis en Claims
Het artikel stelt dat zelfverklaringen een veelbelovende weg bieden voor interpreteerbaarheid, aangezien ze trouwe token-niveau rationales kunnen produceren die modelvoorspellingen effectief verstoren wanneer ze worden gemaskeerd. De studie benadrukt echter een fundamenteel verschil in verklaringstrategieën: terwijl zelfverklaringen samenhangend bewijs communiceren via natuurlijke taal, benadrukken post-hoc attributiemethoden vaak structurele aanwijzingen.

De auteurs concluderen dat hun werk een "eerste stap" vormt richting het karakteriseren van de betrouwbaarheid van zelfverklaringen in realistische tekstclassificatiesettingen. Zij benadrukken dat zelfverklaringen weliswaar trouw kunnen zijn, maar niet altijd plausibel voor mensen, en vice versa. De studie ondersteunt de noodzaak van rigoureuze evaluatie van zelfverklaringen en suggereert dat toekomstig onderzoek moet verkennen hoe deze bevindingen overdraagbaar zijn naar abstractive vrije-tekstverklaringen en procesgerichte analyses van complexe bewijsintegratie. De auteurs claimen expliciet niet dat zelfverklaringen universeel superieur zijn of dat ze het interpreteerbaarheidsprobleem volledig oplossen; in plaats daarvan presenteren zij hun resultaten als een fundament voor verder onderzoek naar modelbetrouwbaarheid en transparantie.