iBERT: Interpretable Embeddings via Sense Decomposition

Technische Samenvatting: iBERT: Interpreteerbare Embeddings via Sense Decomposition

Probleemstelling
Huidige neurale encoders, zoals SBERT en SimCSE, produceren dichte vectorrepresentaties die uitblinken in semantische retrieval, maar een gebrek aan transparantie vertonen. Deze modellen bieden geen duidelijk mechanisme om te controleren of te interpreteren hoe stijl en betekenis worden gecodeerd, wat hun betrouwbaarheid beperkt in domeinen die representatieve transparantie vereisen, zoals auteursverificatie, toon-gecontroleerde generatie en stilistische moderatie. Bestaande methoden voor interpreteerbaarheid zijn vaak post-hoc (bijv. probing, saliency maps) en worden toegepast op representaties die niet ontworpen zijn voor interpreteerbaarheid, wat resulteert in incomplete of ongetrouwe verklaringen. Bovendien leunt eerdere leerprocessen voor stilistische representatie vaak op proxy-supervisie (bijv. auteursidentiteit), wat resulteert in verstrengelde embeddings waarbij inhoud en stijl onlosmakelijk met elkaar vermengd zijn. De paper stelt de vraag: Kunnen we een encoder ontwerpen waarbij semantische en stilistische representaties expliciet en controleerbaar worden gemaakt binnen de embedding-ruimte door ontwerp, in plaats van via post-hoc analyse?

Methodologie
De auteurs stellen iBERT (interpretable-BERT) voor, een encoder-architectuur die ontworend is om inherent interpreteerbare en controleerbare embeddings te produceren.

• Architectuur: iBERT codeert elke input-token als een ijle, niet-negatieve mengeling over $k$ context-onafhankelijke sense-vectoren. In tegenstelling tot standaard dichte embeddings, deelt dit model token-representaties op in $k$ verschillende "senses" (bijv. $k=8$ in de experimenten).
  • Token Encoding: Een token $x_i$ wordt gemapt naar een standaard embedding, en vervolgens geprojecteerd naar $k$ senses. Een transformer-encoder produceert contextuele staten, die worden geprojecteerd naar sense-specifieke queries en keys om menggewichten ($\alpha_{\ell,i,j}$) te berekenen. De uiteindelijke token-representatie $o_i$ is een convexe mengeling van deze context-onafhankelijke sense-vectoren.
  • Sentence Pooling: Om sentence embeddings te genereren, past het model gestructureerde pooling toe op token-niveau sense-activaties. De paper definieert drie varianten:
    • iBERT-v1 (Mean Pooling): Uniforme middeling van alle token-representaties.
    • iBERT-v2 (Top-Sense Pooling): Identificeert de dominante sense voor een sequentie en behoudt alleen die sense voor alle tokens (harde selectie).
    • iBERT-v3 (Softmax Blend): Interpoleert tussen v1 en v2 met behulp van een temperatuurparameter $\tau$ om de scherpte van de sense-selectie te controleren (zachte blending).
• Trainingspipeline:
  • Fase 0 (MLM Pretraining): iBERT wordt vanaf nul getraind op 5% van de FineWeb-corpus (750B tokens) met behulp van Masked Language Modeling (MLM) om betekenisvolle sense-vectoren te instantiëren. Dit levert een encoder op met 171 miljoen parameters.
  • Fase 1 (Style Representation Learning): Het model wordt gefinetuned met contrastieve triplets ($\langle s, s^+, s^- \rangle$) gericht op stilistische variatie. De trainingsdata bevat synthetische triplets van StyleSynth (Patel et al., 2025) met gecontroleerde lexicale/syntactische variatie en auteur-gelabelde triplets van Wegmann et al. (2022). De InfoNCE-loss wordt gebruikt om gelijkenis tussen stilistisch vergelijkbare inputs te stimuleren en dissimilar inputs uit elkaar te duwen.
• Baselines: Om een eerlijke vergelijking te garanderen, trainen de auteurs een standaard BERT-base model vanaf nul op dezelfde data en finetunen zij dit met dezelfde contrastieve doelstellingen (waardoor BERT-SD, BERT-WG, en BERT-WG+SD ontstaan) om als dichte baselines te dienen.

Belangrijkste Bijdragen

1. iBERT Architectuur: De introductie van een encoder met controleerbare, decomponeerbare representaties die inherent interpreteerbare token- en sentence-embeddings produceren door ontwerp.
2. Prestaties: Demonstratie van sterke prestaties over drie benchmarks (STEL, SoC, en PAN), waarbij tot +8% winst wordt behaald in Style Representation Effectiveness (STEL) ten opzichte van dichte baselines, terwijl competitieve prestaties op auteursverificatie behouden blijven.
3. Nieuwe Interpreteerbaarheid: De mogelijkheid om sense-vectoren te proberen voor specifieke stilistische kenmerken, senses te ableren om attributie te identificeren, en embeddings te editen voor gecontroleerde stijltransfer. De paper benadrukt dat specifieke stijlattributen (bijv. emoji-gebruik, sarcasme, lexicale keuzes) aan specifieke sense-vectoren worden toegewezen.

Resultaten

• STEL (Style Representation Effectiveness): iBERT-modellen presteren significant beter dan de BERT-baselines. Onder directe stilistische supervisie (StyleSynth) behaalde iBERT-v3-1 een STEL van 38,3% (128 tokens), een winst van +6,7 punt ten opzichte van de BERT-baseline. iBERT-v3 varianten (soft blending) presteerden over het algemeen beter dan de hard-selectie iBERT-v2, wat suggereert dat zachte sense-weging de kloof overbrugt tussen uniforme blending en strikte ijltheid.
• SoC (Style-or-Content): iBERT-v3-1 behaalde de hoogste scheidbaarheid van stilistische polariteit (92,8% nauwkeurigheid), wat aantoont dat het model polariteitssensitiviteit kan behouden terwijl de interpreteerbaarheid behouden blijft.
• PAN (Authorship Verification): Als een proxy-stijltaak behaalden iBERT-varianten vergelijkbare of licht betere resultaten dan BERT op 128-token inputs. Echter, op 512-token inputs presteerde BERT iets beter (61,92% vs. 61,07%), waarschijnlijk omdat de nauwe koppeling van semantische en stilistische kenmerken bij BERT meer profiteert van uitgebreide context. iBERT behield competitieve prestaties, zelfs wanneer de supervisie ruisig was (alleen auteuridentiteit), hoewel het meer moeite had dan BERT wanneer stijl en inhoud sterk verstrengeld waren zonder expliciete stijllabels.
• Interpreteerbaarheidsanalyse: Probing onthulde dat individuele senses specialiseren in verschillende stilistische clusters (bijv. Sense $\ell=2$ komt overeen met affectieve toon zoals sarcasme; $\ell=0$ met oppervlakkige markers zoals emoji's). Ablatiestudies bevestigden dat het verwijderen van een stijl-gealigneerde sense de scheidbaarheid van die specifieke stijl drastisch verminderde (tot 66% afstandreductie), terwijl ongerelateerde stijlen minimaal werden beïnvloed, wat de lokaliteit van de edits valideert.

Betekenis en Claims
De paper claimt dat iBERT een verschuiving vertegenwoordigt van post-hoc interpreteerbaarheid naar architecturaal gegronde interpreteerbaarheid. Door ontwerp deelt iBERT discriminerende signalen (of dat nu semantisch of stilistisch is) op in modulaire sense-vectoren.

• Modulariteit: Het model maakt gerichte edits in de embedding-ruimte mogelijk (bijv. het veranderen van formaliteit of het verwijderen van emoji's) zonder ongerelateerde attributen te verstoren, een prestatie die moeilijk is met dichte encoders.
• Generalisatie: Hoewel geëvalueerd op stilistische taken, is iBERT niet beperkt tot stijlmodellering. De structurele modulariteit is ontworpen om welke aanwezige discriminerende signalen in de data ook interpreteerbaar te deconstrueren, wat generalisatie mogelijk maakt zelfs wanneer supervisie semantische en stilistische factoren mengt.
• Trade-offs: De auteurs erkennen een trade-off: de modulaire structuur kan leiden tot lichte prestatiekloven vergeleken met dichte encoders in taken die diepe contextuele integratie vereisen (bijv. langdurige semantische drift). Daarnaast is sense-specialisatie gevoelig voor sequentielengte, en richt het huidige werk zich op het Engels.

De auteurs concluderen dat iBERT een stap is naar embedding-modellen die niet alleen krachtig, maar ook inherent begrijpelijk zijn, en dienen als een levensvatbare ruggengraat voor transparante, modulaire NLP-pipelines.