💬 NLP

Where Does Authorship Signal Emerge in Encoder-Based Language Models?

Dit artikel toont aan dat, hoewel stilistische auteurschapskenmerken op alle lagen van encoder-gebaseerde modellen beschikbaar zijn, de keuze voor het scoringsmechanisme (gemiddelde pooling versus late interactie) causaal bepaalt op welke specifieke laag het model deze signalen consolideert, waardoor aanzienlijke prestatieverschillen tussen anderszins identieke modellen worden verklaard.

Oorspronkelijke auteurs: Francis Kulumba, Guillaume Vimont, Laurent Romary, Florian Cafiero

Gepubliceerd 2026-05-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francis Kulumba, Guillaume Vimont, Laurent Romary, Florian Cafiero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team van expert-detectives hebt (de encoder) die zeer goed zijn in het lezen van boeken en subtiele details opmerken, zoals zinslengte, leestekengewoonten en favoriete woorden. Deze detectives kunnen vaststellen wie een tekst heeft geschreven door enkel naar deze aanwijzingen te kijken.

Stel je nu twee verschillende manieren voor om deze detectives om hun eindoordeel te vragen:

De "Samenvatting"-methode (Mean Pooling): Je vraagt de detectives om één korte samenvattende zin te schrijven die het hele boek weergeeft. Vervolgens vergelijk je deze samenvattende zinnen om te bepalen of de boeken door dezelfde persoon zijn geschreven.
De "Steekproef"-methode (Late Interaction): In plaats van om een samenvatting te vragen, vraag je de detectives om specifieke zinnen of woorden in Boek A te bekijken en de meest vergelijkbare zin of het meest vergelijkbare woord in Boek B te vinden. Je laat hen de details direct, stuk voor stuk, vergelijken.

De Grote Verrassing
Het artikel onthult een schokkend feit: hoewel de detectives (het AI-model) exact hetzelfde zijn en getraind zijn op exact dezelfde boeken, is de "Steekproef"-methode vier keer beter in het oplossen van het mysterie dan de "Samenvatting"-methode.

Waarom? De auteurs wilden weten: Maakt de Samenvatting-methode de detectives tijdens het trainen "dommer" of "vergeetachtig"?

Het Onderzoek: Wat het Artikel Vond

1. De Aanwijzingen Zijn Altijd Aanwezig (Beschikbaarheid van Kenmerken)
De onderzoekers gebruikten een speciaal hulpmiddel (zoals een vergrootglas) om te controleren of de detectives de aanwijzingen (woordlengte, leestekens, enz.) daadwerkelijk zagen in elke fase van hun denkproces.

Het Resultaat: Ze ontdekten dat beide methoden de aanwijzingen perfect zagen. De "Samenvatting"-detectives misten niets. De aanwijzingen waren beschikbaar in de eerste laag, de middelste laag en de laatste laag. Het probleem was niet dat de detectives faalden om de aanwijzingen te leren; het was dat de "Samenvatting"-methode hen dwong de details te vroeg weg te gooien.

2. De Bottleneck: Wanneer Beslissen? (Consolidatie)
Dit is de kernontdekking. De manier waarop je om het antwoord vraagt, verandert wanneer de detective een beslissing moet nemen.

De "Samenvatting"-methode: Omdat je één zin nodig hebt om het hele boek samen te vatten, wordt de detective gedwongen om alle informatie zeer vroeg in het proces (rond het midden van het boek) in die ene zin te comprimeren. Ze moeten stoppen met het bekijken van de fijne details en zich te vroeg richten op het "grote plaatje". Het is alsof je probeert een complex schilderij te beschrijven door alleen naar het midden te kijken en de randen te negeren.
De "Steekproef"-methode: Omdat je specifieke woorden direct kunt vergelijken, hoeft de detective niet alles vroeg te comprimeren. Ze kunnen blijven kijken naar de fijne details tot aan het allerlaatste moment van het boek. Ze nemen pas op het allerlaatste mogelijke moment hun definitieve beslissing, gebruikmakend van de meest verfijnde, gedetailleerde informatie die beschikbaar is.

3. De Trainingsreis
Het artikel observeerde ook hoe de detectives in de loop van de tijd leerden:

De "Samenvatting"-detectives leerden van boven naar beneden. Ze begonnen met het proberen om het "grote plaatje" direct goed te krijgen, en probeerden vervolgens langzaam de details in de middelste lagen te corrigeren.
De "Steekproef"-detectives volgden een ander pad. In het begin probeerden ze te valsspelen door simpele, oppervlakkige woorden te matchen (zoals "de" of "en"). Maar naarmate de training moeilijker werd, beseften ze dat dit niet genoeg was. Ze leerden om die gemakkelijke shortcuts te negeren en begonnen diep te graven in de complexe, abstracte lagen van de tekst om de echte schrijfstijl van de auteur te vinden.

De Eenvoudige Analogie
Denk eraan als het inpakken van een koffer voor een reis:

Mean Pooling is alsof je wordt verteld: "Je kunt alles alleen in één klein doosje passen." Je moet je kleding verpletteren en direct je schoenen weggooien omdat je weet dat het doosje klein is. Je verliest veel informatie.
Late Interaction is alsof je wordt verteld: "Je kunt een enorme koffer inpakken, maar je moet me precies laten zien welke sokken bij welk overhemd passen wanneer je op het vliegveld aankomt." Je kunt al je kleding gescheiden en georganiseerd houden tot het allerlaatste moment. Je verliest niets.

De Conclusie
Het artikel concludeert dat de "Samenvatting"-methode niet faalt omdat de AI slecht is in het leren. Het faalt omdat de regels van het spel (hoe we om het antwoord vragen) de AI dwingen haar beste aanwijzingen te vroeg weg te gooien. De "Steekproef"-methode wint omdat het de AI toestaat al haar gedetailleerde aanwijzingen vast te houden tot het allerlaatste moment van oordelen.

Technische Samenvatting: Waar Ontstaat het Auteurssignaal in Encoder-gebaseerde Taalmodellen?

Probleemstelling

Systeemen voor auteursattributie (AA) maken doorgaans gebruik van een contrastief leerparadigma waarbij een vooraf getrainde tekstencoder representaties voor passages genereert en een scoringsfunctie deze representaties vergelijkt om auteursgelijkheid te bepalen. Recent werk (Kulumba et al., 2025) onthulde een opvallend raadsel: modellen die zijn fijngefineerd met dezelfde vooraf getrainde encoder, trainingsdata en contrastief verlies, kunnen een prestatiekloof van vier keer vertonen, uitsluitend gebaseerd op hun scoringsmechanisme. Specifiek presteren modellen die mean pooling gebruiken (het middelen van token-embeddings tot een enkel vector) significant slechter dan die welke Late Interaction (LI) gebruiken (het direct vergelijken van token-vectoren via MaxSim).

De centrale vraag die dit artikel adresseert, is de bron van deze discrepantie. Twee hypothesen werden overwogen:

Representatieleer-hypothese: Verschillende scoringsmechanismen zorgen ervoor dat de encoder tijdens het fijnfinen fundamenteel verschillende interne representaties leert.
Readout-hypothese: De encoder leert vergelijkbare representaties, ongeacht de scorer, en de prestatiekloof ontstaat door hoe die representaties bij inferentie worden uitgelezen (gescoord).

Methodologie

De auteurs maken gebruik van mechanistische interpretabiliteitstools om te onderscheiden tussen feature beschikbaarheid (of informatie aanwezig is in de verborgen toestanden) en feature gebruik (of het scoringsmechanisme causaal afhankelijk is van die informatie). De studie maakt gebruik van de volgende experimentele opstelling en tools:

Modellen: Drie fijngefineerde modellen die een ModernBERT-base-ruggengraat delen (23 lagen, 149M parameters) werden getraind op het HALvest-Contrastive-corpus (een wetenschappelijk corpus waarbij het onderwerp is gedecorreleerd van auteurschap). De modellen verschilden alleen in hun scoringsmechanisme:
- Layerwise (Mean Pooling): Gemiddelde token-embeddings vóór het scoren.
- Late Interaction (LI): Gebruikt token-niveau MaxSim.
- Patch-Level Late Interaction (PLI): Een hybride die bigram-patches gebruikt met MaxSim.
- Een controlemodel (E5, zero-shot) was opgenomen.
Probe Set: Een gecureerde set van 148 tripletten (anker, positief, negatief) met gecontroleerde tokenlengtes (doel 130) en gestratificeerd op moeilijkheidsgraad (Tier A: disjuncte auteurs; Tier B: gedeeltelijke auteursoverlap; Tier C: cross-domein).
Analysetools:
1. LISA Probes: Lineaire regressieprobes getraind op elk van de 23 encoderlagen om de lineaire leesbaarheid van stilistische features te meten (bijv. woordlengte, leestekendichtheid, frequentie van functiewoorden).
2. Residual Stream Patching: Een causale interventie waarbij verborgen toestanden van een "corrupte" (negatieve) passage worden vervangen door die van een "schone" (positieve) passage op specifieke lagen. Rank recovery meet of het model na deze interventie de positieve correct boven de negatieve rangschikt, waarmee de laag wordt geïdentificeerd waar het auteurschapssignaal causaal noodzakelijk wordt.
3. Score Sensitivity: Meet de absolute verandering in de scoringsoutput wanneer de activaties van een enkele laag worden hersteld.
4. Trainingsdynamiek: Patching-analyse toegepast over acht trainingscheckpoints om de evolutie van signaalconsolidatie te observeren.

Belangrijkste Resultaten

1. Feature Beschikbaarheid is Invariant

LISA probe-resultaten (Figuur 3) tonen aan dat stilistische features lineair leesbaar zijn vanuit de verborgen toestanden van alle modellen (Mean Pooling, LI, PLI en de controlegroep E5) op alle lagen met bijna identieke $R^2$ -scores.

Implicatie: De vooraf getrainde ruggengraat codeert stilistische features al. Contrastief fijnfinen creëert geen nieuwe stilistische representaties, noch dwingen verschillende scorers de encoder om verschillende representaties te leren. Dit weerlegt de Representatieleer-hypothese.

2. Causaal Patching Onthult een Scoringsafhankelijk Diepteprofiel

Rank recovery-curves (Figuur 4) tonen een distinct "consolidatiepunt" waar het vermogen van het model om de juiste rangschikking te herstellen afhankelijk is van het scoringsmechanisme:

Mean Pooling: Signaalconsolidatie vindt vroeg plaats. Rank recovery kruist de kans-baseline op laag 9 en bereikt bijna perfecte recovery tegen laag 13.
Late Interaction (LI) & PLI: Signaalconsolidatie wordt uitgesteld. Rank recovery blijft onder de kans tot lagen 14–16 en bereikt hoge recovery pas in de laatste lagen.
Kloof: Er is een consistente 6-lagenkloof in de diepte waarop het auteurschapssignaal causaal noodzakelijk wordt.

3. Gradiëntstructuur en Informatieverlies

Het artikel leidt een theoretische verklaring af op basis van gradiëntverdeling:

Mean Pooling: Produceert een dichte, uniforme gradiënt over alle tokens. Dit dwingt de encoder om alle auteurschap-relevante informatie vroeg in het netwerk te comprimeren tot een enkel vector om het middelpercentage te overleven. Dit creëert een "consolidatiebottleneck" en leidt tot informatieverlies (Data Processing Inequality), aangezien permutatie-invariant middelen de positionele structuur weggooit.
Late Interaction: Produceert een spaarzame, selectieve gradiënt (alleen tokens geselecteerd door argmax ontvangen updates). Dit stelt de encoder in staat om per-token structuur te behouden en consolidatie uit te stellen naar diepere, meer abstracte lagen.

4. Trainingsdynamiek

Analyse van trainingscheckpoints (Figuur 6) onthult distincte leertrajecten:

Mean Pooling: Leert top-down. Het model vertrouwt aanvankelijk op bovenste lagen, en het consolidatiepunt migreert omlaag (van laag 15 naar laag 9) naarmate de training vordert, waarbij progressief diepere lagen worden gerekruteerd om de vroege consolidatiebottleneck te bevredigen.
Late Interaction: Toont een transiënte vroege-lagenpiek (lagen 5–10) bij tussentijdse trainingsstappen, waarbij het oppervlakkige lexicaal matches exploiteert. Naarmate de training doorgaat en negatieven moeilijker worden, onderdrukt het model deze shortcut en verschuift het vertrouwen naar diepere lagen (19+).
PLI: Toont een geleidelijke opkomst zonder de vroege piek, met een unieke middenlagen-hump (lagen 10–15) in de laatste checkpoint.

Betekenis en Claims

Het artikel claimt het raadsel van de viervoudige prestatiekloof in auteursattributie op te lossen door aan te tonen dat de bottleneck niet ligt in wat de encoder leert, maar in hoe de scorer het uitleest.

Dissociatie van Beschikbaarheid en Gebruik: De studie levert empirisch bewijs dat hoge feature-beschikbaarheid (probing-accuraatheid) een slechte proxy is voor taakprestaties wanneer scoringsmechanismen verschillen. Alle modellen bezitten de nodige stilistische features; het verschil ligt in de causale noodzaak van die features op specifieke dieptes.
Mechanisme van Falen: Mean pooling dwingt vroege signaalconsolidatie af, wat fijne stilistische informatie (zoals woordvolgorde en specifieke token-interacties) vernietigt die nodig is voor hoogpresterende AA. Late interaction behoudt deze granulariteit door het model toe te staan diepere, meer gecontextualiseerde representaties te benutten.
Theoretische Bijdrage: Het werk koppelt de gradiëntstructuur van de scoringsfunctie (dicht versus spaarzaam) direct aan de diepte van signaalconsolidatie in de encoder, en biedt een mechanistische verklaring voor interactiegebaseerde systemen die consequent beter presteren dan gepoolde representaties in AA-taken.

De auteurs concluderen dat de primaire beperking in contrastieve auteursattributie niet het vermogen van de encoder is om stijl te coderen, maar het vermogen van het scoringsmechanisme om die stijl te behouden en te exploiteren zonder voortijdige compressie.