💬 NLP

HALvest-Contrastive: Retrieval-Like Authorship Attribution with Patch-Level Late Interaction

Dit artikel introduceert HALvest, een groot meertalig corpus van wetenschappelijke papers, en een nieuw PLI-retrievalkader op patch-niveau (PLI) dat de nauwkeurigheid van auteursattributie aanzienlijk verbetert door sequenties van token-patches te vergelijken in plaats van documenten te comprimeren tot enkele vectoren, waardoor thematische verwarringen effectief worden gemitigeerd.

Oorspronkelijke auteurs: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

Gepubliceerd 2026-05-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken of twee verschillende boeken door dezelfde persoon zijn geschreven. Meestal is dit makkelijk als de boeken over totaal verschillende dingen gaan (zoals het ene over koken en het andere over ruimte). Maar wat als beide boeken over koken gaan?

Als je een computer vraagt: "Klinken deze twee recepten alsof ze van dezelfde chef komen?", kan de computer in de war raken. Hij kan "Ja!" zeggen, alleen maar omdat beide recepten woorden gebruiken zoals zout, oven en bakken. Hij verwart dan het onderwerp (koken) met de stijl (het unieke handschrift van de chef).

Dit artikel, HALvest-Contrastive, is als een nieuwe, super-slimme trainingskamp voor computers om te leren hoe ze het echte "handschrift" van een schrijver kunnen herkennen, zonder afgeleid te worden door het onderwerp.

Hier is hoe ze het deden, opgesplitst in eenvoudige onderdelen:

1. Het Probleem: De "Onderwerpvalstrik"

In het verleden probeerden computers die auteurs wilden identificeren vaak te valsspelen. Als ze twee teksten over "AI" zagen, gingen ze ervan uit dat ze door dezelfde persoon waren geschreven omdat ze beide het woord "algoritme" gebruikten.

De Analogie: Stel je voor dat je probeert de stem van je vriend te herkennen op een druk feest. Als iedereen schreeuwt over "voetbal", denk je misschien dat twee mensen die over voetbal schreeuwen je vriend zijn, alleen maar omdat ze over hetzelfde praten. Je moet horen hoe ze het zeggen, niet waarover ze het hebben.

2. De Oplossing: Een Speciale Bibliotheek (HALvest)

De auteurs bouwden een enorme bibliotheek genaamd HALvest met 17 miljard woorden uit open-access academische papers.

De Truc: Ze creëerden een speciale versie genaamd HALvest-Contrastive. In deze versie dwongen ze de computer om twee papers te vergelijken die door dezelfde auteur waren geschreven, maar over verschillende onderwerpen.
- Voorbeeld: Paper A gaat over "Kwantumfysica". Paper B gaat over "Geschiedenis van de Kunst". Beide zijn geschreven door Dr. Smith.
- Omdat de onderwerpen totaal verschillend zijn, kan de computer niet valsspelen door te zoeken naar gedeelde woorden. Hij moet de unieke stijl van Dr. Smith leren (hoe ze komma's gebruiken, zinslengte of overgangsworden) om te beseffen: "Hé, deze twee heel verschillende papers zijn door dezelfde persoon geschreven!"

3. De Nieuwe Manier van Vergelijken: "Late Interaction"

Traditioneel zouden computers een heel document nemen, het samendrukken tot één enkel "samenvattingsgetal" (een vector), en die getallen met elkaar vergelijken.

De Oude Manier (Enkele Vector): Stel je voor dat je een hele roman neemt, het tot één druppel inkt samendrukt, en die druppel vergelijkt met een andere druppel. Je verliest dan alle details.
De Nieuwe Manier (Late Interaction): In plaats van het boek te samendrukken, houdt de computer de "vingerafdruk" van elk enkel woord apart. Hij kijkt naar het eerste woord van Boek A en zoekt de beste match in Boek B, dan het tweede woord, en zo verder. Hij telt al deze kleine matches op.
- Het Resultaat: Dit is als twee boeken pagina-voor-pagina, woord-voor-woord vergelijken, in plaats van alleen hun omslagen te vergelijken. Het werkte veel beter.

4. De "Patch"-Ontdekking: De Zoete Vlek Vinden

De onderzoekers vroegen zich af: "Moeten we elk enkel woord vergelijken, of kunnen we ze groeperen?"

Ze probeerden woorden te groeperen in kleine stukjes genaamd patches (zoals het groeperen van woorden in kleine zinsdelen).
De Bevinding: Het vergelijken van elk enkel woord is geweldig, maar het is traag en gebruikt veel geheugen. Het groeperen ervan in kleine patches (ongeveer 2 tot 4 woorden tegelijk) gaf bijna dezelfde nauwkeurigheid, maar was veel sneller.
De Magische Formule: Ze vonden een eenvoudige vuistregel voor hoe groot deze patches moeten zijn: Neem de vierkantswortel van het totale aantal woorden, vermenigvuldig met 0,18, en dat is je patchgrootte.
- Analogie: Het is als het inpakken van een koffer. Als je een kleine reis hebt (weinig woorden), pak je kleine items individueel in. Als je een enorme reis hebt (veel woorden), bundel je dingen in dozen. Er is een perfecte "doosgrootte" die ruimte bespaart zonder iets belangrijks te verliezen.

5. Wat Ze Bewezen

Onderwerp-Decoupling Werkt: Toen ze de "onderwerp-snelwegen" verwijderden, faalden simpele woordtelmethode (zoals het zoeken naar gemeenschappelijke sleutelwoorden) volledig. Maar de slimme neurale netwerken bleven werken, wat bewees dat ze eigenlijk de stijl hadden geleerd, niet alleen het onderwerp.
Stijl versus Betekenis: Ze toonden aan dat hun nieuwe systeem zeer goed is in het opsporen van wie het heeft geschreven, terwijl standaardzoekmachines (die kijken naar betekenis) hier slecht in zijn. Een zoekmachine kan denken dat twee papers vergelijkbaar zijn omdat ze beide over "wiskunde" gaan, maar dit systeem weet dat ze door verschillende mensen zijn geschreven omdat de "wiskundestem" anders is.
Beter dan de Oude Manier: Het gebruik van deze nieuwe "patch-niveau" methode verbeterde de nauwkeurigheid aanzienlijk in vergelijking met de oude "alles-samendrukken-tot-één-getal" methode.

Samenvatting

Het artikel introduceert een nieuwe dataset en een nieuwe methode om computers te leren hoe ze de unieke stijl van een schrijver kunnen herkennen, zelfs als ze over volledig verschillende onderwerpen schrijven. Ze ontdekten dat het kijken naar kleine groepen woorden (patches) in plaats van enkele woorden of hele documenten de "Goudlokjes"-zone is—precies goed voor snelheid en nauwkeurigheid.

Belangrijke Opmerking: Het artikel richt zich strikt op academische papers en fanfiction (voor testen). Het claimt niet dat deze technologie klaar is om mensen te bespioneren, spionnen te vangen of medische toepassingen. Het is puur een hulpmiddel om te begrijpen hoe computers kunnen leren om schrijfstijlen te herkennen.

Technische Samenvatting: HALvest-Contrastive

Probleemstelling

Auteurherkenning (AA) staat voor een aanhoudende uitdaging die bekendstaat als thematische verwarring. Traditionele statistische en neurale benaderingen worstelen vaak met het onderscheid tussen stilistische gelijkenis en thematische overlapping; twee schrijvers die over hetzelfde onderwerp schrijven, lijken voor een model vaak meer op elkaar dan één schrijver die over twee verschillende onderwerpen schrijft. Hoewel neurale AA-systemen contrastief leren hebben overgenomen (bijvoorbeeld triplet-verlies), vertrouwen ze vaak op het comprimeren van volledige documenten tot enkele vectoren via gemiddelde pooling, een strategie die is overgenomen van vroege statistische methoden maar potentieel suboptimaal is voor het vastleggen van genuanceerde stilistische signalen. Bovendien slagen bestaande benchmarks er vaak niet in om thematiek en auteurschap rigoureus te ontkoppelen, waardoor modellen kunnen vertrouwen op "thematische shortcuts" (woordenschat-overlapping) in plaats van echte stilistische distributies te leren.

Methodologie

1. Het HALvest-gecorpus en de HALvest-Contrastive-benchmark

De auteurs introduceren HALvest, een meertalig corpus van 17 miljard tokens, verzameld uit 778.000 open-access wetenschappelijke papers via het HAL-repository. Hieruit leiden ze HALvest-Contrastive af, een Engelstalige benchmark die is ontworpen om thematische ontkoppeling af te dwingen:

Positieve paren: Anker- en positieve passages worden gehaald uit verschillende papers geschreven door dezelfde auteursset, waardoor minimale thematische overlapping wordt gegarandeerd terwijl de stilistische consistentie behouden blijft.
Negatieve paren: Negatieven worden gemined uit hetzelfde vakgebied, maar door verschillende auteurssets.
Labeling: De grondwahrheid is de auteursset (co-auteurs) in plaats van een enkel individu, wat de metadata-structuur van wetenschappelijke repositories weerspiegelt en willekeurige heuristieken voor één auteur vermijdt.
Spanlengtes: Het dataset ondersteunt variabele spanlengtes ( $k \in \{2, 4, 6, 8, 10\}$ zinnen) om te evalueren hoe stilistische signalen schalen met de tekstlengte.

2. Een zoekopdracht-achtige architectuur voor AA

Het artikel past het "zoekopdracht-spelboek" toe op auteurherkenning, en beweegt weg van standaard triplet-verlies en enkele-vectoren pooling:

Verliesfunctie: De auteurs hanteren InfoNCE (Noise Contrastive Estimation) in plaats van triplet-verlies. InfoNCE maakt gebruik van grote negatieve pools binnen een batch, wat gradiënten op natuurlijke wijze concentreert op moeilijke negatieven (thematisch vergelijkbare documenten van verschillende auteurs), wat helpt bij het decorreleren van stijl van thematiek.
Interactiekorrel: Het artikel onderzoekt drie scoringsmodi:
1. Enkele-vectoren pooling: Standaard gemiddelde pooling van token-embeddings gevolgd door cosinus-相似heid.
2. Late Interaction (LI): Documenten worden weergegeven als volledige sequenties van token-vectoren. Scoringsgebruik maakt gebruik van MaxSim (som van de maximale cosinus-相似heden tussen query- en documenttokens), een techniek die gebruikelijk is in dichte zoekopdrachten (bijvoorbeeld ColBERT).
3. Patch-level Late Interaction (PLI): Token-vectoren worden gegroepeerd in aaneengesloten patches (ofwel vaste $n$ -grams of hele woorden), gepoold tot enkele patch-vectoren, en vervolgens gematcht via MaxSim op patch-niveau. Dit verlaagt opslag- en rekentkosten terwijl de interactiekorrel behouden blijft.

Belangrijkste bijdragen

HALvest en HALvest-Contrastive: De release van een groot, meertalig wetenschappelijk corpus en een rigoureus geconstrueerde Engelstalige benchmark die thematische overlapping tussen paren van dezelfde auteur minimaliseert, waardoor een strengere evaluatieprotocol voor stylometrie wordt geboden.
Empirische validatie van thematische ontkoppeling: De auteurs tonen aan dat lexische baselines (bijvoorbeeld BM25) aanzienlijke prestatiedalingen ondergaan wanneer thematische shortcuts worden verwijderd, terwijl neurale contrastieve modellen hun nauwkeurigheid behouden. Dit bevestigt dat de benchmark stilistische signalen succesvol isoleert.
Korrelstudie: Een systematische vergelijking van pooling-strategieën toont aan dat Late Interaction aanzienlijk beter presteert dan enkele-vectoren pooling. Cruciaal introduceert het artikel Patch-Level Late Interaction (PLI), waarbij wordt aangetoond dat het groeperen van tokens in patches vergelijkbare of iets betere nauwkeurigheid oplevert dan volledige interactie op token-niveau, terwijl het aantal vectoren wordt verminderd.
Empirische patch-grootte fit: De auteurs identificeren een praktische heuristiek voor de optimale patch-grootte $n^*$ ten opzichte van het token-aantal $S$ : $n^* \approx 0,18 \cdot \sqrt{S}$ . Dit suggereert dat de optimale interactiekorrel sub-lineair schaalt met de documentlengte.

Resultaten

Thematische ontkoppeling: Op de "Base" (beperkte) configuratie daalt de BM25-nauwkeurigheid met ongeveer 11 procentpunten ten opzichte van de "Unrestricted" configuratie, terwijl neurale modellen (RoBERTa) robuustheid tonen, wat aangeeft dat ze signalen leren die verder gaan dan lexische overlapping.
Prestatiewinst: Late Interaction (LI) en PLI-varianten presteren consistent beter dan gemiddelde pooling over alle metrieken (Recall@k, nDCG@k) en spanlengtes. De winst is ongeveer 20% ten opzichte van gemiddelde pooling wanneer de encoder vastgehouden wordt en de scorer wordt vervangen.
Korreltrade-offs: Hoewel token-level LI concurrerend is, komt vaste-beleid PLI (specifiek $n$ -gram-varianten) vaak overeen met of overtreft de prestaties op token-niveau lichtjes met lagere rekentkosten. De optimale $n$ varieert per spanlengte, maar volgt de $\sqrt{S}$ -trend.
Cross-domein generalisatie: Modellen getraind op HALvest-Contrastive bereiken sterke zero-shot triplet-nauwkeurigheid (0,740) op het PAN19-fanfiction-dataset, wat suggereert dat de geleerde representaties auteursstijl vastleggen in plaats van alleen academisch register of thematiek.
Schalen van negatieven: Het vergroten van de grootte van de negatieve pool binnen een batch (van 256 naar 512) levert consistente, zij het kleine, verbeteringen op, in lijn met bevindingen in de literatuur over informatiewinning.

Betekenis en claims

Het artikel betoogt dat wetenschappelijke proza een ideale testomgeving is voor stylometrie vanwege de lage entropie en gestandaardiseerde aard, waardoor stilistische residuen makkelijker te isoleren zijn van thematische ruis. Door zoekopdrachttechnieken (InfoNCE en Late Interaction) toe te passen op AA, tonen de auteurs aan dat:

AA verschilt van semantische zoekopdrachten: Fijn afgestemde stilistische modellen scheiden paren van dezelfde auteur effectief, terwijl semantische encoders (zoals E5) erin falen om auteurschap te onderscheiden ondanks hoge semantische gelijkenis.
Korreltelt: Het "zoekopdracht-spelboek" is grotendeels overdraagbaar naar AA, maar de optimale interactiekorrel is subtiel. Matching op token-niveau is niet uniform superieur; patchen biedt een rekenefficiënt alternatief dat de prestaties behoudt.
Praktisch nut: De afgeleide formule $n^* \approx 0,18 \cdot \sqrt{S}$ biedt een praktisch startpunt voor practitioners die AA-systemen ontwerpen, waarbij nauwkeurigheid in evenwicht wordt gebracht met opslag- en inferentiekosten.

De auteurs concluderen dat hoewel het zoekopdracht-paradigma de AA-prestaties verbetert, de specifieke keuze van interactiekorrel (patches versus tokens) een kritieke ontwerpkies is die verschilt van standaard semantische zoekopdrachttaken. Het werk biedt open-source code, scripts voor corpusconstructie en het dataset zelf om toekomstig onderzoek te faciliteren.