💬 NLP

HALvest-Contrastive: Retrieval-Like Authorship Attribution with Patch-Level Late Interaction

Dieser Beitrag stellt HALvest vor, ein großes mehrsprachiges Korpus wissenschaftlicher Arbeiten, sowie ein neuartiges Retrieval-Framework für Patch-Level Late Interaction (PLI), das die Genauigkeit der Autorenschaftszuordnung signifikant verbessert, indem es Sequenzen von Token-Patches vergleicht, anstatt Dokumente in einzelne Vektoren zu komprimieren, wodurch thematische Störfaktoren effektiv reduziert werden.

Ursprüngliche Autoren: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francis Kulumba, Wissam Antoun, Guillaume Vimont, Laurent Romary, Florian Cafiero

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, ob zwei verschiedene Bücher von derselben Person geschrieben wurden. Normalerweise ist dies einfach, wenn die Bücher völlig unterschiedliche Themen behandeln (zum Beispiel handelt eines vom Kochen und das andere vom Weltraum). Aber was, wenn beide Bücher über Kochen handeln?

Wenn Sie einen Computer fragen: „Klingen diese beiden Rezepte so, als kämen sie von demselben Koch?", könnte der Computer getäuscht werden. Er könnte einfach „Ja!" sagen, nur weil beide Rezepte Wörter wie Salz, Backofen und backen verwenden. Er verwechselt dabei das Thema (Kochen) mit dem Stil (die einzigartige Handschrift des Kochs).

Diese Arbeit, HALvest-Contrastive, ist wie ein neues, superschlaueres Trainingslager für Computer, um zu lernen, wie man die wahre „Handschrift" eines Autors erkennt, ohne vom Thema abgelenkt zu werden.

Hier ist die Vorgehensweise, aufgeteilt in einfache Teile:

1. Das Problem: Die „Thema-Falle"

In der Vergangenheit haben Computer, die Autoren identifizieren sollten, oft geschummelt. Wenn sie zwei Texte über „KI" sahen, gingen sie davon aus, dass sie von derselben Person geschrieben wurden, weil beide das Wort „Algorithmus" verwendeten.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Stimme Ihres Freundes auf einer lauten Party zu erkennen. Wenn alle über „Fußball" schreien, könnten Sie denken, zwei Personen, die über Fußball schreien, seien Ihr Freund, nur weil sie über dasselbe Thema sprechen. Sie müssen hören, wie sie es sagen, nicht was sie sagen.

2. Die Lösung: Eine spezielle Bibliothek (HALvest)

Die Autoren bauten eine riesige Bibliothek namens HALvest, die 17 Milliarden Wörter aus Open-Access-Wissenschaftlichen Artikeln enthält.

Der Trick: Sie erstellten eine spezielle Version namens HALvest-Contrastive. In dieser Version zwangen sie den Computer, zwei Artikel zu vergleichen, die vom gleichen Autor, aber über unterschiedliche Themen geschrieben wurden.
- Beispiel: Artikel A handelt von „Quantenphysik". Artikel B handelt von „Kunstgeschichte". Beide wurden von Dr. Smith geschrieben.
- Da die Themen völlig unterschiedlich sind, kann der Computer nicht schummeln, indem er nach gemeinsamen Wörtern sucht. Er muss den einzigartigen Stil von Dr. Smith lernen (wie er Kommas verwendet, die Satzlänge oder Übergangswörter), um zu erkennen: „Hey, diese beiden sehr unterschiedlichen Artikel wurden von derselben Person geschrieben!"

3. Die neue Vergleichsmethode: „Late Interaction"

Traditionell würden Computer ein ganzes Dokument nehmen, es zu einer einzigen „Zusammenfassungsnummer" (einem Vektor) zusammendrücken und diese Zahlen vergleichen.

Der alte Weg (Einzelner Vektor): Stellen Sie sich vor, Sie nehmen einen ganzen Roman, quetschen ihn zu einem einzigen Tintentropfen zusammen und vergleichen diesen Tropfen mit einem anderen. Sie verlieren dabei alle Details.
Der neue Weg (Late Interaction): Anstatt das Buch zu quetschen, behält der Computer den „Fingerabdruck" jedes einzelnen Wortes separat. Er betrachtet das erste Wort von Buch A und findet die beste Übereinstimmung in Buch B, dann das zweite Wort und so weiter. Er fasst all diese kleinen Übereinstimmungen zusammen.
- Das Ergebnis: Dies ist wie der Vergleich zweier Bücher Seite für Seite, Wort für Wort, anstatt nur ihre Umschläge zu vergleichen. Es funktionierte viel besser.

4. Die „Patch"-Entdeckung: Den Sweet Spot finden

Die Forscher fragten sich: „Müssen wir jedes einzelne Wort vergleichen, oder können wir sie gruppieren?"

Sie versuchten, Wörter in kleine Häufchen namens Patches zu gruppieren (wie das Zusammenfassen von Wörtern zu kleinen Phrasen).
Die Erkenntnis: Jedes einzelne Wort zu vergleichen ist großartig, aber es ist langsam und verbraucht viel Speicher. Wenn man sie in kleine Patches gruppiert (jeweils etwa 2 bis 4 Wörter), erreicht man fast die gleiche Genauigkeit, ist aber viel schneller.
Die magische Formel: Sie fanden eine einfache Faustregel für die Größe dieser Patches: Nehmen Sie die Quadratwurzel der Gesamtzahl der Wörter, multiplizieren Sie sie mit 0,18, und das ist Ihre Patch-Größe.
- Analogie: Es ist wie das Packen eines Koffers. Wenn Sie eine kleine Reise haben (wenige Wörter), packen Sie kleine Gegenstände einzeln ein. Wenn Sie eine riesige Reise haben (viele Wörter), bündeln Sie Dinge in Kisten. Es gibt eine perfekte „Kistengröße", die Platz spart, ohne etwas Wichtiges zu verlieren.

5. Was sie bewiesen haben

Thema-Entkopplung funktioniert: Als sie die „Thema-Abkürzungen" entfernten, versagten einfache Methoden zur Wortzählung (wie das Suchen nach gemeinsamen Schlüsselwörtern) kläglich. Aber die intelligenten neuronalen Netze funktionierten weiter, was bewies, dass sie tatsächlich den Stil und nicht nur das Thema gelernt hatten.
Stil vs. Bedeutung: Sie zeigten, dass ihr neues System sehr gut darin ist, herauszufinden, wer es geschrieben hat, während Standard-Suchmaschinen (die nach Bedeutung suchen) darin schrecklich sind. Eine Suchmaschine könnte denken, zwei Artikel seien ähnlich, weil beide über „Mathematik" handeln, aber dieses System weiß, dass sie von verschiedenen Personen geschrieben wurden, weil die „Mathematik-Stimme" unterschiedlich ist.
Besser als der alte Weg: Die Verwendung dieser neuen „Patch-Ebene"-Methode verbesserte die Genauigkeit im Vergleich zur alten Methode des „Alles-zu-einer-Zusammenfassungsnummer-Zusammendrückens" erheblich.

Zusammenfassung

Die Arbeit stellt einen neuen Datensatz und eine neue Methode vor, um Computern beizubringen, wie sie den einzigartigen Stil eines Autors erkennen können, selbst wenn dieser über völlig unterschiedliche Themen schreibt. Sie entdeckten, dass das Betrachten kleiner Wortgruppen (Patches) anstatt einzelner Wörter oder ganzer Dokumente die „Goldilocks"-Zone ist – genau richtig für Geschwindigkeit und Genauigkeit.

Wichtiger Hinweis: Die Arbeit konzentriert sich streng auf wissenschaftliche Artikel und Fan-Fiction (zum Testen). Sie behauptet nicht, dass diese Technologie bereit ist, um Menschen auszuspionieren, Spione zu fangen oder für medizinische Zwecke. Es ist rein ein Werkzeug, um zu verstehen, wie Computer lernen können, Schreibstile zu erkennen.

Technische Zusammenfassung: HALvest-Contrastive

Problemstellung

Die Autorenattribution (AA) steht vor einer anhaltenden Herausforderung, die als thematische Verwechslung bekannt ist. Traditionelle statistische und neuronale Ansätze haben oft Schwierigkeiten, zwischen stilistischer Ähnlichkeit und thematischer Überlappung zu unterscheiden; zwei Autoren, die dasselbe Thema behandeln, erscheinen einem Modell häufig ähnlicher als ein einzelner Autor, der zwei verschiedene Themen behandelt. Obwohl neuronale AA-Systeme kontrastives Lernen (z. B. Triplet-Loss) übernommen haben, verlassen sie sich oft darauf, ganze Dokumente durch Mittelwert-Pooling in einzelne Vektoren zu komprimieren, eine Strategie, die von frühen statistischen Methoden übernommen wurde, aber möglicherweise suboptimal für die Erfassung nuancierter stilistischer Signale ist. Darüber hinaus versagen bestehende Benchmarks oft darin, Thema und Autorschaft rigoros zu entkoppeln, was es Modellen ermöglicht, sich auf „thematische Abkürzungen" (Wortschatzüberlappung) zu verlassen, anstatt echte stilistische Verteilungen zu lernen.

Methodik

1. Das HALvest-Korpus und der HALvest-Contrastive-Benchmark

Die Autoren stellen HALvest vor, ein 17-Milliarden-Token umfassendes mehrsprachiges Korpus, das über das HAL-Repository aus 778.000 Open-Access-Wissenschaftlichen Artikeln gewonnen wurde. Daraus leiten sie HALvest-Contrastive ab, einen englischsprachigen Benchmark, der die Entkopplung des Themas erzwingt:

Positive Paare: Anker- und positive Passagen stammen aus unterschiedlichen Artikeln, die vom selben Autoren-Set verfasst wurden, wodurch eine minimale thematische Überlappung bei Beibehaltung der stilistischen Konsistenz sichergestellt wird.
Negative Paare: Negative Beispiele werden aus demselben Fachgebiet, jedoch von unterschiedlichen Autoren-Sets, gewonnen.
Beschriftung: Die Grundwahrheit ist das Autoren-Set (Koautoren) und nicht eine einzelne Person, was der Metadatenstruktur wissenschaftlicher Repositorien entspricht und willkürliche Heuristiken für einzelne Autoren vermeidet.
Spannenlängen: Der Datensatz unterstützt variable Spannenlängen ( $k \in \{2, 4, 6, 8, 10\}$ Sätze), um zu evaluieren, wie sich stilistische Signale mit der Textlänge skalieren.

2. Eine suchmaschinenähnliche Architektur für AA

Der Artikel wendet das „Suchmaschinen-Spielbuch" auf die Autorenattribution an und weicht vom Standard-Triplet-Loss und dem Single-Vektor-Pooling ab:

Verlustfunktion: Die Autoren verwenden InfoNCE (Noise Contrastive Estimation) anstelle von Triplet-Loss. InfoNCE nutzt große negative Pools innerhalb des Batches, was Gradienten natürlich auf harte negative Beispiele (thematisch ähnliche, aber von verschiedenen Autoren verfasste Dokumente) konzentriert und zur Entkorrelation von Stil und Thema beiträgt.
Interaktionsgranularität: Der Artikel untersucht drei Bewertungsmodi:
1. Single-Vector-Pooling: Standard-Mittelwert-Pooling von Token-Embeddings gefolgt von kosinischer Ähnlichkeit.
2. Late Interaction (LI): Dokumente werden als vollständige Sequenzen von Token-Vektoren dargestellt. Die Bewertung verwendet MaxSim (Summe der maximalen kosinischen Ähnlichkeiten zwischen Query- und Dokument-Token), eine Technik, die in der dichten Suche üblich ist (z. B. ColBERT).
3. Patch-Level Late Interaction (PLI): Token-Vektoren werden in zusammenhängende Patches gruppiert (entweder feste $n$ -Gramme oder ganze Wörter), zu einzelnen Patch-Vektoren gepoolt und dann auf Patch-Ebene via MaxSim abgeglichen. Dies reduziert Speicher- und Rechenkosten bei Beibehaltung der Interaktionsgranularität.

Hauptbeiträge

HALvest und HALvest-Contrastive: Die Veröffentlichung eines groß angelegten, mehrsprachigen wissenschaftlichen Korpus und eines rigoros konstruierten englischen Benchmarks, der die thematische Überlappung zwischen Paaren desselben Autors minimiert und ein strengeres Evaluierungsprotokoll für die Stilometrie bietet.
Empirische Validierung der thematischen Entkopplung: Die Autoren zeigen, dass lexikalische Baseline-Modelle (z. B. BM25) bei Entfernung thematischer Abkürzungen erhebliche Leistungseinbußen erleiden, während neuronale kontrastive Modelle ihre Genauigkeit beibehalten. Dies bestätigt, dass der Benchmark stilistische Signale erfolgreich isoliert.
Granularitätsstudie: Ein systematischer Vergleich von Pooling-Strategien zeigt, dass Late Interaction Single-Vector-Pooling signifikant übertrifft. Entscheidend führt die Einführung von Patch-Level Late Interaction (PLI) dazu, dass das Gruppieren von Tokens in Patches eine vergleichbare oder leicht bessere Genauigkeit als die Interaktion auf Token-Ebene bei gleichzeitiger Reduzierung der Vektoranzahl erzielt.
Empirische Patch-Größen-Anpassung: Die Autoren identifizieren eine praktische Heuristik für die optimale Patch-Größe $n^*$ relativ zur Token-Anzahl $S$ : $n^* \approx 0.18 \cdot \sqrt{S}$ . Dies legt nahe, dass sich die optimale Interaktionsgranularität sublinear mit der Dokumentenlänge skaliert.

Ergebnisse

Thematische Entkopplung: Auf der „Base"-Konfiguration (eingeschränkt) sinkt die BM25-Genauigkeit im Vergleich zur „Unrestricted"-Konfiguration um etwa 11 Prozentpunkte, während neuronale Modelle (RoBERTa) Robustheit zeigen, was darauf hindeutet, dass sie Signale jenseits der lexikalischen Überlappung lernen.
Leistungssteigerungen: Late Interaction (LI) und PLI-Varianten übertreffen das Mittelwert-Pooling bei allen Metriken (Recall@k, nDCG@k) und Spannenlängen konsistent. Der Gewinn beträgt etwa 20 % gegenüber dem Mittelwert-Pooling, wenn der Encoder festgehalten und der Scorer ausgetauscht wird.
Granularitätskompromisse: Während die Token-Level-LI wettbewerbsfähig ist, entspricht die feste PLI-Richtlinie (insbesondere $n$ -Gramm-Varianten) oft der Token-Level-Leistung oder übertrifft sie leicht bei geringerem Rechenaufwand. Die optimale $n$ variiert je nach Spannenlänge, folgt jedoch dem $\sqrt{S}$ -Trend.
Domänenübergreifende Generalisierung: Auf dem PAN19-Fan-Fiction-Datensatz erzielen auf HALvest-Contrastive trainierte Modelle eine starke Zero-Shot-Triplet-Genauigkeit (0,740), was darauf hindeutet, dass die gelernten Darstellungen den Autorenstil und nicht nur den akademischen Register oder das Thema erfassen.
Skalierung negativer Beispiele: Die Erhöhung der Größe des negativen Pools innerhalb des Batches (von 256 auf 512) führt zu konsistenten, wenn auch kleinen Verbesserungen, was mit Erkenntnissen aus der Informationsretrieval-Literatur übereinstimmt.

Bedeutung und Behauptungen

Der Artikel argumentiert, dass wissenschaftliche Prosa aufgrund ihres niedrig-entropischen, standardisierten Charakters ein ideales Testfeld für Stilometrie ist, da stilistische Residuen leichter von thematischem Rauschen zu isolieren sind. Durch die Anwendung von Retrieval-Techniken (InfoNCE und Late Interaction) auf AA zeigen die Autoren, dass:

AA sich von semantischem Retrieval unterscheidet: Feinabgestimmte stilistische Modelle trennen Paare desselben Autors effektiv, während semantische Encoder (wie E5) trotz hoher semantischer Ähnlichkeit die Autorschaft nicht unterscheiden können.
Granularität wichtig ist: Das „Suchmaschinen-Spielbuch" lässt sich weitgehend auf AA übertragen, aber die optimale Interaktionsgranularität ist subtil. Das Matching auf Token-Ebene ist nicht durchgängig überlegen; das Patching bietet eine rechen-effiziente Alternative, die die Leistung bewahrt.
Praktischer Nutzen: Die abgeleitete Formel $n^* \approx 0.18 \cdot \sqrt{S}$ bietet Praktikern, die AA-Systeme entwerfen, einen praktischen Ausgangspunkt, um Genauigkeit gegen Speicher- und Inferenzkosten abzuwägen.

Die Autoren kommen zu dem Schluss, dass das Retrieval-Paradigma zwar die AA-Leistung verbessert, die spezifische Wahl der Interaktionsgranularität (Patches vs. Tokens) jedoch eine kritische Designentscheidung ist, die sich von Standardaufgaben des semantischen Retrievals unterscheidet. Die Arbeit stellt Open-Source-Code, Skripte zur Korpuskonstruktion und den Datensatz selbst zur Verfügung, um zukünftige Forschung zu erleichtern.