When Writing Style Drifts: Benchmarking Authorship Verification under Distribution Shifts in Genre, Time and the AI-Era
Dieses Paper stellt AVShift vor, den ersten deutschen Benchmark zur systematischen Evaluierung der Autorenschaftsverifizierung unter Verteilungsverschiebungen in den Bereichen Genre, Zeit und KI-Ära, wobei aufgezeigt wird, dass feinabgestimmte LLMs über Genres hinweg am besten generalisieren, während zeitliche Drift die Leistung signifikant verschlechtert, obgleich keine messbare Verschiebung durch die KI-Ära festgestellt wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Jeder Mensch hinterlässt eine einzigartige Spur von Gewohnheiten in der Art und Weise, wie er schreibt. So wie ein Fingerabdruck eine physische Markierung ist, die einen Körper identifiziert, ist das „Idiolekt“ eines Schreibers eine Sammlung linguistischer Gewohnheiten – wie er Satzzeichen verwendet, wie lang seine Sätze sind und welche Wörter er bevorzugt – die seinen Geist identifiziert. Seit Jahrzehnten verlassen sich Experten in Literatur und Recht auf diese Muster, um Geheimnisse zu lösen, vom Erwischen von Plagiaten bis hin zur Identifizierung des anonymen Autors eines Drohbriefs. Der Grundgedanke ist einfach: Während wir unser Vokabular je nach Kontext – etwa ob wir einen Liebesbrief oder einen Geschäftsbericht schreiben – ändern mögen, bleibt der tiefe, zugrunde liegende Rhythmus unseres Schreibens beständig genug, um erkannt zu werden.
Dieses Konzept steht jedoch in der modernen Welt vor einer ernsthaften Herausforderung. Schreiben geschieht nicht im Vakuum; es verändert sich je nach Genre, Zeitraum und den verwendeten Werkzeugen. Eine Person schreibt vielleicht am Morgen einen kurzen, informellen Forenbeitrag und am Abend eine lange, ausgearbeitete Geschichte. Sie schreibt heute vielleicht anders als vor zwanzig Jahren. Darüber hinaus wirft die jüngste Explosion von Werkzeugen der künstlichen Intelligenz, die Menschen beim Schreiben helfen, eine neue Frage auf: Verändert die Nutzung eines Computers zur Unterstützung bei der Formulierung eines Satzes den einzigartigen Fingerabdruck des Schreibers so sehr, dass seine Identität verborgen wird? Um diese Fragen zu beantworten, mussten Forscher einen Weg finden, um zu testen, ob diese digitalen „Fingerabdrücke“ standhalten, wenn sich der Kontext ändert.
Ein Team von Forschern der Technischen Universität Nürnberg hat dieses Problem angegangen, indem es einen massiven neuen Testdatensatz namens AVShift erstellt hat. Anstatt nur eine einzige Art von Text zu betrachten, sammelten sie über 150.000 Textpaare von einer deutschen Website, die sich Fan-Fiction, Rezensionen und Forendiskussionen widmet. Diese Sammlung umfasst einen Zeitraum von einundzwanzig Jahren, von 2004 bis 2025, und erfasst das Schreiben vor und nach der Veröffentlichung moderner KI-Schreibassistenten. Die Forscher nutzten diese Daten, um zu sehen, ob Computerprogramme immer noch korrekt identifizieren konnten, dass zwei verschiedene Texte von derselben Person geschrieben wurden, selbst wenn diese Texte aus unterschiedlichen Genres stammten, in verschiedenen Jahren verfasst wurden oder während der Ära der KI-Unterstützung entstanden.
Das Team testete drei verschiedene Arten von Computermethoden, um dieses Rätsel zu lösen. Die erste Art beruhte auf handgefertigten Regeln, bei denen Experten manuell spezifische Schreibmerkmale auswählten, die der Computer zählen sollte. Der zweite Typ nutzte mathematische Modelle, die lernten, Texte in dichte digitale Zusammenfassungen zu komprimieren. Der dritte und aktuellste Typ nutzte Large Language Models – dieselben leistungsstarken KI-Systeme, die Aufsätze und Code schreiben können –, die speziell darauf trainiert wurden, die Frage zu beantworten: „Hat dieselbe Person beide dieser Texte geschrieben?“
Die Ergebnisse zeigten, dass die Art des Schreibens eine immense Rolle spielt. Wenn der Computer versuchte, Texte aus demselben Genre abzugleichen, wie etwa zwei Forenbeiträge, funktionierte er sehr gut. Wenn die Aufgabe jedoch darin bestand, einen Forenbeitrag mit einer Geschichte oder einer Rezension abzugleichen, sank die Leistung der meisten Methoden signifikant. Der erfolgreichste Ansatz war das Large Language Model, das auf einer Mischung aus allen drei Schreibstilen trainiert wurde. Durch die Konfrontation des Computers mit einer breiten Vielfalt an Schreibstimmen während des Trainings lernte er, die oberflächlichen Unterschiede zwischen den Genres zu ignorieren und sich auf die tieferen, konsistenten Gewohnheiten des Autors zu konzentrieren. Dieses Modell erreichte eine hohe Erfolgsquote, selbst beim Vergleich einer Geschichte mit einem Forenpost, was bewies, dass eine vielfältige „Trainingsdiät“ das System wesentlich robuster macht.
Die Zeit erwies sich jedoch als ein weitaus stärkeres Hindernis als das Genre. Die Forscher fanden heraus, dass die Fähigkeit zur Verifizierung der Urheberschaft stetig abnahm, je größer die Zeitspanne zwischen zwei Texten war. Je länger die Wartezeit zwischen dem Schreiben zweier Texte war, desto schwieriger wurde es für den Computer, sie miteinander zu verknüpfen. Dieser Rückgang war bereits nach nur einem Jahr deutlich spürbar, was darauf hindeutet, dass unser Schreibstil kein statischer Fingerabdruck, sondern ein lebendiges Gebilde ist, das sich kontinuierlich entwickelt. Der Rückgang der Genauigkeit war signifikant genug, dass in hochsensiblen Situationen, wie etwa bei juristischen Ermittlungen, der Vergleich von Dokumenten, die viele Jahre auseinanderliegen, ohne spezielle Anpassungen wahrscheinlich zu Fehlern führen würde.
Überraschenderweise verursachte die Ankunft der künstlichen Intelligenz nicht die Disruption, die viele befürchtet hatten. Die Forscher untersuchten Texte, die vor und nach der weit verbreiteten Einführung von KI-Schreibwerkzeugen verfasst wurden, um zu sehen, ob die „KI-Ära“ eine neue, verwirrende Verteilung von Schreibstilen geschaffen hatte. Sie fanden keine Belege dafür, dass die Nutzung dieser Werkzeuge eine systematische Verschiebung bewirkte, die eine Verifizierung unmöglich machte. Zwar variierte die Leistung zwischen verschiedenen Zeiträumen, doch folgten die Veränderungen keinem Muster, das auf KI-Unterstützung zurückgeführt werden konnte. Die Variation schien eher von anderen Faktoren wie dem spezifischen Thema oder der Länge des Textes abzuhängen als von der bloßen Präsenz von KI-Werkzeugen.
Die Studie untersuchte auch die spezifischen Gewohnheiten, die einen Schreibstil ausmachen. Sie entdeckte, dass einige Merkmale, wie die Verwendung häufiger Funktionswörter, über verschiedene Genres hinweg stabil blieben, während andere je nach Textart drastisch variierten. Es gab keine einzelnen „magischen“ Merkmale, die in jeder Situation funktionierten; stattdessen hing die Zuverlässigkeit der Indikatoren davon ab, welche Genres verglichen wurden. Dies deutet darauf hin, dass man verstehen muss, dass Stil flexibel ist und dass die Regeln zur Identifizierung eines Autors je nach Kontext variieren.
Letztendlich zeigt diese Arbeit, dass Schreibstile zwar fließend sind und sich mit der Zeit und dem Genre verändern, sie aber nicht unmöglich zu verfolgen sind. Der Schlüssel zum Erfolg liegt nicht darin, eine einzige unveränderliche Regel zu finden, sondern Systeme darauf zu trainieren, die Stimme des Autors über ein breites Spektrum an Bedingungen hinweg zu erkennen. Indem Forscher vielfältige Trainingsdaten nutzen und anerkennen, dass die Zeit diese Signale abschwächt, können sie Werkzeuge bauen, die für reale Anwendungen weita viel zuverlässiger sind. Die Ergebnisse bieten einen klaren Weg nach vorn: Um die Urheberschaft in einer komplexen Welt zu verifizieren, müssen wir unsere Werkzeuge darauf trainieren, Veränderung zu erwarten, anstatt davon auszugehen, dass der Stil des Schreibers in der Zeit eingefroren bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.