💬 NLP

Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Diese Studie ist wegweisend für die Anwendung des Likelihood-Ratio-Frameworks auf die japanische Autorenschaftszuschreibung durch die Fusion von stilometrischen Merkmalen mit Embedding-basierten Systemen und demonstriert, dass dieser hybride Ansatz die Diskriminierbarkeit und Kalibrierung im Vergleich zu Einzelmethoden signifikant verbessert.

Ursprüngliche Autoren: Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wer eine mysteriöse Notiz geschrieben hat. In der Vergangenheit suchten Experten nach spezifischen „Fingerabdrücken“ in der Schreibweise, wie etwa der Häufigkeit, mit der jemand Kommas oder bestimmte kurze Wörter verwendet. Dies nennt man Stylometrie.

Im digitalen Zeitalter verfügen wir jedoch über leistungsstarke neue Werkzeuge, sogenannte KI-Modelle (speziell Large Language Models), die einen Text lesen und dessen „Vibe“ oder Kontext auf eine Weise verstehen können, die sich eher wie das Lesen eines Menschen anfühlt, anstatt nur Wörter zu zählen.

In dieser Arbeit geht es um ein Forschungsteam, das eine sehr spezifische Frage gestellt hat: Können wir das „alte“ Detektivhandwerk des Wortzählens mit dem „neuen“ KI-gestützten „Vibe-Checking“ kombinieren, um ein besseres Ergebnis zu erzielen? Und entscheidender: Kann dies für das Japanische geschehen, eine Sprache, die mit diesem speziellen rechtlichen Rahmen noch nie getestet wurde?

Hier ist die Aufschlüsselung ihres Experiments unter Verwendung einfacher Analogien:

1. Das Ziel: Die Skala des „Likelihood Ratio“

In einem Gericht sagen Experten nicht einfach: „Ich bin mir zu 100 % sicher, dass dies Autor A ist.“ Stattdessen verwenden sie eine Skala namens Likelihood Ratio (LR).

Denken Sie an dies wie eine Wettervorhersage. Anstatt zu sagen „Es wird regnen“, sagen sie: „Es ist 10-mal wahrscheinlicher, dass es regnet, als dass es nicht regnet.“
Die Forscher wollten ein System aufbauen, das eine solche „Wahrscheinlichkeit“ für japanische Texte liefert.
Sie wollten sehen, ob das Mischen der „alten Schule“ (Zählen von Zeichen) mit der „neuen Schule“ (KI-Embeddings) die Wettervorhersage genauer macht.

2. Die Zutaten: Zwei Arten von „Detektiven“

Die Forscher stellten zwei Teams von Detektiven auf, die japanische Blogbeiträge (etwa 1.000 Zeichen lang) analysierten:

Team A (Die stylometrischen Merkmale): Dies sind die traditionellen Detektive. Sie zählen spezifische Dinge:
- Zeichen-Bigramme: Wie oft treten zwei bestimmte Zeichen direkt hintereinander auf? (z. B. wie oft folgt auf „shi“ ein „te“?)
- Funktionswörter: Wie oft verwenden sie winzige Wörter wie „the“, „of“ oder japanische Partikel wie „no“ oder „ga“?
- Komma-Verwendung: Wo setzen sie Kommas? (Im Japanischen ist die Kommasetzung sehr persönlich und künstlerisch).
- Wortarten (Part-of-Speech): Welche Arten von Wörtern verwenden sie? (Substantive, Verben, Adjektive).
- Zeichentypen: Wie mischen sie Kanji, Hiragana und Katakana auf eine einzigartige Weise?
Team B (Die Embedding-Systeme): Dies sind die KI-Detektive. Sie nutzen vortrainierte KI-Modelle (wie einen superintelligenten Roboter, der Millionen von Büchern gelesen hat), um den Text in einen mathematischen „Fingerabdruck“ (einen Vektor) zu verwandeln.
- Wort-Level-KI: Betrachtet ganze Wörter.
- Zeichen-Level-KI: Betrachtet einzelne Zeichen.

3. Das Experiment: Die „Fusions“-Küche

Die Forscher ließen Team A und Team B nicht einfach getrennt arbeiten. Sie brachten sie in eine Küche, um ihre Meinungen zu fusionieren.

Sie versuchten, die Ergebnisse von Team A mit den Ergebnissen von Team B mithilfe eines mathematischen Rezepts namens logistischer Regression zu mischen.
Denken Sie an dies wie eine Jury-Beratung. Anstatt dass ein einzelner Juror entscheidet, kombiniert man die Stimmen von 5 traditionellen Jurors und 2 KI-Jurors, um ein einzelnes, stärkeres Urteil zu fällen.

4. Die Ergebnisse: Der „Super-Detektiv“

Das Paper behauptet, dass das fusionierte System (die Jury) der beste Detektiv von allen war. Hier ist, was sie fanden:

Die KI war stark: Das reine KI-Team war tatsächlich besser als das traditionelle Wortzähle-Team allein.
Die Fusion war am stärksten: Als sie die KI und die traditionellen Methoden kombinierten, wurde das System sogar noch besser.
- Bessere Genauigkeit: Es war viel besser darin, den Unterschied zwischen zwei verschiedenen Autoren zu erkennen.
- Bessere Kalibrierung: Die angegebenen „Wahrscheinlichkeiten“ waren zuverlässiger. Es reagierte weder über- noch unterfordert.
- Der „Sweet Spot“: Die beste Kombination nutzte nicht jedes einzelne Merkmal. Sie nutzte eine spezifische Mischung: Zeichen-Bigramme, Komma-Bigramme, Zeichentypen sowie sowohl Wort- als auch Zeichen-KI-Embeddings.

5. Der „Real-World“-Test

Um zu beweisen, dass es funktioniert, betrachteten sie zwei spezifische Beispiele:

Fall 1 (Gleicher Autor): Sie fanden zwei Blogbeiträge derselben Person, die einen sehr seltsamen, repetitiven Stil verwendete (viele Kommas und spezifische, merkwürdige Phrasen). Das fusionierte System lieferte eine massive „Wahrscheinlichkeit“, dass diese von derselben Person geschrieben wurden.
Fall 2 (Verschiedene Autoren): Sie fanden zwei Beiträge von verschiedenen Personen. Einer war seltsam und chaotisch; der andere war standardmäßig und ruhig. Das fusionierte System sagte korrekt: „Dies sind definitiv verschiedene Personen“, mit einem sehr starken negativen Wert.

6. Das Fazit

Dieses Paper ist das erste Mal, dass dieser spezifische rechtliche Rahmen (Likelihood Ratios) erfolgreich auf japanische Texte angewendet wurde.

Sie haben bewiesen, dass:

Man diese rechtliche Mathematik auf Japanisch anwenden kann.
Das Mischen der „alten Schule“ des Zählens mit den „neuen“ KI-Methoden ein System schafft, das genauer und zuverlässiger ist als die Verwendung einer der beiden Methoden allein.

Was sie NICHT behauptet haben:

Sie haben nicht gesagt, dass dieses System bereit für den Einsatz in echten Gerichtssälen von morgen ist.
Sie haben nicht getestet, ob es auch für E-Mails oder soziale Medien funktioniert (nur für Blogs).
Sie haben nicht behauptet, dass es für alle Arten der japanischen Schreibweise funktioniert, sondern nur für die spezifischen Blog-Auszüge, die sie getestet haben.

Kurz gesagt: Das Mischen von Alt und Neu macht eine intelligentere, zuverlässigere Methode, um zu erraten, wer einen japanischen Text geschrieben hat.

Technische Zusammenfassung: Fusion von stilometrischen und Embedding-Systemen zur Schätzung von Likelihood-Verhältnissen der Autorenschaft in japanischer Sprache

Problemstellung
Das Framework der Likelihood-Verhältnisse (LR) ist der etablierte Standard für die Beweisaufnahme in den Forensikwissenschaften und bietet eine logisch fundierte Methode zur Quantifizierung der Beweiskraft unter konkurrierenden Anklage- und Verteidigungshypothesen. Die Anwendung auf den forensischen Textvergleich (FTC) war jedoch fast ausschließlich auf englischsprachige Texte beschränkt. Darüber hinaus stützte sich die Autorenschaftszuordnung traditionell auf diskrete stilometrische Merkmale (z. B. Wortzählungen, Zeichen-n-Gramme), doch mit dem Aufkommen vortrainierter Large Language Models (LLMs) sind kontextuelle Embedding-Ansätze hinzugekommen. Obwohl Ensemble-Lernen (Fusion) bekannt dafür ist, die Leistung in der natürlichen Sprachverarbeitung zu verbessern, hat bisher keine Studie versucht, traditionelle stilometrische Merkmalsysteme mit LLM-basierten Embedding-Systemen innerhalb des LR-Paradigmas zu fusionieren, insbesondere nicht für nicht-englische Sprachen mit unterschiedlichen Schriftsystemen wie Japanisch.

Methodik
Diese Studie adressiert diese Lücken durch die Anwendung des LR-Frameworks auf japanische digitale Texte (Exzerpte von etwa 1.0 \text{ } 000 Zeichen aus Yahoo! Blogs). Das Forschungsdesign umfasst die folgenden Komponenten:

Datensatz: Ein Korpus aus 4.574 Blog-Beiträgen von 2.287 eindeutigen Autoren, abgeleitet aus dem Balanced Corpus of Contemporary Written Japanese (BCCWJ). Die Daten wurden in fünf Batches für eine fünfzählige Kreuzvalidierung unter Verwendung von Trainings-, Validierungs-, Test- und Kalibrierungssets unterteilt.
Systemarchitektur: Sieben verschiedene Systeme wurden entwickelt und evaluiert:
- Stilometrische Merkmalsysteme (5 Systeme): Diese nutzen ein Dirichlet-Multinomial-Modell, um zählbare, diskrete Eingaben zu verarbeiten. Die Merkmale umfassen Zeichen-Bigramme, Funktionswort-Unigramme, Part-of-Speech (POS)-Bigramme, Komma-Bigramme (Komma und das vorangehende Zeichen) sowie Zeichentypen (Hiragana, Katakana, Kanji usw.).
- Embedding-basierte Systeme (2 Systeme): Diese nutzen vortrainierte RoBERTa-Modelle, die als Siamese Networks feinabgestimmt wurden. Ein System verwendet die Wort-Tokenisierung (Word-Embeddings), das andere die Zeichen-Tokenisierung (Character-Embeddings). Die Scores werden mittels Kosinus-Distanz abgeleitet.
Scoring und Kalibrierung:
- Stilometrische Systeme generieren Scores basierend auf dem Verhältnis der Wahrscheinlichkeiten unter der Anklage- gegenüber der Verteidigungshypothese.
- Embedding-Systeme generieren Ähnlichkeits-Scores basierend auf der Kosinus-Distanz.
- Alle Roh-Scores werden mittels log-likelihood-Verhältnis-Kalibrierung mittels logistischer Regression in log-Likelihood-Verhältnisse (log LR) umgewandelt, um sicherzustellen, dass die Ausgaben kalibrierte Beweiswerte sind.
Fusionsstrategie: Die Studie verwendet logistische Regression, um die Scores mehrerer Systeme zu fusionieren. Diese Methode führt gleichzeitig Fusion und Kalibrierung durch und berücksichtigt die Korrelationen zwischen den verschiedenen Evidenzquellen. Alle möglichen Kombinationen von zwei bis sieben Systemen wurden getestet.

Kernergebnisse
Die Studie evaluierte die Systemleistung unter Verwendung des Log-Likelihood-Ratio-Kostenwertes ( $C_{llr}$ ), wobei niedrigere Werte eine bessere Diskriminierung und Kalibrierung anzeigen.

Einzelsystem-Leistung: Unter den Einzelsystemen erreichte das Word-Embedding-System (System 6) die beste Leistung ( $C_{llr} = 0,38757$ ) und übertraf damit das beste stilometrische System (Character-bigrams, $C_{llr} = 0,47115$ ).
Fusions-Leistung:
- Stilometrische Fusion: Die Fusion von Character-bigrams, Comma-bigrams und POS-bigrams lieferte das beste rein stilometrische Ergebnis ( $C_{llr} = 0,43964$ ).
- Embedding-Fusion: Die Fusion von Word- und Character-Embeddings verbesserte die Leistung auf $C_{llr} = 0,36186$ .
- Heterogene Fusion: Das optimale Ergebnis wurde durch die Fusion von fünf Systemen erzielt: Character-bigrams, Comma-bigrams, Zeichentypen, Word-embeddings und Character-embeddings. Dieses fusionierte System erreichte einen $C_{llr}$ von 0,32484.
Auswirkung der Fusion: Das am besten performende fusionierte System demonstrierte:
1. Eine exzellente Kalibrierung (Kalibrierungsverlust $C_{llr}^{cal} \approx 0,03$ ).
2. Erhöhte Magnituden von mit den Fakten übereinstimmenden LRs (stärkere Evidenz, wenn die Autoren übereinstimmen).
3. Verringerte Magnituden von den Fakten widersprechenden LRs (schwächere, weniger irreführende Evidenz, wenn die Autoren nicht übereinstimmen).
4. Verbesserte allgemeine Diskriminierbarkeit im Vergleich zu jedem einzelnen System oder einer homogenen Fusion.

Bedeutung und Ansprüche
Die Autoren behaupten, dass diese Studie die erste ist, die das LR-basierte forensische Textvergleichs-Framework auf japanische digitale Texte anwendet. Die primäre Bedeutung liegt in der Demonstration der Machbarkeit des LR-Frameworks für eine Sprache mit einem fundamental anderen Schriftsystem (Japanisch) im Vergleich zu Englisch.

Darüber hinaus stellt die Arbeit fest, dass die Fusion heterogener Systeme – die Kombination aus traditionellen, diskreten stilometrischen Merkmalen mit modernen, kontextuellen LLM-Embeddings – eine überlegene Leistung innerhalb des LR-Paradigmas liefert. Die Ergebnisse legen nahe, dass, während einzelne Systeme spezifische Stärken besitzen, ihre Kombination komplementäre Dimensionen der Autorenschaft erfasst (z. B. rohe Zeichensequenzen vs. syntaktische Muster vs. semantischer Kontext), was zu einer robusteren und diskriminativeren forensischen Evidenz führt. Die Studie kommt zu dem Schluss, dass das LR-Framework für japanisches FTC lebensfähig ist und die Fusion über diverse Modellierungsansätze eine entscheidende Strategie zur Steigerung der Beweiskraft darstellt.