💬 NLP

Fusing Stylometric and Embedding Systems to Estimate Authorship Likelihood Ratios in Japanese

Cette étude est pionnière dans l'application du cadre du rapport de vraisemblance à l'attribution d'auteur en japonais en fusionnant des caractéristiques stylométriques avec des systèmes basés sur des plongements, démontrant que cette approche hybride améliore significativement la discriminabilité et le calibrage par rapport aux méthodes individuelles.

Auteurs originaux : Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

Publié 2026-06-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Praju Ghatpande, Satoru Tsuge, Shunichi Ishihara, Wataru Zaitsu, Mitsuyuki Inaba

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de découvrir qui a écrit une note mystérieuse. Par le passé, les experts cherchaient des « empreintes digitales » spécifiques dans l'écriture, comme la fréquence à laquelle quelqu'un utilise des virgules ou certains mots courts. C'est ce qu'on appelle la stylométrie.

Cependant, à l'ère numérique, nous disposons de nouveaux outils puissants appelés modèles d'IA (plus précisément des modèles de langage étendus ou LLM) qui peuvent lire un texte et en comprendre « l'ambiance » ou le contexte d'une manière qui ressemble plus à la lecture humaine, plutôt qu'à un simple comptage de mots.

Ce document traite d'une équipe de chercheurs qui a posé une question très spécifique : Pouvons-nous combiner le travail de détective de « l'ancienne école » basé sur le comptage de mots avec la « nouvelle école » de l'analyse de l'ambiance par l'IA pour obtenir une meilleure réponse ? Et, surtout, pouvons-nous le faire pour le japonais, une langue qui n'a jamais été testée avec ce cadre juridique spécifique auparavant ?

Voici la décomposition de leur expérience en utilisant des analogies simples :

1. L'objectif : L'échelle du « Rapport de Vraisemblance »

Au tribunal, les experts ne se contentent pas de dire : « Je suis sûr à 100 % qu'il s'agit de l'Auteur A ». Au lieu de cela, ils utilisent une échelle appelée le Rapport de Vraisemblance (LR).

Considérez cela comme une prévision météorologique. Au lieu de dire « Il va pleuvoir », on dit « Il est 10 fois plus probable qu'il pleuve que non ».
Les chercheurs voulaient construire un système qui donne ce genre de « probabilités » pour le texte japonais.
Ils voulaient voir si le mélange des méthodes de « l'ancienne école » (comptage de caractères) avec les méthodes de « la nouvelle école » (plongements lexicaux ou embeddings d'IA) rendrait la prévision météorologique plus précise.

2. Les ingrédients : Deux sortes de « détectives »

Les chercheurs ont mis en place deux équipes de détectives pour analyser des articles de blog japonais (d'environ 1 000 caractères) :

Équipe A (Les caractéristiques stylométriques) : Ce sont les détectives traditionnels. Ils comptent des éléments spécifiques :
- Bigrammes de caractères : À quelle fréquence deux caractères spécifiques apparaissent-ils l'un à côté de l'autre ? (par exemple, à quelle fréquence « te » suit-il « shi » ?)
- Mots de fonction : À quelle fréquence utilisent-ils de petits mots comme « le », « de », ou des particules japonaises comme « no » ou « ga » ?
- Usage de la virgule : Où placent-ils les virgules ? (En japonais, le placement des virgules est très personnel et artistique).
- Classe grammaticale (Part-of-Speech) : Quel type de mots utilisent-ils ? (Noms, verbes, adjectifs).
- Types de caractères : Mélangent-ils les Kanji, les Hiragana et les Katakana d'une manière unique ?
Équipe B (Les systèmes d'embeddings) : Ce sont les détectives d'IA. Ils utilisent des modèles d'IA pré-entraînés (comme un robot super intelligent qui a lu des millions de livres) pour transformer le texte en une « empreinte digitale » mathématique (un vecteur).
- IA au niveau du mot : Regarde les mots entiers.
- IA au niveau du caractère : Regarde les caractères individuels.

3. L'expérience : La cuisine de la « Fusion »

Les chercheurs n'ont pas simplement laissé l'Équipe A et l'Équipe B travailler séparément. Ils les ont mis dans une cuisine pour fusionner leurs opinions.

Ils ont essayé de mélanger les résultats de l'Équipe A avec ceux de l'Équipe B en utilisant une recette mathématique appelée Régression Logistique.
Considérez cela comme une délibération de jury. Au lieu d'un seul juré qui décide, on combine les votes de 5 jurés traditionnels et de 2 jurés d'IA pour parvenir à un verdict unique et plus fort.

4. Les résultats : Le « Super-Détective »

Le document affirme que le Système Fusionné (le jury) a été le meilleur détective de tous. Voici ce qu'ils ont trouvé :

L'IA était forte : L'équipe composée uniquement d'IA était en fait meilleure que l'équipe traditionnelle de comptage de mots utilisée seule.
La Fusion était la plus forte : Lorsqu'ils ont combiné l'IA et les méthodes traditionnelles, le système est devenu encore meilleur.
- Meilleure précision : Il était bien meilleur pour distinguer deux auteurs différents.
- Meilleure calibration : Les « probabilités » qu'il donnait étaient plus fiables. Il ne surréagissait ni ne sous-réagissait.
- Le « point idéal » : La meilleure combinaison n'utilisait pas chaque caractéristique. Elle utilisait un mélange spécifique : bigrammes de caractères, bigrammes de virgules, types de caractères, ainsi que les embeddings d'IA au niveau du mot et du caractère.

5. Le « Test en conditions réelles »

Pour prouver que cela fonctionnait, ils ont examiné deux exemples spécifiques :

Cas 1 (Même auteur) : Ils ont trouvé deux articles de blog écrits par la même personne qui utilisait un style très étrange et répétitif (beaucoup de virgules et certaines expressions bizarres spécifiques). Le système fusionné a donné des « probabilités » massives que ces textes aient été écrits par la même personne.
Cas 2 (Auteurs différents) : Ils ont trouvé deux publications de personnes différentes. L'une était étrange et chaotique ; l'autre était standard et calme. Le système fusionné a correctement déclaré : « Ce sont définitivement des personnes différentes », avec un score négatif très fort.

6. L'essentiel à retenir

Ce document est la première fois que ce cadre juridique spécifique (les Rapports de Vraisemblance) est appliqué avec succès au texte japonais.

Ils ont prouvé que :

On peut utiliser ce calcul juridique sur le japonais.
Mélanger les méthodes de comptage de « l'ancienne école » avec les nouvelles méthodes d'IA crée un système plus précis et plus fiable qu'en utilisant l'une ou l'autre seule.

Ce qu'ils n'ont PAS affirmé :

Ils n'ont pas dit que ce système est prêt à être utilisé dans de vraies salles d'audience demain.
Ils n'ont pas testé sur des e-mails ou des réseaux sociaux (seulement des blogs).
Ils n'ont pas affirmé que cela fonctionne pour tous les types d'écriture japonaise, seulement pour les extraits de blogs spécifiques qu'ils ont testés.

En résumé : Mélanger l'ancien et le nouveau permet de créer une façon plus intelligente et plus fiable de deviner qui a écrit un texte japonais.

Résumé technique : Fusion de systèmes stylométriques et de plongements lexicaux pour estimer les rapports de vraisemblance d'auteur en japonais

Énoncé du problème
Le cadre du rapport de vraisemblance (LR, pour Likelihood Ratio) est la norme établie pour l'analyse de preuves dans les sciences forensiques, offrant une méthode logiquement rigoureuse pour quantifier la force de la preuve sous des hypothèses concurrentes de l'accusation et de la défense. Cependant, son application à la comparaison de textes forensiques (FTC) s'est presque exclusivement limitée aux textes de langue anglaise. De plus, bien que l'attribution d'auteur ait traditionnellement reposé sur des caractéristiques stylométriques discrètes (ex. : comptage de mots, n-grammes de caractères), l'avènement des grands modèles de langage (LLM) pré-entraînés a introduit des approches de plongements contextuels (embeddings). Bien que l'apprentissage d'ensemble (fusion) soit reconnu pour améliorer les performances dans le traitement du langage naturel, aucune étude préalable n'a tenté de fusionner des systèmes de caractéristiques stylométriques traditionnels avec des systèmes de plongements basés sur les LLM au sein du paradigme LR, particulièrement pour des langues non anglaises possédant des systèmes d'écriture distincts comme le japonais.

Méthodologie
Cette étude comble ces lacunes en appliant le cadre du LR à des textes numériques japonais (extraits d'environ 1 000 caractères provenant de Yahoo! Blogs). La conception de la recherche comprend les composantes suivantes :

Jeu de données : Un corpus de 4 574 articles de blog issus de 2 287 auteurs uniques, dérivés du Balanced Corpus of Contemporary Written Japanese (BCCWJ). Les données ont été partitionnées en cinq lots pour une validation croisée à cinq plis, utilisant des ensembles d'entraînement, de validation, de test et de calibration.
Architecture du système : Sept systèmes distincts ont été développés et évalués :
- Systèmes de caractéristiques stylométriques (5 systèmes) : Ces derniers utilisent un modèle de Dirichlet-multinomial pour traiter des entrées discrètes basées sur des comptages. Les caractéristiques incluent les bigrammes de caractères, les unigrammes de mots-outils (function-words), les bigrammes de classes grammaticales (POS), les bigrammes de virgules (la virgule et le caractère précédent) et les types de caractères (hiragana, katakana, kanji, etc.).
- Systèmes basés sur les plongements (2 systèmes) : Ils utilisent des modèles RoBERTa pré-entraînés et affinés en tant que réseaux siamois. Un système utilise une segmentation par mot (word-level tokenization/embeddings) et l'autre une segmentation par caractère (character-level tokenization/embeddings). Les scores sont dérivés de la distance cosinus.
Score et calibration :
- Les systèmes stylométriques génèrent des scores basés sur le rapport des probabilités sous les hypothèses de l'accusation versus la défense.
- Les systèmes de plongement génèrent des scores de similitude basés sur la distance cosinus.
- Tous les scores bruts sont convertis en log-rapports de vraisemblance (log LR) via une calibration par régression logistique afin de garantir que les valeurs de preuve produites soient bien calibrées.
Stratégie de fusion : L'étude emploie la régression logistique pour fusionner les scores de plusieurs systèmes. Cette méthode réalise simultanément la fusion et la calibration, tenant compte des corrélations entre les différentes sources de preuves. Toutes les combinaisons possibles de deux à sept systèmes ont été testées.

Résultats clés
L'étude a évalué la performance des systèmes à l'aide du coût du log-rapport de vraisemblance ( $C_{llr}$ ), où des valeurs plus faibles indiquent une meilleure discrimination et calibration.

Performance des systèmes individuels : Parmi les systèmes isolés, le système de plongement lexical (Système 6) a obtenu la meilleure performance ( $C_{llr} = 0,38757$ ), surpassant le meilleur système stylométrique (bigrammes de caractères, $C_{llr} = 0,47115$ ).
Performance de la fusion :
- Fusion stylométrique : La fusion des bigrammes de caractères, des bigrammes de virgules et des bigrammes de POS a produit le meilleur résultat pour la seule partie stylométrique ( $C_{llr} = 0,43964$ ).
- Fusion d'embeddings : La fusion des plongements de mots et de caractères a amélioré la performance à $C_{llr} = 0,36186$ .
- Fusion hétérogène : Le résultat optimal a été obtenu en fusionnant cinq systèmes : bigrammes de caractères, bigrammes de virgules, types de caractères, plongements de mots et plongements de caractères. Ce système fusionné a atteint un $C_{llr}$ de 0,32484.
Impact de la fusion : Le système fusionné le plus performant a démontré :
1. Une excellente calibration (perte de calibration $C_{llr}^{cal} \approx 0,03$ ).
2. Une augmentation des magnitudes des LR conformes aux faits (preuves plus fortes lorsque les auteurs correspondent).
3. Une diminution des magnitudes des LR contraires aux faits (preuves plus faibles et moins trompeuses lorsque les auteurs ne correspondent pas).
4. Une meilleure discrimination globale par rapport à n'importe quel système unique ou fusion homogène.

Signification et revendications
Les auteurs affirment que cette étude est la première à appliquer le cadre de comparaison de texte forensique basé sur le LR au japonais numérique. La principale importance réside dans la démonstration de la faisabilité du cadre LR pour une langue possédant un système d'écriture fondamentalement différent de l'anglais.

En outre, l'article établit que la fusion de systèmes hétérogènes — combinant des caractéristiques stylométriques discrètes traditionnelles avec des plongements contextuels modernes de type LLM — produit une performance supérieure au sein du paradigme LR. Les résultats suggèrent que si les systèmes individuels possèdent des forces, leur combinaison capture des dimensions complémentaires de l'auteur (ex. : séquences brutes de caractères vs motifs syntaxiques vs contexte sémantique), menant à des preuves forensiques plus robustes et discriminantes. L'étude conclut que le cadre du LR est viable pour la FTC en japonais et que la fusion entre diverses approches de modélisation est une stratégie critique pour renforcer la force de la preuve.