Automated Motif Indexing on the Arabian Nights

1. Problématique et Contexte

Définition du problème :
L'objectif principal de cette étude est l'indexation automatique des motifs (motif indexing) dans les textes littéraires. Un « motif » est défini comme un élément narratif récurrent, non banal, souvent issu du folklore, qui véhicule une constellation d'idées, d'associations et d'hypothèses culturelles (ex. : « le troll sous le pont »).
Contrairement à la détection de motifs dans des textes modernes (où il faut distinguer les usages métaphoriques des usages littéraux), l'indexation vise à identifier toutes les occurrences d'un motif dans le texte source original (folklorique) où son usage est par définition explicite.

Obstacles majeurs :

• Disponibilité des données : La principale barrière est l'absence de corpus numériques de textes folkloriques indexés par des folkloristes. Les index existants (comme l'index de Thompson) font référence à des textes souvent non numérisés, obsolètes ou difficilement accessibles.
• Complexité linguistique : Les textes sources peuvent être archaïques (ex. : la traduction de Burton de 1885 des Mille et Une Nuits), contenant un vocabulaire désuet et des erreurs d'OCR, ce qui complique le traitement par les modèles NLP modernes.
• Complexité sémantique : Les motifs varient en complexité conceptuelle (du simple objet à des situations narratives complexes) et en complexité d'expression (du mot-clé direct à des descriptions indirectes sur plusieurs pages).

2. Méthodologie

L'approche proposée repose sur une combinaison de traitement de données, d'annotation humaine et de modèles de langage (LLM).

A. Constitution du Corpus et Alignement

• Données : Les auteurs ont utilisé le texte des Mille et Une Nuits (traduction moderne d'Irwin, 2010) couplé à l'index détaillé d'El-Shamy (2006), qui recense environ 5 000 motifs.
• Alignement : Puisque l'index d'El-Shamy fait référence à la traduction de Burton (1885), une étape cruciale d'alignement a été nécessaire pour mapper les pages de Burton vers le texte moderne d'Irwin.
  • Deux méthodes ont été testées : une approche basée sur BERT (similarité sémantique) et une approche basée sur l'algorithme Needleman-Wunsch (alignement de séquences avec détection de synonymes via WordNet).
  • Résultat : L'algorithme Needleman-Wunsch a atteint une précision de 99 % et a été retenu pour la suite.

B. Annotation et Analyse de la Complexité

• Stratégie : Une stratégie d'annotation « machine-in-the-loop » a été employée. Un système de récupération et de réordonnancement (retrieve-and-rerank) initial a identifié des phrases candidates, qui ont ensuite été annotées manuellement.
• Corpus annoté : 58 450 phrases ont été annotées pour 200 motifs différents, générant 2 670 exemples positifs et 55 779 exemples négatifs.
• Classification de la complexité : Les motifs ont été catégorisés selon deux dimensions :
  1. Complexité conceptuelle : Simple (objet unique) vs Complexe (relations temporelles, causalités).
  2. Complexité d'expression : Simple (mot-clé direct) vs Complexe (expression indirecte, paraphrase, ou étendue sur plusieurs phrases).
  • Cela a permis de créer quatre catégories de difficulté (Simple/Simple, Simple/Complexe, Complexe/Simple, Complexe/Complexe).
• Fiabilité : L'accord inter-annotateurs (Kappa de Cohen) est de 0,72 (accord substantiel), atteignant 0,87 pour les motifs simples.

C. Approches Expérimentales

Cinq types de méthodes ont été évalués pour détecter la présence d'un motif dans une phrase donnée :

1. Récupération et réordonnancement (Retrieve-and-Rerank) : Combinaison de recherche lexicale (BM25) et sémantique (embeddings), suivie d'un réordonnancement par un encodeur croisé (Cross-Encoder BERT).
2. Modèles d'embeddings hors de la boîte (Off-the-shelf) : Utilisation de modèles comme Mistral, Gemini, NV-Embed, Jina AI et T5 pour calculer la similarité cosinus.
3. Modèles d'embeddings affinés (Fine-tuned) : Affinage de SBERT et T5 sur le corpus annoté.
4. Approches génératives (Zero-shot et Few-shot) : Utilisation de LLMs (Mistral-7B et Llama-3) avec des prompts sans exemples ou avec quelques exemples (N-shot).
5. LLMs affinés (Fine-tuned LLMs) : Affinage des modèles Mistral et Llama-3 via LoRA (Low-Rank Adaptation) sur la tâche de classification binaire (Oui/Non).

3. Résultats Clés

Les performances sont mesurées par le score F1 (moyenne harmonique de la précision et du rappel).

• Approches traditionnelles : La méthode retrieve-and-rerank a obtenu le pire résultat global (F1 = 0,36), échouant particulièrement sur les motifs complexes. Les modèles d'embeddings non affinés ont atteint un F1 moyen de 0,57 à 0,65 (Jina et T5 étant les meilleurs).
• Approches génératives (Zero/Few-shot) :
  • En Zero-shot, Llama-3 a obtenu un F1 de 0,74, montrant une capacité intrinsèque mais insuffisante.
  • En Few-shot (2 exemples), les performances ont augmenté, atteignant 0,78 pour Mistral et 0,77 pour Llama-3.
• Meilleure performance (Fine-tuning) :
  • L'approche la plus performante est l'affinage (Fine-tuning) des LLMs.
  • Llama-3 (Fine-tuned) a atteint un score F1 global de 0,85 (Précision: 0,86, Rappel: 0,84).
  • Mistral (Fine-tuned) a atteint un F1 de 0,81.
• Analyse par complexité : Comme prévu, les systèmes performent mieux sur les motifs à structure et expression simples. La difficulté augmente significativement pour les motifs à structure complexe et expression complexe, où même les modèles affinés montrent des limites (F1 autour de 0,70 pour Llama-3 sur cette catégorie).

4. Contributions Principales

1. Première approche computationnelle d'indexation de motifs : C'est la première étude à proposer un pipeline complet pour l'indexation automatique de motifs dans un texte folklorique.
2. Résolution du problème de données : Création d'un corpus unique en alignant avec une grande précision un index folklorique (El-Shamy) sur une version moderne numérisée des Mille et Une Nuits, surmontant le problème d'inaccessibilité des textes originaux.
3. Corpus annoté de référence : Publication d'un jeu de données annoté de 58 450 phrases couvrant 200 motifs, avec une analyse fine de la complexité conceptuelle et expressive.
4. Évaluation comparative exhaustive : Comparaison systématique de cinq paradigmes (du BM25 aux LLMs affinés), démontrant que l'affinage (Fine-tuning) est indispensable pour cette tâche spécifique.
5. Analyse de la complexité : Démonstration que la difficulté de la tâche est hétérogène et dépend fortement de la nature du motif et de son expression textuelle.

5. Signification et Perspectives

Signification :
Cette étude prouve que l'indexation automatique des motifs, bien que difficile, est réalisable avec des performances élevées (F1 > 0,85) grâce aux LLMs affinés. Elle ouvre la voie à l'automatisation de l'analyse folklorique, permettant d'extraire massivement des exemples positifs et négatifs pour entraîner d'autres systèmes (découverte de nouveaux motifs, interprétation sémantique, détection dans les médias modernes).

Limites et Futur :

• Limitation actuelle : L'étude se concentre sur les motifs contenus dans une seule phrase. Les motifs s'étalant sur plusieurs phrases (environ 1,1 % des cas, mais critiques pour les motifs complexes) ne sont pas encore détectés.
• Perspectives :
  • Utilisation de modèles à contexte long (ex. GPT-4o, Gemini 2.0) pour capturer les motifs multi-phrases.
  • Intégration de l'approche RAG (Retrieval-Augmented Generation) pour enrichir les prompts avec des définitions d'encyclopédies (comme l'Arabian Nights Encyclopedia).
  • Expansion du corpus annoté pour améliorer la généralisation des modèles.

En conclusion, ce travail établit une nouvelle base pour l'analyse computationnelle du folklore, transformant une tâche autrefois purement manuelle en un processus assisté par l'IA, tout en fournissant des données et des méthodologies reproductibles.