An Information-Theoretic Approach to Identifying Formulaic Clusters in Textual Data

Résumé technique : Une approche informationnelle non supervisée pour l'identification de clusters formulaires dans les données textuelles

Énoncé du problème
L'analyse textuelle nécessite souvent de distinguer les couches « formulaires » — des segments caractérisés par une répétition systématique, des contraintes structurelles et une rigidité stylistique — des compositions non formulaires, plus dynamiques. Ce défi est particulièrement aigu dans le cas des textes historiques et composites, tels que la Bible hébraïque, où les strates d'auteur et de rédaction créent des interactions complexes de styles. Les méthodes de clustering traditionnelles se heurtent à des obstacles importants dans ce domaine :

1. Haute dimensionnalité et parcimonie : Les données textuelles, lorsqu'elles sont représentées par des n-grammes ou des caractéristiques morphologiques, résultent souvent d'espaces de caractéristiques de haute dimension avec relativement peu d'échantillons (unités textuelles), ce qui conduit à la « malédiction de la dimensionnalité ».
2. Hypothèses de distribution : De nombreux algorithmes de clustering standards (par exemple, les modèles de mélange gaussien, k-means) reposent sur des hypothèses concernant les distributions de données (par exemple, la gaussianité) ou nécessitent une estimation stable de la covariance. Dans des contextes de haute dimension et de faible densité, les matrices de covariance deviennent souvent singulières ou mal conditionnées, rendant ces méthodes instables ou nécessitant une régularisation lourde qui introduit un biais.
3. Absence d'étiquettes : L'identification des structures formulaires dans les textes historiques est souvent une tâche non supervisée où les étiquettes de vérité terrain sont débattues ou indisponibles, nécessissant des méthodes capables d'inférer la structure sans catégories prédéfinies.

Méthodologie
Les auteurs proposent un cadre de clustering souple fondé sur la théorie de l'information qui identifie les clusters formulaires en analysant les profils d'auto-information des unités textuelles. Le principe central est que les segments formulaires présentent une entropie plus faible (une prédictibilité plus élevée) et donc une auto-information ($-\log p(x)$) plus faible sous un modèle de probabilité conditionné par le cluster, comparativement aux segments non formulaires.

La méthode opère via deux formulations complémentaires selon la représentation des données :

1. Formulation discrète (données catégorielles) :

   • Conçue pour les caractéristiques binaires ou basées sur des comptages (par exemple, présence/absence de n-grammes ou fréquences de comptage).
   • Utilise des modèles de probabilité Bernoulli, Binomial ou Multinomial pour estimer les probabilités de caractéristiques directement à partir des fréquences d'échantillons pondérées.
   • Objectif : Minimiser l'entropie croisée entre la distribution empirique des données et la distribution du modèle. Elle ne nécessite pas d'estimation de la covariance, évitant ainsi l'instabilité dans les régimes parcimonieux.
   • Mécanisme : L'algorithme optimise les poids d'appartenance souples ($s_i \in [0, 1]$) pour chaque échantillon afin de maximiser la vraisemblance des données sous deux clusters candidats. Après convergence, les poids continus sont seuillés pour produire une partition binaire. Le cluster formulaire est identifié a posteriori en examinant quel cluster présente une concentration de caractéristiques récurrentes et un profil d'auto-information moyen plus faible.

2. Formulation continue (données gaussiennes multivariées) :

   • Conçue pour les représentations vectorielles à valeurs réelles (par exemple, plongements neuraux/embeddings).
   • Modélise les données comme des gaussiennes multivariées.
   • Objectif : Définit une fonction de score heuristique basée sur la distribution de l'auto-information des échantillons au sein d'un cluster candidat. Le score combine la moyenne et l'écart-type des valeurs d'auto-information avec une norme inverse des poids d'échantillonnage pour pénaliser les clusters trivialement petits.
   • Mécanisme : Bien que cette formulation estime et inverse une matrice de covariance pondérée régularisée (similaire aux approches gaussiennes classiques), l'objectif cible spécifiquement la dispersion et la prédictibilité du cluster. La méthode reste sensible aux faibles tailles d'échantillons effectifs mais est empiriquement robuste sous les configurations de l'échelle de covariance testées.

Optimisation
L'algorithme utilise un schéma d'optimisation numérique contraint pour mettre à jour le vecteur d'assignation souple $\vec{s}$. Contrairement au clustering strict (hard clustering), cette approche « souple » permet des appartenances intermédiaires durant le processus de recherche, relaxant le problème de l'assignation discrète en un problème continu pour éviter les solutions indéterminées. Le processus itère jusqu'à convergence, après quoi les clusters sont caractérisés par leurs profils d'auto-information et leurs caractéristiques récurrentes distinctives.

Contributions clés

1. Fonction d'objectif novatrice : L'article introduit un objectif de clustering basé sur des distributions d'auto-information pondérées plutôt que sur la distance géométrique (par exemple, euclidienne) ou la minimisation pure de la variance. Cela cible directement la définition informationnelle de la prédictibilité inhérente au texte formulaire.
2. Double formulation : Le développement de formulations à la fois discrètes (sans covariance) et continues (gaussiennes régularisées) permet d'appliquer la méthode à diverses représentations textuelles, des comptages de n-grammes traditionnels aux plongements neuraux modernes.
3. Robustesse dans les régimes parcimonieux : La méthode est spécifiquement conçue pour gérer des ensembles de données de haute dimension et pauvres en échantillons, fréquents dans l'analyse stylométrique et textuelle historique, là où les méthodes de covariance traditionnelles échouent souvent.
4. Identification non supervisée de la formularité : L'approche ne nécessite pas d'étiquettes prédéfinies pour distinguer le « formulaire » du « non-formulaire ». Au lieu de cela, elle récupère des partitions et interprète la nature formulaire d'un cluster en fonction de ses propriétés statistiques internes (faible auto-information, haute récurrence de caractéristiques).

Résultats expérimentaux
Les auteurs ont confronté la méthode à des algorithmes de clustering standards (GMM, k-means, DBSCAN, Cross-Entropy Clustering et Regularized EM) sur des données synthétiques et réelles :

• Données catégorielles synthétiques : Dans des expériences simulant des textes de haute dimension et parcimonieux avec des structures formulaires implantées, la méthode proposée a systématiquement surpassé le GMM, le k-means et le DBSCAN pour récupérer les clusters implantés, particulièrement lorsque le ratio échantillon/dimension était faible.
• Données gaussiennes synthétiques : La méthode a démontré une robustesse pour séparer des classes gaussiennes présentant des échelles de covariance différentes, performant de manière comparable ou supérieure aux routines établies (CEC, Reg. EM) à travers diverses tailles d'échantillons et niveaux de bruit.
• Application à la Bible hébraïque (Pentateuque) :
  • Genèse : A isolé avec succès les listes généalogiques (hautement formulaires) du récit environnant. La méthode a atteint un haut degré d'accord avec les annotations d'experts sur une large gamme de configurations de paramètres (taille de n-gramme, taille de fenêtre, nombre de caractéristiques), surpassant nettement le k-means.
  • Exode : A séparé efficacement les instructions légales/cultuelles sacerdotales (P) du récit non-sacerdotale. L'approche basée sur l'information a récupéré la division expert P/non-P dans une plus grande proportion de configurations de paramètres (68,0 % dans les deux intervalles MCC supérieurs) par rapport au k-means (30,0 %).
  • Lévitique : A testé la distinction entre la source sacerdotale (P) et le Code de Sainteté (H). La méthode a identifié avec succès une séparation statistiquement significative, récupérant la partition expert P/H dans 45,5 % des configurations (contre 29,8 % pour le k-means). Notamment, les résultats ont montré que l'échelle linguistique spécifique (taille de n-gramme et longueur de fenêtre) influence la perception de quelle strate (P ou H) apparaît comme plus formulaire, suggérant que différentes échelles linguistiques mettent en avant différents types de régularités structurelles.

Signification et affirmations
L'article soutient que la prédictibilité structurelle, quantifiée via l'auto-information par échantillon, capture une dimension centrale de l'organisation textuelle qui s'aligne avec et clarifie les hypothèses traditionnelles de la critique des sources.

• Validation indépendante : La méthode fournit un moyen non supervisé et piloté par les données pour vérifier les strates littéraires hypothétiques sans dépendre de marqueurs linguistiques choisis arbitrairement ou de caractéristiques prédéfinies.
• Interprétation nuancée : La variabilité des résultats à travers les paramètres de réglage n'est pas vue comme une instabilité, mais comme une caractéristique interprétative. Elle révèle que la formularité est dépendante de l'échelle ; différentes granularités linguistiques (par exemple, 3-grammes vs 5-grammes) peuvent mettre en relief différentes contraintes structurelles (par exemple, instructions procédurales vs cadres législatifs).
• Applicabilité : Le cadre est présenté comme un outil flexible pour analyser des documents stratifiés, édités ou composites dans les corpus littéraires, historiques, juridiques et techniques, offrant une base quantitative pour comprendre l'interaction entre créativité et contrainte dans la transmission textuelle.

Les auteurs maintiennent une position modeste, reconnaissant que si la méthode identifie efficacement des motifs stylistiques distincts, elle ne résout pas tous les débats concernant le développement historique de ces textes. Elle offre plutôt un cadre quantitatif pour explorer la structure interne des textes façonnés par des processus complexes d'auteur et d'édition.