From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory

1. Problématique et Contexte

Les modèles d'incrustation (embedding) actuels, tels que BGE, regroupent les passages textuels principalement en fonction de leur contenu sémantique (de quoi parle le texte). Cependant, cette approche échoue à capturer la fonction structurelle d'un passage dans la narration (ce que le texte fait dans le contexte local).

L'article identifie un vide dans l'analyse textuelle : deux passages peuvent avoir des sujets totalement différents (par exemple, une scène de violence dans une forêt tropicale et une scène de peur dans un manoir victorien) mais remplir la même fonction narrative (le moment où un personnage affronte l'horreur). Les modèles basés sur la similarité sémantique ne peuvent pas regrouper ces passages, car ils ignorent la structure de transition temporelle.

L'objectif de cette étude est de découvrir des concepts de structure de transition de manière non supervisée à l'échelle d'un corpus, en se basant sur la co-occurrence temporelle plutôt que sur la similarité sémantique.

2. Méthodologie

L'approche proposée repose sur l'extension du cadre Predictive Associative Memory (PAM) pour passer de la simple récupération épisodique à la formation de concepts.

A. Corpus et Prétraitement

• Données : 9 766 textes anglais du Projet Gutenberg (environ 25 millions de passages), couvrant la fiction, la non-fiction, le drame et la poésie du XVIe au début du XXe siècle.
• Découpage (Chunking) : Les textes sont divisés en passages de 50 tokens avec un chevauchement de 15 tokens.
• Encodage initial : Chaque passage est encodé en un vecteur de 1024 dimensions à l'aide du modèle pré-entraîné BGE-large-en-v1.5.

B. Signal d'Entraînement : Co-occurrence Temporelle

Au lieu d'utiliser des paires sémantiquement équivalentes, le modèle est entraîné sur des paires de passages qui apparaissent à proximité immédiate l'un de l'autre dans le même texte (fenêtre de 15 passages).

• Hypothèse : Les passages qui co-occurrent régulièrement partagent une structure de transition similaire (mêmes prédécesseurs, mêmes successeurs), indépendamment de leur vocabulaire ou de leur genre.
• Volume de données : 373 millions de paires de co-occurrence extraites.

C. Architecture du Modèle

• Modèle : Un MLP (Perceptron Multicouche) contrastif de 29,4 millions de paramètres.
• Fonction : Il mappe les embeddings pré-entraînés dans un nouvel « espace d'association ».
• Mécanisme : Une connexion résiduelle apprise permet de préserver l'information sémantique tout en apprenant une perturbation associative.
• Perte : Perte contrastive symétrique (InfoNCE) avec des négatifs intra-batch.

D. Contrainte de Capacité et Compression

Le modèle atteint une précision d'entraînement de 42,75 %, bien en deçà de sa capacité théorique à mémoriser les 373 millions de paires. Cette contrainte de capacité force le modèle à ne pas mémoriser les occurrences spécifiques, mais à comprimer et extraire les motifs structurels récurrents qui traversent des milliers de livres.

E. Clustering Multi-Résolution

Les embeddings transformés sont regroupés (clustering) via l'algorithme K-means à six granularités différentes ($k = 50$ à $k = 2\,000$). Cela permet de créer une carte conceptuelle hiérarchique, allant de modes narratifs larges à des registres très spécifiques.

3. Contributions Clés

1. Découverte de concepts non supervisée : Une méthode pour extraire des concepts de structure de transition sans aucune annotation de sujet, de genre ou d'étiquette. Le signal d'apprentissage est purement la position relative des passages.
2. Distinction Structure vs Sujet : Démonstration empirique que les clusters appris par co-occurrence capturent la fonction narrative, le registre de discours et la tradition littéraire, contrairement aux clusters basés sur la similarité sémantique qui capturent le sujet.
3. Carte conceptuelle multi-résolution : Génération d'une carte de concepts sur 9 766 textes à six niveaux de granularité, révélant une structure hiérarchique (ex: de « conflit historique » à « correspondance de la guerre franco-prussienne »).
4. Extension du cadre PAM : Preuve que le principe « l'association $\neq$ similarité » de PAM, initialement validé pour la récupération épisodique, s'étend à la découverte de concepts à l'échelle du corpus, avec des propriétés de transfert inductif réussies (contrairement à la récupération multi-sauts où le transfert échouait).

4. Résultats et Validation

A. Comparaison avec les Embeddings Bruts (BGE)

• Clustering BGE : Regroupe les passages par sujet (ex: tous les passages sur la peur, tous les passages sur l'argent).
• Clustering PAM (Espace d'association) : Regroupe par fonction structurelle.
  • Exemple : Un cluster « Confrontation directe » contient des négociations diplomatiques, des arguments dans des romans domestiques et des interrogatoires de mystère, malgré des vocabulaires différents.
  • Exemple : Un cluster « Méditation lyrique sur le paysage » regroupe l'écriture romantique, l'atmosphère gothique et la fiction pastorale.

B. Évaluation sur des Romans Non Vus (Inductive Transfer)

Cinq romans canoniques absents du corpus d'entraînement (Orgueil et Préjugés, Dracula, Frankenstein, etc.) ont été traités sans réentraînement.

• Sélectivité : Le modèle PAM concentre chaque roman dans un sous-ensemble sélectif de clusters (ex: 51 clusters sur 100 pour Alice au Pays des Merveilles), reflétant sa structure narrative cohérente.
• Contraste : L'assignation par embeddings bruts (BGE) sature presque tous les clusters, dispersant le texte car elle suit la diversité du vocabulaire plutôt que la cohérence structurelle.
• Précision : Le modèle identifie correctement les changements de mode (ex: le passage de l'observation de voyage à l'horreur surnaturelle dans Dracula).

C. Contrôles de Validation

• Contrôle de mélange temporel : Sur un corpus pilote, le mélange aléatoire de l'ordre temporel des passages a fait chuter la récupération trans-frontalière de 95,2 %, confirmant que le signal provient bien de la structure de co-occurrence et non de biais géométriques.
• Contrôle MLP aléatoire : Un MLP non entraîné produit une distribution uniforme des livres, prouvant que la structure découverte est due à l'apprentissage et non à l'architecture.
• Absence de biais : Les clusters ne sont pas biaisés par la position dans le livre, la longueur des tokens ou la concentration d'un seul auteur (à l'exception de cas marginaux comme les clusters linguistiques spécifiques).

5. Signification et Implications

• Changement de paradigme : Cette méthode déplace l'analyse textuelle de « ce que dit le texte » (sujet) vers « ce que fait le texte » (fonction structurelle). Elle permet de découvrir des archétypes narratifs universels (confrontation, départ, révélation) qui traversent les genres et les époques.
• Analogie Biologique : Le processus est comparé au « replay » hippocampique pendant le sommeil, où les expériences épisodiques sont consolidées en représentations néocorticales stables grâce à la compression.
• Applications Potentielles :
  • Analyse littéraire : Visualisation des « signatures de rythme » des auteurs et comparaison structurelle de textes hétérogènes.
  • Éducation : Fourniture d'un vocabulaire basé sur les données pour enseigner la structure narrative.
  • Généralisation : Le mécanisme pourrait s'appliquer à d'autres données séquentielles (jurisprudence, expression génique, interactions utilisateurs) pour former des concepts structurels sans supervision.

En conclusion, cet article démontre que l'entraînement d'un modèle contrastif sous contrainte de capacité sur des données de co-occurrence temporelle permet d'extraire des concepts de structure de transition transférables et généralisables, offrant une nouvelle perspective sur l'organisation profonde des textes littéraires.