Résumé technique : Au-delà des LLM : Une approche linguistique pour la génération de graphes causaux à partir de textes narratifs

Énoncé du problème

Les approches actuelles de génération de graphes causaux pilotées par l'IA privilégient souvent une causalité de haut niveau (par exemple, « le VIH entraîne le SIDA ») tout en peinant à capturer les relations causales nuancées et spécifiques aux événements au sein de récits discrets, tels que des comptes historiques ou de la fiction littéraire. Les méthodes existantes suivent généralement un pipeline en deux étapes (détection de la causalité suivie de la construction du graphe), mais se heurtent à des limites en termes d'interprétabilité et de précision, particulièrement lorsqu'elles traitent des structures de phrases complexes ou des liens causaux implicites. Le défi central abordé par ce travail est la génération de graphes causaux connectés et fins à partir de textes narratifs, reflétant fidèlement la chaîne d'événements menant à des résultats tangibles, comblant ainsi l'écart entre la causalité de haut niveau et les détails narratifs spécifiques.

Méthodologie

Les auteurs proposent un cadre de bout en bout qui intègre l'extraction de caractéristiques linguistiques avec des modèles de langage modernes pour générer des graphes causaux. Le processus se compose de quatre étapes distinctes :

1. Extraction des sommets (Vertices Extraction)

Le système transforme d'abord le texte narratif brut en un ensemble de phrases concises, centrées sur l'agent, qui servent de sommets au graphe. En utilisant une stratégie de résumé basée sur un LLM (spécifiquement GPT-4o, sélectionné pour sa performance supérieure dans la compression d'événements), le texte est traité via un flux de travail de prompting structuré :

• Résumé : Génération de résumés brefs des paragraphes.
• Substitution des pronoms : Remplacement des pronoms par des identifiants explicites (ex. : « Le Protagoniste »).
• Simplification des clauses : Division des phrases complexes en énoncés à action unique.
• Vérification du flux : Garantie de la continuité logique tout en écartant les détails tangents.
  Chaque sommet est contraint de ne contenir pas plus de deux clauses, de présenter un seul agent explicite et d'utiliser la voix active.

2. Extraction de l'Indice Expert (Expert Index Extraction)

Pour améliorer la précision de la classification, le cadre extrait sept caractéristiques fondées sur la linguistique (l'« Indice Expert ») pour chaque phrase. Ces caractéristiques sont adaptées de cadres de discours (Hemmatian et al., 2021 ; Hemmatian Borujeni, 2022) et incluent :

1. Généricité : Sujets spécifiques vs génériques.
2. Éventivité : Verbes dynamiques (action) vs statifs (état).
3. Bornage (Boundedness) : Événements épisodiques, habituels ou statiques.
4. Initiativité : Si le sujet initie ou reçoit l'action.
5. Début temporel : Passé ou présent par rapport au récit.
6. Fin temporelle : Présent ou futur par rapport au récit.
7. Impact : Si l'effet de l'événement persiste ou est résolu.

Un classificateur basé sur RoBERTa est entraîné sur des données annotées par des humains pour prédire ces caractéristiques pour chaque phrase.

3. Catégorisation STAC

Le système utilise un modèle de classification STAC pour catégoriser les phrases en quatre composantes : Situation (contexte), Tâche (exigence), Action (activité) et Conséquence (résultat).

• Entrée : Le modèle combine les plongements (embeddings) de phrases RoBERTa (768 dimensions) avec les caractéristiques de l'Indice Expert codées en one-hot (13 dimensions).
• Architecture : Un classificateur XGBoost est utilisé pour prédire l'étiquette STAC, exploitant l'entrée hybride des plongements sémantiques et des caractéristiques linguistiques explicites.
• Performance : Cette approche hybride surpasse de manière significative les modèles utilisant uniquement des plongements ou uniquement des caractéristiques linguistiques, ainsi que les bases zero-shot des LLM.

4. Construction du graphe

Un processus de prompting structuré en cinq itérations utilisant LangChain construit le grapo causal final :

1. Apprentissage des liens STAC : Le LLM intériorise les connexions causales valides entre les catégories STAC.
2. Identification des relations causales : Le modèle évalue les paires de sommets pour proposer des arêtes basées sur les liens STAC.
3. Cohérence logique et élagage : Le raisonnement contre-factuel (« Si A n'avait pas eu lieu, B se serait-il produit quand même ? ») filtre les liens non causaux.
4. Raffinement des sommets isolés : Le modèle réexamine les sommets déconnectés pour identifier des causes ou des effets omis.
5. Construction finale du graphe : Les sommets et les arêtes raffinés sont compilés en un diagramme causal cohérent et logiquement fondé.

Contributions clés

1. Cadre de bout en bout en open-source : Les auteurs ont développé un nouveau pipeline qui améliore considérablement l'interprétabilité et la précision de la génération de graphes causaux à partir de textes narratifs par rapport aux méthodes existantes.
2. Système de caractéristiques linguistiques : L'introduction de l'« Indice Expert » (sept caractéristiques linguistiques) fournit un mécanisme pour classer efficacement les phrases pour la construction causale. Ce système est validé par des expériences montrant que la combinaison de ces caractéristiques avec des plongements sémantiques produit une performance de classification supérieure.
3. Architecture hybride : L'article démontre qu'un système hybride (plongements RoBERTa + caractéristiques de l'Indice Expert traités par XGBoost) atteint une plus grande précision dans l'identification des liens causaux et la classification des composants narratifs que les bases de référence LLM-only, tout en maintenant des coûts de calcul inférieurs.

Résultats expérimentaux

Le cadre a été évalué sur un corpus de 100 chapitres et nouvelles (datant de 1800–1950), incluant des œuvres d'O. Henry, Poe et Fitzgerald.

• Extraction des sommets : GPT-4o a été identifié comme le modèle de résumé optimal, obtenant les scores les plus élevés en termes de concision, de couverture et d'économie d'information.
• Classification STAC : Le modèle XGBoost utilisant à la fois RoBERTa et l'Indice Expert a obtenu le score macro-F1 le plus élevé pour toutes les catégories STAC. Il a surpassé la base de référence RoBERTa-only d'environ 30 % et le classificateur zero-shot de GPT-4 d'une amélioration de 10 à 15 %.
• Qualité du graphe : Dans des comparaisons par paires contre GPT-4o et Claude 3.5, la méthode proposée a démontré une performance supérieure sur la plupart des dimensions qualitatives :
  • Causalité vs Chronologie : Taux de victoire de 100 % contre les deux bases de référence.
  • Complétude logique et précision des connexions : Taux de victoire de 100 %.
  • Motivations/Intentions explicites : 95 % (contre GPT-4o) et 92 % (contre Claude 3.5).
  • Granularité et Hiérarchie : Taux de victoire élevés (84–94 %).
  • Facilité de lecture : La méthode proposée maintient une lisibilité comparable aux bases de référence (taux de victoire de 52–57 %), indiquant qu'elle ne sacrifie pas la clarté au profit de la précision.

Signification et revendications

L'article affirme que l'intégration de l'ingénierie de caractéristiques linguistiques interprétables avec les modèles de langage modernes offre une solution robuste pour le raisonnement causal fin dans les textes narratifs. En allant au-delà du simple prompting de LLM vers un pipeline structuré impliquant des indices linguistiques et un raffinement itératif, le cadre atteint un niveau de précision et de cohérence logique que les LLM de pointe actuels peinent à reproduire de manière autonome. Les auteurs positionnent ce travail comme une étape vers une analyse scalable et interprétable de vastes collections de documents, permettant aux parties prenantes de retracer les chaînes d'événements dans les mouvements sociaux, l'élaboration de politiques et les tendances historiques avec une plus grande précision. L'outil résultant est en open-source, visant à faciliter la recherche ultérieure en résumé, analyse du discours et construction de graphes de connaissances.