Comparative Analysis of Rule-Based, Deep Learning, and LLM Approaches for Causality Extraction: A Unified Benchmark

Dans le vaste paysage de la communication humaine, nous tissons constamment des récits de cause à effet. Nous disons qu'une pluie abondante a provoqué l'inondation d'un fleuve, ou qu'un délai manqué a conduit à l'échec d'un projet. Parfois, ces connexions sont évidentes, marquées par des mots comme « parce que » ou « a entraîné ». Mais souvent, le lien est caché. Un texte peut décrire une séquence d'événements où la cause n'est jamais nommée, laissant le lecteur déduire la relation en se basant sur le contexte et le bon sens. Pour que les ordinateurs comprennent véritablement notre langage, ils doivent apprendre à repérer ces fils invisibles, une tâche connue sous le nom d'extraction de causalité. Il ne s'agit pas seulement d'un puzzle linguistique ; c'est une nécessité pratique pour les machines qui doivent analyser des rapports de presse, des dossiers médicaux ou des enquêtes de sécurité afin de comprendre ce qui s'est passé et pourquoi. Pendant des années, des chercheurs ont tenté d'enseigner cette compétence aux ordinateurs en utilisant trois stratégies différentes : des ensembles rigides de règles créées par l'homme, des réseaux de neurones complexes qui apprennent à partir d'exemples, et la plus récente génération de modèles de langage massifs capables de raisonner à travers des instructions. Cependant, comme chaque groupe a testé ses méthodes sur des données différentes avec des systèmes de notation différents, il était impossible de savoir quelle approche était réellement la meilleure ou où elles échouaient.

Un chercheur de l'Université technique de Munich a décidé de lever cette incertitude en construisant un terrain d'essai unique et unifié. Il a rassemblé des collections de textes existantes provenant de l'actualité, de la médecine, de la finance et de rapports de sécurité, et a soigneusement réécrit les étiquettes pour chaque relation de cause à effet afin qu'elles suivent toutes la même définition stricte. Cela a créé un terrain de jeu équitable où il pouvait tester les trois principales stratégies côte à côte sous des conditions identiques. Il a opposé des systèmes simples basés sur des règles, qui recherchent des mots et des structures grammaticales spécifiques, à des modèles d'apprentissage profond qui ont étudié des milliers d'exemples, et enfin à de grands modèles de langage capables de traiter de vastes quantités de texte et de suivre des instructions complexes. L'objectif était de voir non seulement quelle méthode obtenait le score le plus élevé, mais aussi comment chacune gérait les parties délicates de la tâche, telles que la recherche de causes qui ne sont pas explicitement énoncées ou la connexion d'événements éloignés dans un document long.

Les résultats ont révélé un paysage bien plus nuancé que le récit simple selon lequel « le plus récent est meilleur » ne le suggère. Le chercheur a découvert que les vieux systèmes basés sur des règles, qui reposent sur la détection de mots comme « causé par » ou « dû à », sont encore étonnamment efficaces lorsque la cause est clairement marquée. Dans ces cas directs, ils performent presque aussi bien que les réseaux de neurones les plus avancés, mais ils le font sans nécessiter de données d'entraînement et avec presque aucune puissance de calcul. Cependant, ces systèmes rigides se heurtent à un mur lorsqu' la cause est cachée. Parce qu'ils dépendent entièrement d'indices de surface, ils échouent presque totalement lorsqu'un texte implique une relation sans utiliser de mots de liaison spécifiques.

Les modèles d'apprentissage profond, qui sont entraînés sur des exemples annotés, ont comblé ce fossé de manière significative. Ils se sont révélés bien meilleurs pour repérer les causes cachées et comprendre le contexte au sein d'une seule phrase ou d'un paragraphe court. Pourtant, ils ont eu du mal lorsque la cause et l'effet étaient séparés par plusieurs phrases ou lorsque le texte décrivait une longue chaîne d'événements. Les outils les plus puissants, les grands modèles de langage, ont montré la meilleure capacité globale à trouver ces connexions cachées et distantes. Lorsque ces modèles étaient soigneusement ajustés avec des exemples spécifiques, ils surpassaient les autres méthodes, particulièrement dans la catégorie la plus difficile consistant à trouver des causes qui sont à la fois implicites et réparties à travers un document. Cependant, cette performance supérieure avait un prix élevé. Les grands modèles nécessitaient beaucoup plus de puissance de calcul pour fonctionner et prenaient nettement plus de temps pour traiter chaque document que les modèles plus simples. De plus, même les meilleurs grands modèles commettaient un type d'erreur spécifique : ils identifiaient souvent l'idée correcte mais se trompaient légèrement sur les limites exactes de la phrase, un problème connu sous le nom de dérive de limite (boundary drift).

La découverte la plus importante fut peut-être qu'aucune méthode ne résolvait complètement le problème. Bien que les grands modèles de langage soient les plus forts globalement, ils échouaient encore à reconstruire entièrement la structure causale complète d'un document long environ la moitié du temps. Le chercheur a observé que les trois approches avaient des difficultés avec les chaînes causales où un événement intermédiaire n'était pas explicitement étiqueté comme une cause ou un effet, suggérant que la façon actuelle de définir ces tâches est peut-être trop simple pour la complexité des récits du monde réel. L'étude a également montré que, bien que les grands modèles soient assez robustes pour gérer un passage d'un sujet à un autre, comme le passage de textes médicaux à des rapports de sécurité, ils perdaient une précision significative par rapport à leur performance dans leur domaine d'origine.

Le tableau final est celui de forces complémentaires plutôt que d'un vainqueur clair. Le chercheur a conclu que le choix de la méthode doit dépendre entièrement des besoins spécifiques de l'application. Si un système doit traiter des milliers de rapports rapidement et que les causes sont généralement évidentes, un système simple basé sur des règles ou un réseau de neurones standard pourrait être le choix le plus pratique. Mais si l'objectif est de comprendre des relations complexes et cachées dans des textes divers et difficiles, les grands modèles de langage valent l'investissement supplémentaire, à condition que leurs limites soient gérées. L'étude suggère que l'avenir de ce domaine ne réside pas dans l'attente qu'une technologie en défoie une autre, mais dans la construction de systèmes hybrides qui combinent la vitesse et la précision des règles avec le pouvoir de raisonnement des grands modèles. En reconnaissant que chaque approche possède ses propres angles morts, les chercheurs peuvent désormais tendre vers la création d'outils véritablement capables de comprendre l'histoire complète de la cause et de l'effet.