Résumé technique : ATOM – Construction de Graphes de Connaissances Temporels Dynamiques Adaptatifs et Optimisés

1. Énoncé du problème

La construction de graphes de connaissances (KG) à partir de textes non structurés est cruciale pour l'analyse en temps réel et les cadres de mémoire dynamique. Cependant, les graphes de connaissances statiques traditionnels ne parviennent pas à capturer la nature sensible au temps des données du monde réel. Bien que les graphes de connaissances temporels (TKG) remédient à cela en associant des horodatages aux faits, les approches existantes font face à trois limitations principales lors de leur déploiement en production :

1. Manque d'exhaustivité : Les méthodes actuelles de type zero-shot ou few-shot omettent souvent des relations clés, particulièrement lorsque la longueur du contexte d'entrée augmente, en raison de l'effet d'oubli des modèles de langage de grande taille (LLM).
2. Instabilité : Plusieurs exécutions d'un même prompt d'extraction sur un texte identique produisent souvent des résultats différents, menant à des structures de graphes incohérentes.
3. Scalabilité et latence : Le traitement séquentiel et la dépendance lourde aux appels LLM pour la résolution d'entités et la fusion temporelle créent des goulots d'étranglement, rendant les mises à jour en temps réel impraticables pour des ensembles de données à grande échelle.

De plus, de nombreuses méthodes existantes confondent le moment où une observation est faite avec la période de validité du fait lui-même, ce qui entraîne des inexactitudes temporelles.

2. Méthodologie : Le cadre ATOM

Les auteurs proposent ATOM (AdapTive and OptiMized), un cadre de travail few-shot et scalable conçu pour construire et mettre à jour continuellement des graphes de connaissances temporels dynamiques (DTKG). L'architecture est définie par une approche de modélisation temporelle duale et un pipeline de traitement parallèle.

2.1 Modélisation temporelle duale

ATOM distingue deux dimensions temporelles :

• Temps d'observation ($t_{obs}$) : Quand l'information a été observée ou ingérée.
• Période de validité ($t_{start}, t_{end}$) : L'intervalle de temps intrinsèque pendant lequel le fait est vrai.
  Cette séparation permet au système de gérer les expressions temporelles relatives (par exemple, « il y a un mois ») en utilisant le temps d'observation comme contexte pour que le LLM puisse inférer la période de validité.

2.2 Architecture de base

Le cadre fonctionne via trois modules séquentiels :

Module 1 : Décomposition en faits atomiques
Au lieu de traiter directement les documents bruts, ATOM décompose le texte non structuré en « faits atomiques » minimaux et auto-contenus. Chaque fait transmet exactement une pièce d'information.

• Raisonnement : Cela atténue l'effet d'oubli des LLM où les modèles privilégient les informations saillantes dans les contextes longs et omettent des relations clés.
• Optimisation : Des expériences ont déterminé qu'une taille de chunk optimale de < 400 tokens permet de maintenir une exhaustivité élevée (> 0,8).

Module 2 : Construction de TKG atomiques
À partir de chaque fait atomique, le système extrait des 5-uplets (sujet, relation, objet, $t_{start}$, $t_{end}$) en parallèle.

• Prétraitement : Lors de l'extraction, le système transforme les faits de type « action de fin » (par exemple, « n'est plus PDG ») en contreparties affirmatives avec des temps de fin modifiés (par exemple, en fixant $t_{end}$) pour faciliter la fusion ultérieure.
• Contexte : Des exemples de few-shot sont fournis pour guider le LLM dans la gestion des expressions temporelles relatives.

Module 3 : Fusion atomique parallèle et mise à jour du DTKG
Les TKG atomiques extraits sont fusionnés en parallèle à l'aide d'un algorithme de fusion binaire, évitant les appels LLM durant la phase de fusion pour garantir la scalabilité.

• Résolution d'entités : Fusionne les entités basées sur des correspondances exactes ou la similitude cosinus ($\theta_E = 0,8$).
• Résolution de relations : Fusionne les noms de relations basés sur la similitude sémantique ($\theta_R = 0,7$).
• Résolution temporelle : Détecte et aligne les faits possédant le même triplet $(sujet, relation, objet)$ mais des périodes de validité différentes, étendant l'historique du fait plutôt que de créer des arêtes dupliquées.
• Parallélisme : Le processus de fusion est itératif et parallélisé, réduisant le nombre de TKG étape par étape jusqu'à l'obtention d'un instantané consolidé unique.

3. Contributions clés

• Stratégie de décomposition atomique : Une approche novatrice consistant à décomposer le texte en faits atomiques pour améliorer à la fois l'exhaustivité et la stabilité de l'extraction basée sur les LLM.
• Modélisation temporelle duale : Une définition formelle des DTKG qui sépare le temps d'observation des périodes de validité, améliorant la précision du raisonnement temporel.
• Architecture parallèle scalable : Un pipeline qui découple l'extraction et la fusion, utilisant le traitement parallèle pour réduire considérablement la latence par rapport aux méthodes de fusion séquentielles ou dépendantes des LLM.
• Implémentation Open-Source : Le cadre est publié sous la forme d'une bibliothèque Python open-source avec les codes, prompts et jeux de données associés.

4. Résultats expérimentaux

Les auteurs ont évalué ATOM sur le sous-ensemble 2020-COVID-NYT (1 076 articles) par rapport à des bases de référence incluant Graphiti et iText2KG.

• Exhaustivité : ATOM a atteint environ 18 % d'exhaustivité supplémentaire dans le rappel factuel-temporel ($R_{f,t}$) par rapport aux méthodes de référence. Il a démontré que la décomposition du texte en faits atomiques empêche la perte d'information courante dans le traitement de contextes longs.
• Stabilité : En utilisant des faits atomiques, ATOM a amélioré la stabilité (mesurée par la similitude de Jaccard entre les exécutions) d'environ 33 %, réduisant considérablement la variance de sortie par rapport au traitement des paragraphes d'introduction bruts.
• Latence et Scalabilité : L'architecture parallèle a entraîné une réduction de la latence de >90 % (93,8 % pour Graphiti ; 95,3 % pour iText2KG). Le système passe à l'échelle efficacement avec le nombre de faits d'entrée, là où les bases de référence souffrent d'une latence croissante en raison des étapes de résolution séquentielles ou gourmandes en LLM.
• Cohérence : ATOM a démontré une performance supérieure en résolution temporelle, fusionnant correctement les faits ayant des périodes de validité différentes en un seul historique, là où Graphiti avait tendance à créer des relations distinctes.

Note sur les compromis : L'augmentation de l'exhaustivité s'est accompagnée d'une légère baisse de la précision factuelle (9 %) et de la précision factuelle-temporelle (1 %), attribuée à la génération de faits « inférés » sémantiquement plausibles mais pas strictement conformes au standard de référence lors de la décomposition, ainsi qu'à de légères erreurs d'assignation temporelle.

5. Signification et affirmations

L'article affirme qu'ATOM comble l'écart critique entre le potentiel théorique des TKG et leur déploiement pratique dans des environnements dynamiques et en temps réel. En garantissant la stabilité et l'exhaustivité grâce à la décomposition atomique et en atteignant la scalabilité via une fusion parallèle, ATOM permet la mise à jour continue et à faible latence des graphes de connaissances.

Les auteurs positionnent ATOM comme une solution robuste pour les systèmes agentiques nécessitant une mémoire dynamique et pour les applications exigeant une inférence temporelle en temps réel. Ils reconnaissent des limites, notamment la propagation potentielle d'erreurs issue de l'étape de décomposition et le coût computationnel du processus en deux étapes, suggérant que les travaux futurs pourraient impliquer le fine-tuning de LLM spécifiquement pour la décomposition en faits atomiques afin d'optimiser davantage les performances et les coûts.