Personalized Graph-Empowered Large Language Model for Proactive Information Access

1. Problématique

L'article aborde le défi de l'accès proactif à l'information personnelle. Les individus ont souvent du mal à se souvenir de tous les détails de leur vie, ce qui conduit à des oublis, des confusions ou des incohérences lors de la narration d'événements passés.

• Limites des systèmes existants : Les approches précédentes reposent souvent sur des modèles d'apprentissage profond (Deep Learning) nécessitant un entraînement intensif et souffrent de la rareté des données personnelles (lifelogs). De plus, ces modèles peinent à s'adapter rapidement aux nouvelles données accumulées au fil du temps.
• Opportunité : Les Grands Modèles de Langage (LLM) offrent des capacités prometteuses pour les applications personnalisées, mais leur utilisation directe pour la détection des besoins d'accès à l'information (sans aide externe) conduit à des performances sous-optimales et à des hallucinations.

2. Méthodologie : Le Framework GER (Graph-Empowered Refinement)

Les auteurs proposent un cadre de travail en trois modules conçu pour détecter les besoins d'accès à l'information en combinant la puissance des LLM avec la structure rigoureuse d'un Graph de Connaissance Personnel (Personal Knowledge Graph - PKG).

Le système analyse deux récits : un récit de référence (A, antérieur) et un récit cible (B, postérieur). L'objectif est de classer chaque événement du récit cible dans l'une des cinq catégories :

1. Cohérent (Consistent) : L'événement correspond aux faits enregistrés.
2. Incohérent (Inconsistent) : L'événement contredit les faits (ex: date erronée).
3. Supplémentaire (Additional) : Nouvelles informations non contradictoires.
4. Oublié (Forgotten) : Événement présent dans A mais absent de B.
5. Non oublié (Unforgotten) : Événement présent dans A et confirmé dans B.

Architecture du Framework GER :

• Module de Base (Base Module) : Utilise un LLM pour générer une prédiction initiale. Pour améliorer la précision, la tâche est transformée d'une classification multi-classes (5 types) en une classification binaire : "Pertinent" (Relevant) vs "Non pertinent" (Irrelevant) par rapport au récit de référence.
  • Pertinent : Cohérent, Incohérent, Non oublié.
  • Non pertinent : Oublié, Supplémentaire.
• Module de Support (Support Module) : Ce module intègre le PKG pour valider ou infirmer la prédiction du module de base. Il utilise deux classifieurs :
  1. Un classifieur basé sur le Graph de Connaissance (calcul de similarité cosinus entre les triplets de l'événement et les nœuds du graphe).
  2. Un classifieur basé sur un LLM (analyse textuelle des relations).
  • Seuls les événements identifiés comme pertinents par les deux classifieurs sont retenus comme "événements de support".
• Module de Correction (Correction Module) : Il affine la décision finale en comparant les sorties des modules de base et de support. Il utilise des mécanismes de prompt spécifiques :
  • Rethinking Prompt : Si le module de base dit "Pertinent" mais le support "Non pertinent", le LLM est invité à réévaluer pour éviter les hallucinations.
  • Exploration Prompt : Si le module de base dit "Non pertinent" mais le support "Pertinent", le LLM est guidé pour explorer les détails manquants via le graphe.
• Cartographe d'Étiquettes (Label Mapper) : Convertit les étiquettes binaires finales (Pertinent/Non pertinent) en étiquettes d'événements spécifiques (ex: distinguer "Cohérent" de "Incohérent" via un LLM fine-tuné).

3. Contributions Clés

1. Exploration des LLM pour la détection proactive : Utilisation des LLM non pas seulement pour générer du texte, mais pour détecter les besoins d'accès à l'information (oubli, erreur, ajout).
2. Framework hybride (Texte + Structure) : Proposition d'une architecture qui combine les informations textuelles (LLM) et structurées (Graphes de Connaissance) pour améliorer la fiabilité et la justesse des résultats.
3. Flexibilité et adaptabilité : Le framework permet de remplacer les modèles de base (ex: SEEN, Llama3, GPT) et les méthodes de récupération de faits, permettant une amélioration continue sans réentraînement complet du système.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données NIR (6 563 entrées), comparant le framework GER à des modèles de base (ChatGPT, Llama3-70B, SEEN).

• Performance globale : Le framework GER surpasse les modèles de base directs, en particulier pour les événements Oubliés (Forgotten) et Supplémentaires (Additional).
  • Pour la catégorie "Oublié", GER atteint un score de rappel de 0.8635 (avec SEEN Large comme base), surpassant significativement les autres modèles (p < 0.05).
  • Le framework améliore également les scores F1 pour les catégories "Supplémentaire" et "Oublié" par rapport à l'état de l'art (SEEN Large).
• Impact des modules :
  • Le module de base est le facteur le plus critique pour la performance globale.
  • Le module de support joue un rôle crucial dans la correction des erreurs, surtout pour les cas où le modèle de base hallucine.
  • Le module de correction permet d'exploiter les informations du graphe pour rectifier les prédictions initiales, améliorant les résultats même avec des modèles de base moins performants.
• Analyse des erreurs : L'utilisation directe des LLM pour la classification multi-classes donne de mauvais résultats. La transformation en tâche binaire (Pertinent/Non pertinent) suivie d'une étape de raffinement s'avère nettement supérieure.

5. Signification et Perspectives

• Adaptabilité temporelle : Contrairement aux modèles traditionnels qui nécessitent un réentraînement pour intégrer de nouvelles données, le framework GER peut s'adapter rapidement aux nouveaux lifelogs en mettant à jour simplement le graphe de connaissances, ce qui est essentiel pour les systèmes de mémoire à long terme.
• Réduction des hallucinations : L'intégration du graphe de connaissances agit comme une contrainte factuelle, réduisant les erreurs où le LLM invente des détails ou ignore des oublis.
• Limites et travaux futurs :
  • Les performances restent faibles pour la catégorie "Incohérent" (peu d'exemples et complexité de la détection de contradictions subtiles).
  • La gestion de la vie privée lors de la construction et de l'utilisation de graphes de connaissances personnels est identifiée comme un défi majeur à relever.
  • L'objectif futur est de déployer un système complet et end-to-end pour un usage quotidien, capable d'extraire des événements et de corriger les descriptions conflictuelles en temps réel.

En résumé, cet article démontre que l'association des LLM avec des graphes de connaissances personnels via un mécanisme de raffinement (GER) offre une solution robuste et flexible pour l'accès proactif à l'information, surpassant les approches purement textuelles ou purement structurées.