Résumé technique : Contexte de chemin borné dans les systèmes de QA sur graphes de connaissances basés sur des LLM

Énoncé du problème

Dans les systèmes de Question-Réponse sur Graphes de Connaissances (KGQA) basés sur des modèles de langage (LLM), les systèmes délèguent généralement la traversal du graphe à un contrôleur LLM. À chaque étape de la recherche, le contrôleur sollicite le LLM pour sélectionner la prochaine relation à suivre. Un motif de conception répandu consiste à sérialiser le chemin partiel complet (l'historique entier des entités et des relations traversées jusqu'ici) dans chaque prompt de routage.

Les auteurs soutiennent qu'il s'agit d'une hypothèse par défaut non testée. Bien que le contrôleur du graphe maintienne le chemin complet comme un état symbolique exact en mémoire, l'alimentation répétée de ce texte dans le prompt du LLM remplit deux rôles confondus :

1. Contexte de contrôle : Comptabilité exacte pour le système (que le code possède déjà).
2. Contexte d'explication : Texte optionnel de désambiguïsation pour le LLM.

Cette pratique engendre des coûts significatifs : elle consomme de la mémoire du cache KV, limite le regroupement local (local batching), augmente la latence et force le modèle à prêter attention à des informations historiques potentiellement obsolètes ou non pertinentes, qui entrent en concurrence avec les candidats de relation actuels. La question centrale est de savoir si le chemin symbolique complet est nécessaire pour la décision de routage locale du LLM, ou si un suffixe borné suffit.

Méthodologie : Contexte de chemin borné (BPC)

L'article introduit le Contexte de chemin borné (BPC), une intervention sur l'interface de prompt qui découple l'état symbolique du contrôleur du texte visible par le LLM lors de la sélection de relation.

Mécanisme central

• État symbolique : Le contrôleur conserve le chemin complet $p_t = (e_0, r_1, e_1, \dots, r_t, e_t)$ en mémoire pour l'extraction de la réponse et l'audit.
• Historique visible : Le prompt exposé au LLM pour la sélection de relation inclut la question, l'entité actuelle, les candidats de relation sortants, et uniquement les $K$ derniers sauts du chemin.
  • $K=0$ : Aucun saut précédent n'est affiché.
  • $K=1$ : Seul le saut immédiatement précédent est affiché.
  • $K=\text{complet}$ : Le chemin complet est sérialisé (la ligne de base conventionnelle).

Configuration expérimentale

• Ensembles de données : WebQSP et ComplexWebQuestions (CWQ), utilisant des voisinages de graphes locaux alignés sur RoG.
• Modèles : Qwen3.5-9B-AWQ et Qwen3.5-4B-AWQ, servis localement via vLLM.
• Contrôles : L'étude fixe les voisinages de graphes, la largeur de faisceau, la profondeur de recherche, les plafonds de relation et la température de décodage. La seule variable est la longueur de l'historique de chemin visible ($K$).
• Métriques : F1 de l'ensemble de réponses, Hits@1, comptes de tokens d'entrée et temps réel.

Résultats clés

1. Performance vs. Historique complet

Contrairement à l'intuition selon laquelle plus de contexte est meilleur, les histoires bornées égalent ou dépassent le prompting avec historique complet :

• Qwen3.5-9B :
  • WebQSP : $K=1$ a obtenu le F1 le plus élevé (0,487), surpassant l'historique complet (0,472). $K=0$ était presque à égalité (0,485).
  • CWQ : $K=0$ a obtenu le F1 le plus élevé (0,287), surpassant l'historique complet (0,274).
• Efficacité : Les contextes bornés ont considérablement réduit les tokens d'entrée (jusqu'à une réduction de 12,1 % sur CWQ) et, dans certains cas, réduit le temps réel.

2. Interaction avec la taille du modèle

La valeur optimale de $K$ dépend de la capacité du modèle :

• Échelle 9B : Les histoires bornées ($K=0$ ou $K=1$) surpassent généralement l'historique complet.
• Échelle 4B : L'historique complet a mieux performé que $K=0$, suggérant que les modèles plus petits bénéficient d'un certain contexte de chemin. Cependant, $K=1$ est resté le paramètre le plus performant sur les deux ensembles de données pour le modèle 4B, surpassant à la fois $K=0$ et l'historique complet.

3. Analyse des erreurs

• Stabilité : 71 à 84 % des exemples ont produit des scores F1 finaux identiques quelle que soit la longueur de l'historique, indiquant que la plupart des décisions de routage sont robustes face à la troncature du contexte.
• Modes d'échec :
  • Victoire de l'historique complet : S'est souvent produite lorsqu'un saut précédent était nécessaire pour désambiguïser l'entité actuelle.
  • Victoire bornée : S'est souvent produite lorsque l'historique complet introduisait des noms d'entités « obsolètes » ou des étiquettes de relations antérieures non pertinentes qui distraisaient le modèle.
• Contrôles aléatoires : La sélection aléatoire de relations a obtenu des scores nettement inférieurs, confirmant que les gains sont dus à la sélection de relations apprise et à l'ancrage dans le graphe, et non simplement à une réduction du bruit.

Contributions clés

1. Découplage de l'interface : Définition du BPC comme une méthode pour séparer l'état symbolique déterministe (mémoire du contrôleur) de la communication visible par le modèle (texte du prompt).
2. Preuve empirique : Démonstration que la sérialisation du chemin complet n'est pas un défaut uniformément supérieur. Sur WebQSP et CWQ, les histoires bornées ($K=0$ ou $K=1$) ont obtenu des scores F1 plus élevés avec moins de tokens.
3. Nuance sur la taille du modèle : Identification du fait que, bien que les modèles plus petits (4B) bénéficient d'un certain contexte, un seul saut visible ($K=1$) est un paramètre constamment compétitif à travers différentes échelles de modèles.
4. Contrôles diagnostiques : Validation que les résultats ne sont pas des artefacts de l'accès au graphe ou du hasard, mais découlent de l'interaction spécifique entre la longueur du chemin et l'attention du LLM.

Signification et affirmations

L'article affirme que la longueur de sérialisation du chemin doit être traitée comme une variable d'interface ajustable plutôt que comme une hypothèse par défaut fixe dans les contrôleurs de graphes basés sur des LLM.

• Conception du système : Le BPC permet aux concepteurs de systèmes de réduire la charge de tokens d'entrée et la latence sans sacrifier (et souvent en améliorant) la précision.
• Perspective théorique : Les résultats suggèrent que pour les décisions de routage local, la combinaison « question + entité actuelle + candidats de relation » encode de forts signaux locaux. Les sauts plus anciens peuvent être utiles pour la désambiguïsation, mais agissent souvent comme des distractions en introduisant des formes de surface non pertinentes.
• Auditable : En conservant le chemin complet en mémoire symbolique, le BPC maintient la capacité d'auditer les preuves et d'extraire des réponses à partir de chemins complets, même si les prompts de routage sont tronqués.

Les auteurs concluent que, bien que l'historique complet ne soit pas le paramètre offrant le F1 le plus élevé dans leurs exécutions, la limite spécifique ($K=1$) offre un défaut robuste et efficace qui équilibre la désambiguïsation locale avec l'économie de prompt.