Tokengeist: Multi-Turn Attribution Tracing in Agentic Conversations
Cet article présente Tokengeist, un cadre évolutif qui remédie aux limites des méthodes d'attribution à passage unique dans les conversations multi-tours en traçant de manière récursive les dépendances au niveau des jetons à travers les tours de conversation, atteignant une précision nettement plus élevée dans la récupération de graphes de provenance complexes par rapport aux approches existantes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de comprendre pourquoi votre détective préféré dans une série télévisée a soudainement décidé de résoudre une affaire d'une manière spécifique. Vous connaissez la réponse finale, mais la série fait des sauts dans le temps, montrant le détective en train de parler à un témoin, puis en train de consulter une carte, puis en train d'appeler un ami, et enfin en train de prendre une décision. Si vous ne regardiez que la toute dernière scène, vous pourriez penser que la décision vient de l'ami. Mais et si l'ami ne faisait que répéter quelque chose que le témoin a dit, qui lui-même a obtenu l'information grâce à la carte ? Pour vraiment comprendre l'histoire, on ne peut pas se contenter de regarder le moment final ; il faut remonter la piste des indices étape par étape, à travers chaque conversation et chaque action qui y a mené. C'est le genre d'énigme que les scientifiques tentent de résoudre avec l'Intelligence Artificielle (IA).
Dans le monde de l'IA, et plus particulièrement avec les Grands Modèles de Langage (les chatbots super intelligents que nous utilisons aujourd'hui), il existe un problème croissant. Ces modèles ont souvent de longues conversations avec nous, où ils posent des questions, nous recevons des réponses, ils consultent une base de données, puis ils donnent une réponse finale. Parfois, la réponse finale dépend d'un détail minuscule que nous avons mentionné cinq tours auparavant, que le modèle a ensuite résumé, que le modèle a ensuite utilisé pour appeler un outil, ce qui a finalement conduit à la réponse. La grande question est : comment pouvons-nous voir exactement quelles parties de cette longue conversation ont façonné la réponse finale ? Actuellement, la plupart des outils qui tentent de répondre à cette question agissent comme une lampe de poche qui n'éclaire que la pièce immédiate. Ils peuvent vous dire quels mots de toute la discussion semblent importants, mais ils ratent la « trame narrative » de la façon dont l'information a voyagé du début à la fin. Cela importe car si nous ne pouvons pas tracer d'où l'IA tire ses faits, nous ne pouvons pas lui faire confiance, corriger ses erreurs ou comprendre pourquoi elle pourrait nous mentir.
Entrez en scène Tokengeist, une nouvelle méthode introduite par les chercheurs Jessica Tang, Shraddha Barke et Sharad Agarwal. Considérez l'ancienne façon de tracer les pensées de l'IA comme une carte « plate ». Si vous demandez à une carte plate de trouver la source d'une rumeur, elle peut vous indiquer la personne qui vous a rapporté la rumeur en dernier, mais elle ne vous dira pas qui a parlé à cette personne. Les chercheurs appellent cet échec la « réduction de provenance » (provenance collapse). C'est comme un jeu de téléphone arabe où le dernier joueur est blâmé pour le message, même si le message a été déformé trois personnes plus tôt. La méthode plate réduit toute l'histoire à un seul niveau, manquant ainsi le voyage profond et multi-étapes de l'information.
Pour corriger cela, l'équipe a construit Tokengeist, qui agit comme un détective récursif. Au lieu de simplement regarder la réponse finale et de demander : « À qui avez-vous parlé ? », Tokengeist demande : « À qui avez-vous parlé ? » puis, pour chaque personne que vous avez nommée, il demande : « Et qui a parlé à cette personne ? ». Il continue de creuser vers l'arrière, étape par étape, à travers les tours de conversation. Il traite la conversation comme un arbre de branchement (ou un arbre généalogique d'idées), où il suit les branches jusqu'aux toutes premières feuilles — les entrées originales de l'utilisateur ou les résultats des outils.
Les chercheurs ont testé cette idée en utilisant un nouveau benchmark qu'ils ont créé appelé MTCABENCH, qui contient 3 845 parties spécifiques de réponses issues de 665 différentes conversations multi-tours. Ces conversations étaient complexes, impliquant des outils comme la réservation de vols ou la consultation de comptes bancaires, où l'IA devait enchaîner des informations provenant de nombreuses étapes. Ils ont découvert que les anciennes méthodes « plates » étaient terribles pour cela. Lorsqu'on leur demandait de trouver la source originale de l'information, les méthodes plates ne réussissaient dans moins de 20 % des cas. Elles restaient bloquées au milieu de l'histoire.
En revanche, Tokengeist a changé la donne. En traçant de manière récursive le chemin vers l'arrière, il a réussi à trouver la source originale de l'information plus de 90 % du temps. Il ne s'est pas contenté de deviner ; il a cartographié le voyage complet. Par exemple, si une IA disait : « Vous pouvez annuler votre vol car vous avez une assurance », une méthode plate pointerait simplement vers la confirmation d'annulation. Tokengeist, cependant, a remonté jusqu'au résultat de l'outil qui montrait l'assurance, puis en arrière jusqu'à l'identifiant de l'utilisateur qui a débloqué ce résultat d'outil, et enfin jusqu'à la requête originale de l'utilisateur.
L'article suggère que cette approche récursive est la clé pour rendre l'IA transparente. Il montre que simplement regarder l'ensemble de la conversation en une seule fois ne suffit pas ; nous devons comprendre la structure de la conversation, comment un tour dépend d'un autre. Bien que la méthode fonctionne mieux avec les modèles d'IA spécifiques qu'ils ont testés (qui sont open-source et relativement petits), les résultats suggèrent fortement que, pour les agents d'IA complexes et multi-étapes, nous devons cesser de traiter les conversations comme une liste plate de mots et commencer à les traiter comme un réseau connecté de dépendances. Tokengeist ne se contente pas de nous dire ce que l'IA a dit ; il nous aide à comprendre toute l'histoire de la façon dont elle en est venue à le dire.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.