$τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge

Ce papier présente $τ$-Knowledge, un nouveau benchmark évaluant la capacité des agents conversationnels à coordonner des connaissances non structurées et des outils dans des scénarios réalistes de support client fintech, révélant que même les modèles de pointe peinent à atteindre une fiabilité suffisante dans ces tâches complexes.

L'essentiel

🏦 Le Grand Test de la Banque Imaginaire : τ-Knowledge

Imaginez que vous embauchez un nouveau stagiaire pour travailler dans une grande banque. Ce stagiaire est un robot très intelligent (une intelligence artificielle), mais il a un problème majeur : il ne connaît pas les règles de la banque par cœur.

Pour faire son travail, il doit :

1. Trouver la bonne règle dans une bibliothèque géante remplie de milliers de documents (des manuels, des FAQ, des contrats).
2. Comprendre cette règle.
3. Agir en conséquence (par exemple, bloquer une carte volée ou ouvrir un compte).

Le papier de recherche présente τ-Knowledge (Tau-Knowledge), qui est en réalité un grand examen de stress pour ces robots.

1. Le Défi : Une Bibliothèque Oubliée

Dans la vraie vie, les agents de service client doivent souvent chercher des informations dans des bases de données complexes.

• L'analogie : Imaginez que votre robot stagiaire est dans une bibliothèque de 700 livres (les documents de la banque). Mais il ne connaît pas le titre exact du livre qu'il doit lire. Il doit deviner, chercher, ouvrir le bon livre, lire la page 42, et ensuite utiliser un outil (comme une machine à écrire magique) pour modifier le dossier du client.
• Le problème : La plupart des tests précédents demandaient au robot soit de trouver le livre, soit d'utiliser l'outil, mais pas les deux en même temps dans une conversation réelle. Ici, le robot doit faire les deux simultanément, comme un vrai humain.

2. Comment ça marche ? (Le Scénario)

Le test simule des conversations réalistes avec des clients qui ont des problèmes complexes :

• Client : "J'ai perdu mon portefeuille avec mes cartes !"
• Robot : "Pas de panique. Je vais chercher la procédure..." (Il fouille dans les 700 documents).
• Robot : "Ah, je vois ici qu'il faut d'abord vérifier les transactions suspectes avant de bloquer la carte." (Il lit le document).
• Robot : "Je vois une transaction bizarre à CryptoMiner. Je dois donc bloquer la carte, mais attention, il y a une règle qui dit qu'on ne peut pas bloquer si..."

Le robot doit naviguer dans ces règles imbriquées, comme un détective qui résout une énigme où chaque indice se trouve dans un dossier différent.

3. Les Résultats : Les Robots sont encore des "Élèves en Difficulté"

Les chercheurs ont testé les meilleurs robots du monde (les modèles d'IA les plus avancés). Le résultat est surprenant et un peu décevant :

• Le score est bas : Même les robots les plus intelligents réussissent à peine 25 % des tâches du premier coup. C'est comme si un élève de terminale ratait 3 questions sur 4 à un examen de mathématiques.
• Pourquoi ?
  • Ils se perdent dans la bibliothèque : Ils ne trouvent pas le bon document.
  • Ils oublient les règles : Ils trouvent le document, mais ne comprennent pas qu'une règle bloque une autre action (ex: "On ne peut pas augmenter la limite de crédit si un litige est en cours").
  • Ils sont trop sûrs d'eux : Parfois, ils devinent au lieu de vérifier, ce qui mène à des erreurs.

4. La Révélation : Ce n'est pas juste un problème de "Recherche"

Les chercheurs ont fait une expérience intéressante : ils ont donné les bons documents directement au robot, sans qu'il ait besoin de chercher.

• Résultat : Le score est monté, mais seulement à 40 %.
• La leçon : Le problème n'est pas seulement de trouver l'information (comme chercher une aiguille dans une botte de foin). Le vrai problème est de comprendre et d'appliquer cette information dans un contexte complexe. C'est comme si on donnait la recette du gâteau au robot, mais qu'il oublie encore de mettre les œufs ou de régler le four à la bonne température.

5. L'Efficacité : La course contre la montre

Le papier souligne aussi un autre aspect crucial : l'efficacité.

• Certains robots réussissent la tâche, mais ils mettent 10 fois plus de temps et font 10 fois plus d'erreurs de parcours (comme tourner en rond dans la bibliothèque) que d'autres.
• L'analogie : Imaginez deux livreurs. L'un arrive à temps en 10 minutes. L'autre arrive aussi, mais il a fait 50 km de plus, a perdu du temps à chercher son chemin, et a épuisé son client en attendant. Dans le monde réel, cette inefficacité coûte cher et énerve les clients.

En Résumé : Pourquoi c'est important ?

Ce papier nous dit que pour créer de véritables assistants IA capables de travailler dans des entreprises (banques, hôpitaux, assurances), nous ne pouvons pas nous contenter de les rendre plus "intelligents" pour trouver des informations.

Nous devons les entraîner à :

1. Penser de manière logique (comprendre les liens entre les règles).
2. Être prudents (ne pas deviner quand on ne sait pas).
3. Être efficaces (résoudre le problème rapidement sans faire de détours inutiles).

τ-Knowledge est donc une nouvelle boussole pour les chercheurs : elle leur montre exactement où leurs robots échouent encore, afin qu'ils puissent les améliorer pour qu'ils soient de véritables partenaires de travail, et non plus de simples robots qui cherchent dans des livres.

Résumé technique

Titre : τ-Knowledge : Évaluation des Agents Conversationnels sur des Connaissances Non Structurées

1. Problématique

Les agents conversationnels sont de plus en plus déployés dans des environnements intensifs en connaissances (ex: support client fintech, juridique), où leur comportement correct dépend de la capacité à récupérer et appliquer des connaissances spécifiques à un domaine issues de vastes corpus non structurés (documents textuels, politiques internes) lors d'interactions en temps réel avec des utilisateurs.

Cependant, les benchmarks existants présentent plusieurs lacunes majeures :

• Ils évaluent généralement la récupération d'information (retrieval) et l'utilisation d'outils (tool use) de manière isolée.
• Ils ne capturent pas la complexité des interactions réelles où l'agent doit raisonner sur des connaissances privées, découvrir ses propres capacités (outils) via la documentation, et gérer des objectifs mal définis ou évolutifs.
• Il manque un cadre d'évaluation réaliste pour les agents agissant sur de longues horizons temporels avec des données non structurées.

2. Méthodologie : Le Benchmark τ-Knowledge

Pour combler ce vide, les auteurs introduisent τ-Knowledge, une extension du benchmark τ-Bench, centrée sur un nouveau domaine : τ-Banking.

A. Le Domaine τ-Banking

• Contexte : Simulation de workflows de support client dans la fintech.
• Base de Connaissances (KB) : Un corpus de 698 documents non structurés (environ 194 000 tokens) couvrant 21 catégories de produits (comptes courants, épargne, cartes de crédit, etc.). Ces documents contiennent des détails produits, des politiques procédurales internes et la documentation des outils.
• État du Monde : Un état global partagé incluant une base de données bancaire (comptes, transactions, références) et l'historique de la conversation. L'agent ne peut pas observer directement la base de données ; il doit agir via des outils.
• Outils Découvrables (Discoverable Tools) : Contrairement aux benchmarks précédents où les outils sont fournis a priori, dans τ-Banking, les outils sont cachés dans la documentation. L'agent doit d'abord trouver la signature de l'outil dans les documents, puis l'« débloquer » (unlock) avant de pouvoir l'utiliser. Cela crée une dépendance critique entre la récupération de l'information et l'exécution de l'action.

B. Construction du Benchmark
Le corpus et les tâches sont générés via un pipeline hybride (LLM + Humain) en cinq étapes :

1. Génération de base de données structurée : Création d'un schéma de produits et de politiques cohérent.
2. Conversion en documents non structurés : Transformation des données structurées en articles naturels (FAQ, politiques) tout en préservant la cohérence interne.
3. Création des tâches : Définition de workflows réalistes (ex: ouvrir un compte, gérer une fraude) avec des contraintes de dépendance temporelle.
4. Raffinement humain : Vérification de la solvabilité des tâches et de l'absence de raccourcis.
5. Simulation Utilisateur : Utilisation d'un simulateur d'utilisateur basé sur un flux conditionnel (flow-based) qui réagit aux actions de l'agent sans révéler l'état futur, évitant ainsi les biais d'oracle.

C. Métriques d'Évaluation

• Pass@k : Probabilité qu'une tâche soit réussie dans k essais indépendants (mesure de fiabilité).
• Efficacité de la solution : Durée de la tâche, nombre d'appels aux outils, et nombre de tours de conversation.
• Rappel de document (Document Recall) : Pourcentage de documents « or » (nécessaires) qui apparaissent dans le contexte de l'agent.

3. Contributions Clés

1. Nouveau Paradigme d'Évaluation : τ-Knowledge est le premier benchmark à évaluer simultanément la récupération de connaissances non structurées, la découverte d'outils, le raisonnement sur des politiques complexes et l'interaction utilisateur sur de longues durées.
2. Indépendance du Mécanisme de Récupération : Le benchmark est agnostique quant à la méthode de recherche, permettant d'évaluer le dense retrieval (embeddings), le sparse retrieval (BM25), et l'exploration via terminal (commandes shell comme grep, cat).
3. Analyse de l'Efficacité : Introduction de la notion d'efficacité (coût, latence, nombre de tours) comme métrique cruciale pour les déploiements réels, au-delà du simple taux de réussite.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles de pointe (GPT-5.2, Claude-4.5-Opus/Sonnet, Gemini-3-Pro/Flash) avec différentes configurations de récupération.

• Difficulté Élevée : Même les meilleurs modèles avec des budgets de raisonnement élevés obtiennent des performances médiocres.
  • Le meilleur résultat global est 25,52 % en pass@1 (GPT-5.2 avec recherche via terminal).
  • La fiabilité chute drastiquement avec la répétition : le pass@4 tombe à 13,40 %.
• Le Goulot d'Étranglement n'est pas seulement la Récupération :
  • Même avec un « Golden Retriever » (les documents essentiels fournis directement dans le contexte, éliminant le besoin de recherche), le meilleur modèle (Claude-4.5-Opus) n'atteint que 39,69 % de réussite.
  • Cela prouve que l'échec principal provient de l'incapacité des modèles à raisonner correctement sur des politiques complexes, à gérer les dépendances entre documents et à suivre des ordres de tâches topologiques (ex: résoudre une dispute avant de demander une augmentation de crédit).
• Impact de la Configuration de Recherche :
  • La recherche via terminal (libre exploration) surpasse souvent la recherche sémantique dense pour les modèles de raisonnement avancés, mais au prix d'une latence beaucoup plus élevée (9x plus de temps pour GPT-5.2) et d'un nombre accru d'appels aux outils.
  • Les modèles plus faibles ou sans raisonnement actif ne bénéficient pas de la recherche libre et échouent davantage.
• Modes d'Échec Fréquents :
  • Interdépendances complexes : Mauvaise combinaison de produits (ex: privilégier un bonus promotionnel sur un taux de base supérieur).
  • Ordre des tâches ignoré : Exécution des actions dans l'ordre demandé par l'utilisateur plutôt que dans l'ordre logique requis par les politiques (ex: fermer un compte avant d'ouvrir un nouveau, ce qui bloque l'opération).
  • Confiance excessive : Accepter les affirmations de l'utilisateur sans vérifier l'état du système (ex: croire qu'une dispute est réglée alors que le statut est toujours "en cours").
  • Hypothèses non vérifiées : Faire des suppositions sur l'intention de l'utilisateur sans clarification.

5. Signification et Conclusion

τ-Knowledge met en lumière un fossé significatif entre les capacités actuelles des agents LLM et les exigences des déploiements réels dans des environnements de connaissances non structurées.

• Limites actuelles : Les modèles actuels peinent à coordonner la récupération d'information, le raisonnement logique et l'exécution d'outils sur de longues séquences.
• Importance de l'Efficacité : La réussite brute ne suffit pas ; l'efficacité (coût, temps, nombre d'interactions) est critique pour l'adoption commerciale. Les stratégies de recherche actuelles entraînent souvent des boucles de conversation excessives.
• Perspectives Futures : Le benchmark suggère que l'avenir des agents repose sur l'amélioration du raisonnement sur des politiques dynamiques, la gestion de l'incertitude utilisateur, et l'optimisation de l'efficacité de la recherche (ne pas chercher plus que nécessaire).

En résumé, τ-Knowledge fournit un testbed réaliste et rigoureux pour mesurer les progrès des agents conversationnels vers des déploiements humains fiables, révélant que la simple augmentation de la puissance de calcul ou de la taille du contexte ne résout pas les problèmes fondamentaux de raisonnement et de planification dans des environnements complexes.