$τ$-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge

Dit paper introduceert $τ$-Knowledge, een nieuwe benchmark die conversatie-agenten evalueert op hun vermogen om ongestructureerde kennis en tools te integreren in complexe, realistische scenario's zoals die in de fintech-sector, waarbij zelfs geavanceerde modellen moeite hebben met het nauwkeurig ophalen van documenten en het toepassen van beleidsregels.

De kern

Hier is een uitleg van het paper τ-Knowledge, vertaald naar alledaags Nederlands met behulp van creatieve analogieën.

🏦 De Grote Uitdaging: De "Onzichtbare Bibliotheek"

Stel je voor dat je werkt als een bankmedewerker in een gigantisch, modern kantoor. Je klanten komen met complexe problemen: "Ik heb mijn portemonnee verloren, mijn kaarten zijn gestolen, en ik wil mijn rekening sluiten, maar ik heb ook een bonus nodig."

In het verleden moesten AI-assistenten (zoals chatbots) alleen maar antwoorden op vragen of simpele taken uitvoeren. Maar in de echte wereld is het veel lastiger. Je moet:

1. Zoeken in een enorme bibliotheek met duizenden documenten (beleid, regels, productinformatie) die niet goed geordend zijn.
2. Begrijpen wat die regels betekenen.
3. Actie ondernemen in het computersysteem van de bank (bijv. een kaart blokkeren).

Het probleem? De meeste AI-tests kijken alleen naar stap 1 (zoeken) OF stap 3 (handelen), maar niet naar de combinatie van beide in een lang gesprek.

🧪 De Oplossing: τ-Knowledge (Tau-Kennis)

De auteurs van dit paper hebben een nieuwe test ontwikkeld, genaamd τ-Knowledge. Ze noemen hun specifieke testomgeving τ-Banking (Tau-Bank).

De Analogie: De Vergeten Sleutel
Stel je voor dat de AI een detective is. De "misdadiger" is een ingewikkeld klantprobleem.

• De kennisbank is een bibliotheek van 700 losse, door elkaar liggende documenten.
• De gereedschappen (zoals "kaart blokkeren") zitten niet direct in de hand van de detective. Ze staan vermeld in de documenten. De detective moet eerst het juiste document vinden om te weten dat het gereedschap bestaat en hoe het werkt.
• Als de detective het verkeerde document pakt, kan hij het gereedschap niet gebruiken, en faalt hij de opdracht.

🤖 Wat hebben ze getest?

Ze hebben de slimste AI-modellen ter wereld (zoals GPT-5.2, Claude 4.5, Gemini) op deze test gezet. Ze lieten ze werken met verschillende zoekmethoden:

• Zoekmachine-stijl: Typen in een zoekbalk (zoals Google).
• Terminal-stijl: Bladeren door mappen en bestanden met commando's (zoals een computerhacker).
• Gouden Sleutel: Ze gaven de AI direct de juiste documenten mee (om te zien of het probleem het zoeken was of het begrijpen).

📉 De Verbluffende Resultaten

De resultaten waren verrassend slecht, zelfs voor de slimste AI's:

1. De "25% Regel": Zelfs de allerbeste AI's slaagden maar in ongeveer 25% van de gevallen. Dat betekent dat ze in 75% van de situaties faalden, zelfs als ze de slimste zoekmethodes gebruikten.
2. Het "Gouden Sleutel" Probleem: Toen ze de AI's direct de juiste documenten gaven (dus geen zoeken nodig), slaagden ze nog maar in 40% van de gevallen.
   • Wat betekent dit? Het probleem is niet alleen dat ze niet kunnen vinden. Het probleem is dat ze de informatie die ze vinden niet goed begrijpen of niet weten hoe ze die moeten toepassen op de situatie. Ze kunnen de puzzelstukjes niet aan elkaar rijgen.
3. De "Valse Vrienden": Soms dachten de AI's dat ze het goed deden, maar maakten ze fouten door te veel aan te nemen.
   • Voorbeeld: Een klant zegt: "Ik wil mijn kaart blokkeren." De AI denkt: "Oké, ik blokkeer hem." Maar in de regels staat: "Als er verdachte transacties zijn, moet je de kaart niet blokkeren, maar opheffen en vervangen." De AI las de regels niet goed door en deed het verkeerde.

⏱️ Snelheid vs. Kwaliteit

Een ander interessant punt is efficiëntie.

• Sommige AI's (zoals de "Claude" modellen) waren sneller en maakten minder fouten.
• Andere AI's (zoals de "GPT" modellen) probeerden alles uit, maakten veel meer zoekopdrachten, spraken veel meer woorden, en duurden veel langer, maar waren niet per se slimmer.
• Het is alsof één detective rustig de juiste map zoekt, terwijl de andere detective de hele bibliotheek doorzoekt, alles doorbladerd en toch de verkeerde map pakt.

💡 Waarom is dit belangrijk?

Dit paper laat zien dat we nog een lange weg te gaan hebben voordat AI-assistenten veilig en betrouwbaar kunnen werken in echte situaties (zoals klantenservice, juridisch advies of medische hulp).

• Huidige AI's zijn te onbetrouwbaar: Ze hallucineren (verzinnen dingen), missen belangrijke regels en raken de draad kwijt in lange gesprekken.
• Zoeken is niet genoeg: Het is niet genoeg om een goede zoekmachine te bouwen. De AI moet ook een "denker" zijn die begrijpt wat hij leest.
• Efficiëntie telt: In een echte chat met een mens is het vervelend als de AI 10 minuten doet over iets wat in 1 minuut kan. Dat kost vertrouwen.

🏁 Conclusie in één zin

τ-Knowledge is een nieuwe, moeilijke test die laat zien dat onze slimste AI's momenteel nog te vaak de "sleutels" kwijtraken in de bibliotheek van de realiteit, en zelfs als ze ze vinden, niet altijd weten hoe ze de deur moeten openen. We hebben AI's nodig die niet alleen kunnen zoeken, maar ook echt kunnen denken en handelen volgens de regels.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "τ-Knowledge: Evaluating Conversational Agents over Unstructured Knowledge" in het Nederlands.

Titel: τ-Knowledge: Evaluatie van Conversatieagenten over Ongestructureerde Kennis

1. Het Probleem

Conversatieagenten worden steeds vaker ingezet in kennisintensieve omgevingen (zoals klantenservice in de fintech-sector), waar correct gedrag afhankelijk is van het ophalen en toepassen van domeinspecifieke kennis uit grote, proprietaire en ongestructureerde corpora tijdens live interacties met gebruikers.

Bestaande benchmarks hebben echter twee belangrijke tekortkomingen:

• Ze evalueren retrieval (informatie ophalen) en tool use (gereedschap gebruiken) vaak geïsoleerd van elkaar.
• Ze missen realistische, volledig agentische evaluaties over ongestructureerde data in interacties met een lange horizon, waarbij de agent moet redeneren over interne beleidsregels en dynamische database-toestanden.

In de praktijk moeten agenten niet alleen zoeken naar informatie, maar ook begrijpen hoe deze informatie gekoppeld is aan specifieke tools en beleidsregels om complexe, multi-stap taken uit te voeren.

2. Methodologie: τ-Knowledge en τ-Banking

Om deze kloof te dichten, stellen de auteurs τ-Knowledge voor, een uitbreiding van de bestaande τ-Bench. De kern van deze nieuwe benchmark is het domein τ-Banking.

• Domein (τ-Banking): Een realistische fintech-omgeving voor klantenservice. Agenten moeten ongeveer 700 onderling verbonden kennisdocumenten navigeren (over producten, procedures en tools) terwijl ze tool-gemedieerde accountupdates uitvoeren.
• Constructie van de Kennisbank:
  • De auteurs gebruiken een structured-to-unstructured pipeline. Eerst wordt een gestructureerde database gegenereerd met productkenmerken en beleidsregels. Vervolgens wordt deze door LLM's omgezet in een corpus van natuurlijke taaldocumenten (zoals FAQ's en beleidsartikelen), waarbij de interne consistentie behouden blijft.
  • Dit resulteert in een corpus van ~194.000 tokens met 698 documenten over 21 productcategorieën.
• Ontdekbare Tools (Discoverable Tools): Een cruciaal innovatief element. Tools zijn niet direct beschikbaar voor de agent; ze worden alleen genoemd in de documentatie. De agent moet eerst de documentatie vinden en de tool "ontgrendelen" voordat deze gebruikt kan worden. Dit simuleert realistische scenario's waar capaciteiten afhankelijk zijn van correcte kennisretrieval.
• Gebruikerssimulatie: Een flow-based simulatie van gebruikers die reageren op agentacties en omgevingsveranderingen. Dit introduceert stochastische elementen zoals ongedefinieerde doelen en veranderende intenties.
• Evaluatiemeting: De prestaties worden gemeten met pass^k, de waarschijnlijkheid dat een taak succesvol wordt voltooid in k onafhankelijke trials. Dit benadrukt betrouwbaarheid, niet alleen eenmalig succes.

3. Belangrijkste Bijdragen

1. Nieuwe Benchmark: τ-Knowledge is de eerste benchmark die retrieval, redenering over ongestructureerde kennis, tool discovery en langdurige conversatie-integratie combineert in een realistische, mens-gerichte omgeving.
2. Realistische Complexiteit: Het introduceert "ontdekbare tools" en complexe beleidsafhankelijkheden (bijv. een creditcardverhoging kan alleen als er geen lopende geschillen zijn), wat agenten dwingt tot multi-hop redenering.
3. Flexibiliteit: De benchmark is onafhankelijk van het zoekmechanisme en ondersteunt diverse strategieën, waaronder dichte retrieval (embeddings), spaarse retrieval (BM25), en terminal-based zoekopdrachten (shell commands).
4. Efficiëntie-analyse: Het paper introduceert niet alleen succespercentages, maar analyseert ook oplossingsefficiëntie (tokenverbruik, conversatieduur, aantal tool-calls), wat essentieel is voor live implementaties.

4. Resultaten

De experimenten omvatten state-of-the-art modellen (GPT-5.2, Claude-4.5, Gemini-3) met verschillende zoekconfiguraties.

• Algemene Prestaties zijn Laag: Zelfs de beste configuratie (GPT-5.2 met hoge redeneercapaciteit en terminal-gebruik) bereikt slechts ~25,5% pass^1. De betrouwbaarheid daalt scherp bij herhaalde pogingen (pass^4 daalt naar ~13,4%).
• Retrieval is niet de Enige Bottleneck: Zelfs in een "Golden Retriever"-configuratie (waar de agent direct de juiste documenten krijgt), daalt de prestatie van de beste modellen (Claude-4.5-Opus) naar ~39,7% pass^1. Dit bewijst dat het probleem niet alleen ligt in het vinden van informatie, maar in het correct redeneren over complexe beleidsregels, cross-document afhankelijkheden en dynamische database-toestanden.
• Retrieval-configuratie en Efficiëntie:
  • Terminal-based search presteert vaak beter dan semantische zoekopdrachten voor sterke redeneermodellen, maar vereist aanzienlijk meer tokens, meer shell-commando's en duurt langer (tot 9x langzamer).
  • Dense retrieval is sneller en efficiënter, maar kan leiden tot lagere prestaties bij complexe zoekopdrachten.
  • Modellen neigen tot "brittle" (breekbaar) gedrag: ze maken te veel aannames bij onduidelijke gebruikersintenties, wat leidt tot overbodige zoekpogingen en conversatie-omwegen.
• Foutpatronen: Kwalitatieve analyse toont vier veelvoorkomende fouten:
  1. Verkeerde aanbevelingen door complexe productinterdependenties.
  2. Het negeren van impliciete volgorde-afhankelijkheden tussen taken.
  3. Te veel vertrouwen op gebruikersbeweringen zonder verificatie.
  4. Inefficiënt zoeken en het maken van ongefundeerde aannames.

5. Betekenis en Conclusie

τ-Knowledge toont aan dat er een aanzienlijke kloof bestaat tussen de huidige staat van de kunst van LLM's en de eisen voor betrouwbare, mens-gerichte agenten in real-world omgevingen.

• Kritieke Inzichten: Succes hangt niet alleen af van het ophalen van de juiste documenten, maar vooral van de capaciteit om die documenten te integreren in een logisch actieplan onder onzekerheid.
• Toekomstige Richting: De auteurs pleiten voor een verschuiving in evaluatiecriteria: naast "task success" moet ook oplossingsefficiëntie (tijd, kosten, conversatie-omwegen) een centrale rol spelen.
• Impact: De benchmark biedt een gecontroleerde testomgeving om de interactie tussen zoeken, redeneren en efficiëntie te bestuderen, wat essentieel is voor de ontwikkeling van robuuste conversatieagenten die veilig en betrouwbaar kunnen worden ingezet in sectoren zoals bankieren en juridische dienstverlening.

Kortom, τ-Knowledge benadrukt dat het bouwen van effectieve agenten voor ongestructureerde kennis een veel complexer probleem is dan alleen het verbeteren van retrieval-systemen; het vereist geavanceerde redeneercapaciteiten en strategisch planningsvermogen.