Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents

Het paper introduceert NabaOS, een lichtgewicht verificatiekader dat, geïnspireerd door de Indiase Nyaya Shastra-epistemologie, gebruikmaakt van HMAC-gesigneerde tool-ontvangstbewijzen in plaats van zware zero-knowledge-bewijzen om hallucinaties van AI-agenten in real-time met minimale latentie te detecteren.

De kern

De "NabaOS": De Rekenbon van de AI (Geen Magie, Gewoon Bewijs)

Stel je voor dat je een persoonlijke assistent hebt die heel slim is, maar soms ook een beetje een dromer. Hij kan dingen doen die jij niet kunt, zoals e-mails controleren, je bankrekening bekijken of het weer opzoeken. Maar er is een groot probleem: deze assistent (een AI) kan soms hallucineren.

Hij kan zeggen: "Ik heb net 3 e-mails van Alice gelezen," terwijl hij in werkelijkheid geen enkele e-mail heeft opgehaald. Of hij zegt: "De beurskoers is 150 euro," terwijl hij dat gewoon heeft bedacht. Voor de gebruiker is het onmogelijk om te zien of de AI echt iets heeft gedaan of dat hij gewoon een mooi verhaal verzint.

Dit artikel introduceert NabaOS, een slim systeem om te checken of de AI eerlijk is, zonder dat het lang duurt of dure computers nodig heeft.

Het Probleem: Waarom de huidige "magische" oplossingen niet werken

Er zijn al mensen die proberen dit op te lossen met wiskundige "onweerlegbare bewijzen" (in het Engels: Zero-Knowledge Proofs).

• De analogie: Stel je voor dat je een wiskundige wilt bewijzen dat je een taart hebt gebakken. De huidige methode is alsof je de hele keuken afsluit, een onzichtbare muur bouwt, en dan een getuige vraagt om urenlang te wachten tot hij kan bewijzen dat er wel een taart is, zonder dat hij de taart mag zien.
• Het nadeel: Dit duurt te lang (minuten per vraag) en is te duur. Voor een chatbot die je binnen een seconde moet antwoorden, is dit onmogelijk. Bovendien bewijst het alleen dat de AI goed heeft gerekend, niet dat het antwoord waar is. Een AI kan perfect een leugen berekenen.

De Oplossing: De "Rekenbon" (Tool Receipts)

NabaOS doet het anders. In plaats van complexe wiskunde, gebruiken ze iets heel alledaags: een digitale rekenbon.

Hoe werkt het?

Stel je voor dat je in een restaurant zit. Je bestelt een pizza.

1. De Chef (de AI): Zegt: "Ik heb een pizza besteld bij de leverancier."
2. De Kassa (het Systeem): De AI zelf mag niet naar de leverancier gaan. Dat doet de kassa. De kassa belt de leverancier, haalt de pizza op, en geeft je een rekenbon.
3. De Rekenbon: Op deze bon staat:
   • Wat er is besteld (de "input").
   • Wat er is opgehaald (de "output", bijv. "3 e-mails").
   • Een handtekening (een digitaal zegel) die niet kan worden vervalst.
4. De Check: Als de AI later tegen jou zegt: "Ik heb 5 e-mails gevonden," kijkt het systeem naar de rekenbon.
   • Staat er op de bon "3 e-mails"? Dan zegt het systeem: "Stop! Je liegt. De bon zegt 3."
   • Staat er op de bon "Geen e-mails"? Dan zegt het systeem: "Je zegt dat je niets vond, maar de bon zegt dat er 3 waren."

Dit gaat razendsnel (minder dan 15 milliseconden) en is bijna gratis.

De Slimme Filosofie: De "Wetenschap van het Weten"

Het meest interessante aan NabaOS is hoe het de antwoorden van de AI classifyert. Ze hebben inspiratie gehaald uit een oude Indiase filosofie (Nyāya), die zegt dat er verschillende manieren zijn om iets te weten.

In plaats van alleen te zeggen "Waar" of "Niet Waar", geeft NabaOS je een vertrouwensscore met nuance:

1. Direct Bewijs (Pratyakṣa): "Ik heb 3 e-mails gezien."
   • Betekenis: Dit staat 100% op de rekenbon. Je kunt dit vertrouwen.
2. Een Redenering (Anumāna): "Alice lijkt bezorgd over de deadline."
   • Betekenis: De AI heeft de e-mails gezien (bewijs), maar de conclusie dat ze bezorgd is, is een gevolgtrekking van de AI. Dit is slim, maar niet 100% feit. Het systeem zegt: "Dit is een goede gok, maar het staat niet letterlijk op de bon."
3. Getuigenis (Śabda): "Volgens Reuters stijgen de rentes."
   • Betekenis: De AI heeft echt een nieuwsartikel opgehaald. Het systeem checkt of die link echt bestaat.
4. Afwezigheid (Abhāva): "Ik heb geen e-mails gevonden."
   • Betekenis: De rekenbon zegt: "Resultaat: 0". Dit is een bewezen leegte.
5. Ongegrond: "Ik denk dat Alice morgen jarig is."
   • Betekenis: Er is geen rekenbon voor. De AI verzint dit. Het systeem waarschuwt: "Dit is een mening, geen feit."

Wat hebben ze getest?

Ze hebben een test gemaakt genaamd NyayaVerifyBench. Ze lieten de AI 1.800 keer antwoorden, waarbij ze expres leugens in de antwoorden stopten (zoals "Ik heb 5 e-mails" terwijl er maar 3 waren).

De resultaten:

• NabaOS ving 91% van alle leugens op.
• Het was veel sneller dan andere methoden (geen wachttijd).
• Het werkte in 4 talen (Engels, Hindi, Mandarijn, Spaans) even goed.
• Als het systeem zegt: "Dit is volledig verifieerbaar", dan is het antwoord 98,7% correct.

Waarom is dit belangrijk voor jou?

Vroeger was het ofwel "Waar" of "Niet Waar". Met NabaOS krijg je informatie over hoe de AI aan zijn antwoord komt.

• Als je een arts bent die een AI gebruikt om medische resultaten te lezen, wil je weten: "Is dit een direct resultaat van de labtest (Direct Bewijs) of is het een interpretatie van de AI (Redenering)?"
• Als je een AI gebruikt om je geld te beheren, wil je zeker weten dat hij niet bedriegt over je saldo.

Conclusie:
NabaOS is als een super-snelkeuken die elke bestelling van je AI-assistent controleert met een onvervalste rekenbon. Het maakt de AI niet slimmer, maar het maakt hem eerlijker. Het geeft jou, de gebruiker, de controle om te beslissen: "Kan ik dit vertrouwen, of is dit slechts een slimme gok?"

Het is geen magie, het is gewoon goed bewijs.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents" in het Nederlands.

Titel: Tool-ontvangers, niet Zero-Knowledge Proofs: Praktische Hallucinatie-detectie voor AI-agenten

1. Het Probleem: Het Vertrouwenskloof bij AI-agenten

AI-agenten die taken uitvoeren via tool-aanroepen (zoals e-mails controleren, financiële data ophalen of code implementeren) lijden vaak onder hallucinaties. Ze kunnen:

• Tool-uitvoeringen verzinnen die nooit hebben plaatsgevonden.
• Output-aantallen verkeerd weergeven.
• Inferenties presenteren als geverifieerde feiten.

Bestaande oplossingen voor verifieerbare AI-inferentie, zoals Zero-Knowledge Proofs (ZK), bieden cryptografische garanties dat een model een berekening correct heeft uitgevoerd. Echter, deze zijn onpraktisch voor interactieve persoonlijke agenten vanwege:

• Latentie: ZK-proofs vereisen minuten per query (vs. <1 seconde voor interactie).
• Hardware: Ze vereisen gespecialiseerde GPU-infrastructuur.
• Semantisch tekort: ZK bewijst dat de berekening correct was, niet dat het antwoord feitelijk juist is. Een model kan een zelfconsistente hallucinatie "correct" berekenen.

Er is dus een behoefte aan een methode die semantische integriteit (is de claim gebaseerd op bewijs?) verifieert met minimale overhead, zonder de complexiteit van cryptografische bewijzen.

2. Methodologie: NabaOS en Nyāya Pramāṇa

De auteurs stellen NabaOS voor, een lichtgewicht verificatieframework dat is geinspireerd door de Nyāya-epistemologie uit de Indiase filosofie. In plaats van een binair "verifieerd/onverifieerd" label, classificeert het systeem elke claim in een LLM-antwoord op basis van zijn epistemische bron (pramāṇa):

1. Pratyakṣa (Directe waarneming): Claims die direct uit tool-output komen (bijv. "Er zijn 3 e-mails").
2. Anumāna (Inferentie): Conclusies getrokken uit tool-data (bijv. "Alice lijkt bezorgd").
3. Śabda (Getuigenis): Claims gebaseerd op externe bronnen (bijv. nieuwsartikelen).
4. Abhāva (Afwezigheid): Claims dat er niets is gevonden (bijv. "Geen resultaten").
5. Ungrounded (Ongelinkt): Opinie zonder bewijs.

Technische Implementatie:

• HMAC-ondertekende Tool-ontvangers (Receipts): Bij elke tool-aanroep genereert de runtime een cryptografisch ondertekende ontvanger (receipt) met een HMAC-SHA256-signatuur. Deze bevat:
  • Tool-naam, input/output hashes, resultaat-aantal, getrokken feiten en tijdstempel.
  • De LLM heeft geen toegang tot de geheime sleutel en kan deze ontvangers niet vervalsen.
• Verificatieprotocol:
  1. De LLM genereert een antwoord en moet zichzelf taggen met de pramāṇa-categorie en de bijbehorende receipt-ID.
  2. De verificatie-engine controleert de claims in real-time tegen de ondertekende ontvangers.
  3. Diepe Agent Cross-checking: Voor autonome agenten waar de runtime geen controle heeft over interne stappen, worden URLs onafhankelijk opnieuw opgehaald en berekeningen nagekeken.

3. Belangrijkste Bijdragen

1. Pramāṇa-classificatie: Een nieuw raamwerk dat zes epistemische categorieën toepast op de verificatiestatus van agent-claims.
2. HMAC-ontvangers: Een mechanisme voor onvervalsbare bewijzen van tool-uitvoering, wat deterministische detectie van verzinsels mogelijk maakt.
3. Cross-checking protocol: Een strategie voor het verifiëren van autonome agent-resultaten via onafhankelijke heropvraging van URLs en heruitvoering van berekeningen.
4. NyayaVerifyBench: Een nieuw meerlinguïstisch benchmark van 1.800 scenario's (4 talen) met zes types geïntroduceerde hallucinaties.
5. Empirisch bewijs: Demonstratie dat vertrouwenssignalen gebaseerd op pramāṇa goed gekalibreerd zijn (bijv. "Volledig Geverifieerd" is 98,7% correct).

4. Resultaten

Het framework werd getest op NyayaVerifyBench tegen diverse baselines (zoals Self-Consistency, RAG, en regex).

• Detectiepercentages:
  • 94,2% detectie van verzinselde tool-aanroepen.
  • 87,6% detectie van verkeerde aantallen.
  • 91,3% detectie van valse "geen resultaten"-claims.
  • 78,4% detectie van verzinselde bronnen (via cross-checking).
• Overhead: De verificatie voegt minder dan 15 ms toe aan de responstijd, wat ideaal is voor interactieve toepassingen.
• Valse Positieven (FPR): Slechts 4%, wat aanzienlijk lager is dan andere methoden (bijv. Self-Consistency heeft 12%).
• Meertaligheid: NabaOS presteert consistent in het Engels, Hindi, Mandarijn en Spaans (bereik 88,7% - 92,8%), omdat het werkt op gestructureerde data (ontvangers) die taal-onafhankelijk is, in tegenstelling tot tekstgebaseerde methoden die in niet-Engelse talen sterk achteruitgaan.
• Kalibratie:
  • "Volledig Geverifieerd": 98,7% correct.
  • "Grotendeels Geverifieerd": 94,2% correct.
  • "Onbetrouwbaar": 23,4% correct.

5. Betekenis en Conclusie

Het paper argumenteert dat voor interactieve AI-agenten praktische verificatie op basis van ontvangers superieur is aan cryptografische Zero-Knowledge Proofs.

• Kosten-batenverhouding: NabaOS lost het probleem van hallucinaties op met verwaarloosbare computerkosten, terwijl ZK-proofs te traag en duur zijn.
• Epistemische Transparantie: In plaats van een binair oordeel, biedt NabaOS gebruikers gedetailleerde metadata over hoe de agent tot een conclusie komt (directe waarneming vs. inferentie). Dit stelt gebruikers in staat om hun eigen vertrouwen te beoordelen op basis van de context.
• Toekomstvisie: Het systeem is ontworpen als een laag in een "defense-in-depth"-strategie. Het garandeert niet dat de tool-data zelf waar is (als de tool zelf fouten maakt, is de ontvanger nog steeds geldig), maar het garandeert wel dat de agent niet liegt over wat de tool heeft gedaan.

Kortom, NabaOS biedt een schaalbare, snelle en taal-onafhankelijke oplossing om de betrouwbaarheid van AI-agenten te waarborgen door hun claims te koppelen aan onvervalsbare uitvoeringsbewijzen.