TrustRAG: Blockchain-Enhanced RAG via Committee-Based Credibility Scoring

In het moderne digitale tijdperk heeft kunstmatige intelligentie geleerd te spreken met de vloeiendheid van een ervaren expert, waarbij het enorme hoeveelheden informatie uit zijn training gebruikt om vragen te beantwoorden, verhalen te schrijven en problemen op te lossen. Deze kennis is echter statisch, bevroren in de tijd als een bibliotheek waarvan de planken jaren geleden zijn gestopt met updaten. Om dit op te lossen, ontwikkelden onderzoekers een methode genaamd retrieval-augmented generation, die deze intelligente systemen in staat stelt om verse, specifieke feiten uit externe bronnen op te halen voordat ze een antwoord vormen. Deze aanpak is essentieel geworden in velden zoals de geneeskunde, de juridische sector en de financiële wereld, waar het verschil tussen een correct feit en een verouderd feit het verschil kan betekenen tussen een veilige beslissing en een gevaarlijke fout. Toch is er een nieuw probleem ontstaan: hoewel het systeem nieuwe informatie kan vinden, is er vaak geen betrouwbare manier om te weten waar die informatie vandaan kwam, wie het geschreven heeft of of het ermee is geknoeid. Het proces van het ophalen van deze feiten wordt vaak beheerd door één enkele, ondoorzichtige organisatie, waardoor gebruikers niet kunnen verifiëren of de bewijslast die ze lezen echt of gemanipuleerd is.

Om deze vertrouwenscrisis op te lossen, heeft een team van onderzoekers een nieuw systeem gebouwd genaamd TrustRAG, dat fungeert als een veilige, transparante pijplijn voor het voeden van informatie aan kunstmatige intelligentie. Stel je een wereld voor waarin elk stukje informatie dat het systeem binnenkomt, eerst wordt getoetst door een panel van onafhankelijke experts die stemmen over de kwaliteit zonder hun identiteit prijs te geven, wat ervoor zorgt dat niemand de uitslag kan manipuleren. Dit systeem gebruikt een digitaal grootboek, vergelijkbaar met een openbaar register dat niet kan worden gewist of gewijzigd, om de meningen van experts en de documenten die zij onderschrijven vast te leggen. Wanneer een gebruiker een vraag stelt, pakt het systeem niet zomaar de meest populaire of recente documenten; in plaats daarvan haalt het alleen die documenten op die vooraf zijn gecertificeerd door deze deskundigencommissie en kruist deze met meerdere onafhankelijke bronnen om te garanderen dat er niets is overgeslagen of verwisseld. Het resultaat is een reactie die gepaard gaat met een ingebouwd certificaat van echtheid, waardoor iedereen de antwoorden kan traceren naar de oorspronkelijke, geverifieerde bronnen en kan bevestigen dat de rangschikking van die bronnen eerlijk is berekend.

De kerninnovatie van TrustRAG ligt in de manier waarop het de delicate balans tussen privacy en verificatie beheert. In veel bestaande systemen, als experts hun scores voor een document onthullen, zouden ze onder druk gezet of omgekocht kunnen worden om van gedachten te veranderen. Om dit te voorkomen, hebben de onderzoekers een proces ontworpen waarbij experts hun evaluaties indienen met behulp van een speciale cryptografische methode die de werkelijke score verbergt, terwijl wel bewijst dat deze geldig is. Denk hierbij aan het plaatsen van een verzegelde stembus in een transparante box; de box laat zien dat er een stem is uitgebracht en dat deze afkomstig is van een geregistreerde kiezer, maar niemand kan zien hoe de persoon heeft gestemd totdat de definitieve telling veilig wordt uitgevoerd door een groep computers die samenwerken. Deze groep, bekend als een comité, combineert deze verborgen stemmen om een uiteindelijke betrouwbaarheidsscore voor elk document te produceren. Cruciaal is dat deze score één keer wordt berekend en permanent wordt opgeslagen, zodat het systeem niet elke keer wanneer een gebruiker een vraag stelt, het complexe stemproces opnieuw hoeft te doorlopen. In plaats daarvan haalt het simpelweg de vooraf goedgekeurde scores op en gebruikt het deze om de documenten te rangschikken, waardoor de meest betrouwbare informatie naar boven komt.

De onderzoekers testten dit systeem om te zien of het de zware taken van beveiliging kon afhandelen zonder het proces te vertragen. Ze bouwden een werkend prototype dat een netwerk van verschillende databronnen simuleert, elk met een eigen commissie van validators. In hun tests ontdekten ze dat het meest tijdrovende deel van het proces de initiële stemming en de uiteindelijke telling van de scores was, wat gebeurde voordat er gebruikersvragen werden gesteld. Zodra die scores klaar waren, was het eigenlijke proces van het ophalen van antwoorden en het verifiëren ervan opmerkelijk snel. Zo werd de tijd die nodig was om het cryptografische bewijs te genereren dat een stem geldig was, gemeten in milliseconden, en de tijd die nodig was om de verborgen scores van een kleine commissie van vier experts te combineren, was ook zeer kort. Dit suggereert dat het systeem een hoog niveau van beveiliging kan bieden zonder een knelpunt te creëren dat gebruikers die op een antwoord wachten, zou frustreren.

Een belangrijke bevinding van de studie is dat het systeem niet afhankelijk is van één enkel, massaal bewijs om alles tegelijk te verifiëren, wat computationeel duur en traag zou zijn. In plaats daarvan gebruikt het een methode om onafhankelijke informatielijnen aan elkaar te koppelen met digitale vingerafdrukken. Elke databron berekent zijn eigen betrouwbaarheidsscores en maakt een kleine, unieke hash, of digitale samenvatting, van zijn resultaten. Een centrale coördinator combineert vervolgens deze samenvattingen tot één globale vingerafdruk. Dit stelt iedereen in staat om te controleren of een specifiek document was opgenomen in het uiteindelijke antwoord en of de score correct is berekend, zonder dat de hele complexe berekening vanaf nul opnieuw uitgevoerd hoeft te worden. De onderzoekers toonden aan dat deze aanpak succesvol voorkomt dat een onbetrouwbare serviceprovider een kwalitatief hoogwaardig document vervangt door een kwalitatief laagwaardig document of een bron verbergt die wel meegenomen had moeten worden.

De studie definieerde ook zorgvuldig wat het systeem wel en niet kan doen. Het garandeert dat de opgehaalde informatie niet is gewijzigd en dat het selectieproces de afgesproken regels heeft gevolgd, maar het garandeert niet dat de inhoud zelf feitelijk waar is in de echte wereld. Als een commissie van experts per ongeluk een document onderschrijft dat een feitelijke fout bevat, zal het systeem dit nog steeds als betrouwbaar beschouwen omdat het proces de stem van de commissie heeft geverifieerd, en niet de waarheid van de bewering zelf. Het systeem is ontworpen om manipulatie te detecteren en procedurele integriteit te waarborgen, niet om te fungeren als een orakel van de absolute waarheid. Dit onderscheid is essentieel voor hoogwaardige velden zoals de gezondheidszorg en de juridische sector, waar het doel is om ervoor te zorgen dat beslissingen gebaseerd zijn op de beste beschikbare, goed getoetste bewijslast, in plaats op ongeverifieerde of gemanipuleerde gegevens.

Door gedecentraliseerde verificatie te combineren met privacy-beschermende technologie, biedt TrustRAG een nieuwe manier om kunstmatige intelligentiesystemen te bouwen die zowel krachtig als verantwoordelijk zijn. Het adresseert de groeiende bezorgdheid dat de instrumenten waarop we vertrouwen voor kritieke informatie veranderen in zwarte dozen, gecontroleerd door enkele entiteiten zonder dat het publiek hun werk kan inspecteren. De onderzoekers toonden aan dat het mogelijk is om een systeem te creëren waarin experts kunnen samenwerken om kennis te certificeren zonder angst voor dwang, waarin databronnen veilig aan elkaar gekoppeld kunnen worden, en waarin elk antwoord gepaard gaat met een verifieerbare geschiedenis. Dit werk suggereert dat de toekomst van betrouwbare kunstmatige intelligentie wellicht niet alleen afhangt van slimmere algoritmen, maar van het bouwen van een infrastructuur die vertrouwen een meetbaar en verifieerbaar onderdeel van het proces maakt.