Retrieval-Augmented Large Language Models as Components of Cognitive Computing architecture for Regulatory Knowledge Management
Dit artikel toont aan dat het integreren van lokaal geïnstalleerde grote taalmodellen met Retrieval-Augmented Generation (RAG) op consumentenhardware deze transformeert tot betrouwbare cognitieve computatiecomponenten die in staat zijn de feitelijke nauwkeurigheid, controleerbaarheid en dynamisch regelgevend kennisbeheer te verbeteren zonder dat hertraining van het model vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin computers niet alleen getallen verwerken, maar ook daadwerkelijk "nadenken" over complexe regels, zoals een advocaat die een contract leest of een arts die een diagnose controleert. Dit is het domein van Cognitive Computing, een vakgebied dat probeert machines te bouwen die menselijke redenering nabootsen in plaats van alleen rigide instructies op te volgen. In het hart van deze nieuwe golf staan Large Language Models (LLM's), die lijken op superintelligente, veelgelezen robots die kunnen schrijven, samenvatten en chatten door het volgende woord in een zin te voorspellen. Deze robots hebben echter een lastige gewoonte: soms verzinnen ze dingen met volkomen zelfvertrouwen, een foutje dat bekend staat als "hallucinatie". Om dit op te lossen, gebruiken wetenschappers een truc genaamd Retrieval-Augmented Generation (RAG). Zie RAG als het geven van een bibliotheekpas aan de robot en een strikte regel: "Je mag een vraag niet beantwoorden, tenzij je eerst de exacte pagina in het boek vindt die het bewijst." Dit artikel onderzoekt of het combineren van deze twee ideeën — slimme robots en strikte bibliotheekregels — een betrouwbaar systeem kan creëren voor het beheren van complexe juridische regels, terwijl de gegevens tegelijkertijd veilig binnen de eigen muren van een bedrijf blijven in plaats van naar de cloud te worden gestuurd.
De onderzoekers, onder leiding van Dariusz Nowak-Nova van de WSB Universiteit in Polen, zetten zich af om te testen of deze "robot plus bibliotheek"-combinatie een standaard AI kan veranderen in een betrouwbare component van een cognitief computersysteem. Ze gebruikten hiervoor niet de enorme, dure supercomputers die gewoonlijk voor deze taken vereist zijn. In plaats daarvan voerden ze het experiment uit op een standaard consumentenlaptop met een Apple M4-processor en 24 GB geheugen, waarbij ze gebruikmaakten van open-source Poolse taalmodellen genaamd Bielik en PLLuM. Ze zetten een lokale "cognitieve architectuur" op waarbij de AI kon chatten met een enorme digitale bibliotheek van 17.377 juridische documenten (totaal 22,84 GB) die direct op de computer waren opgeslagen. Deze opstelling stelde de AI in staat om in realtime specifieke wetten op te zoeken voordat er vragen werden beantwoord, in plaats van enkel te vertrouwen op wat het tijdens de training had onthouden.
Het team stelde de AI vier specifieke vragen over de definitie van "onroerend goed" in het Pools recht, waarbij de AI eerst vanuit zijn eigen geheugen antwoordde, en daarna antwoordde nadat het RAG-systeem werd gebruikt om de juridische documenten te doorzoeken. De resultaten waren fascinerend. Wanneer de AI het RAG-systeem gebruikte, werden de antwoorden veel preciezer en rijker aan de juiste juridische terminologie, waardoor ze meer klonken als een ervaren advocaat en minder als een algemene encyclopedie. De tekst werd dichter en gespecialiseerder, wat precies is wat je wilt bij het werken met strikte wetten. De door RAG verbeterde antwoorden citeerden bijvoorbeeld correct specifieke artikelen uit het Burgerlijk Wetboek en andere wetten, terwijl de op zichzelf staande AI soms vage of onvolledige samenvattingen gaf.
Echter, de studie toonde ook aan dat het systeem nog niet perfect is. Hoewel het RAG-systeem de stijl en specificiteit van de antwoorden verbeterde, elimineerde het fouten niet volledig. In één instantie maakte de AI die het RAG-systeem gebruikte een fundamentele juridische fout door te suggereren dat onroerend goed onder bepaalde omstandigheden "roerend" zou kunnen zijn, wat in strijd is met de basisdefinitie van het eigendomsrecht. De onderzoekers merkten op dat hoewel het systeem in staat was om de juiste documenten te vinden, het soms moeite had met het interpreteren van het verschil tussen een wet die een concept definieert en een wet die een concept simpelweg voor een ander doel gebruikt, zoals belastingen. Dit suggereert dat hoewel het systeem beter wordt in het vinden van informatie, het nog steeds hulp nodig heeft bij het begrijpen van de diepere logica achter de regels.
Uiteindelijk suggereert het artikel dat het plaatsen van deze AI-modellen op lokale computers met een RAG-systeem een krachtige manier is om met juridische kennis om te gaan zonder het risico op datalekken naar de cloud. Het transformeert de AI van een "black box" die antwoorden raadt naar een "cognitief module" die gecontroleerd, gecontroleerd en bijgewerkt kan worden naarmate wetten veranderen, zonder dat het hele model opnieuw getraind hoeft te worden. De auteurs concluderen dat deze aanpak een veelbelovende stap is naar het bouwen van betrouwbare AI-assistenten voor juridisch en regulerend werk, mits we onthouden dat de AI een krachtig hulpmiddel is voor het vinden en organiseren van informatie, maar dat het nog steeds menselijke experts nodig heeft om de uiteindelijke logica te verifiëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.