Reliability by Design: A Shared Schema-Metadata Grounding and Catalogue-Constrained Extraction Architecture for Safe Natural-Language Access to Legacy Enterprise Systems

In de uitgestrekte, stille machinerie van moderne instellingen, van universiteiten tot ziekenhuizen, ligt data opgesloten in enorme digitale archieven. Deze systemen, bekend als Enterprise Resource Planning-platforms, bevatten de gegevens van toelatingen, examens, onderzoekssubsidies en bestuur. Jarenlang waren de mensen die vragen over deze data moeten stellen – administrateurs, kwaliteitsfunctionarissen en coördinatoren – niet in staat dit rechtstreeks te doen. Zij spreken de taal van de database niet, een complexe code genaamd SQL, waardoor zij afhankelijk zijn van een kleine groep technische specialisten om hun vragen te vertalen naar queries. Dit creëert een flessenhals, wat de besluitvorming vertraagt en technisch personeel afhankelijk houdt van tussenpersonen. Onlangs heeft een nieuw type computercode, een Large Language Model genoemd, beloofd dit op te lossen door iedereen toe te staan vragen in gewone mensentaal te stellen en direct antwoorden te ontvangen. Echter, wanneer deze krachtige modellen direct worden gekoppeld aan levende, kritieke zakelijke systemen, worden ze gevaarlijk. Zonder strikte waarborgen kunnen ze verbindingen verzinnen tussen datatabellen die niet bestaan, gokken op de betekenis van gecodeerde waarden, of per ongeluk gevoelige informatie blootleggen. Het resultaat is een systeem dat misschien behulpzaam klinkt, maar foutieve antwoorden geeft of, erger nog, de regels van veiligheid en privacy schendt.

Een team van onderzoekers bij De Brabandse Hogeschool [Desh Bhagat University] heeft een nieuwe manier ontwikkend om natuurlijke taal te verbinden met deze legacy-systemen, waarbij veiligheid prioriteit krijgt boven de brute kracht van het computermodel. Zij beargumenteren dat betrouwbaarheid in deze context geen kwestie is van de kunstmatige intelligentie slimmer of groter maken, maar van het veranderen van de architectuur van het systeem zelf. In plaats van het taalmodel de databasequeries rechtstreeks te laten schrijven, hebben zij een structuur gecreëerd waarin het model alleen mag kiezen uit een vooraf goedgekeurde lijst met opties. De onderzoekers testten deze benadering op een echt universiteitssysteem dat ongeveer 800 tabellen met data bevat, een systeem dat de standaard veiligheidsmarkeringen mist die in moderne databases wel aanwezig zijn. Hun bevindingen tonen aan dat door de mogelijkheden van het model strikt te controleren, zij nul fouten in de uiteindelijke databasecommando's kunnen bereiken, ongeacht hoe groot of klein het taalmodel ook is. Het systeem werkt niet door te raden, maar door elke aanvraag te funderen in een gecureerde kaart van de bestaande data voordat het gesprek zelfs begint.

De kern van deze oplossing is een nieuwe manier om de verborgen structuur van de software te organiseren. In veel oudere bedrijfssoftware vermeldt de database niet expliciet hoe verschillende stukjes informatie met elkaar samenhangen; deze verbindingen bestaan enkel binnen de applicatiecode. Om dit op te lossen, bouwden de onderzoekers een "Schema-Metadata Navigatiegrafiek". Stel je dit voor als een gedetailleerde, machineleesbare kaart die de rommelige, impliciete verbindingen van de software vertaalt naar een duidelijke, gestructureerde gids. Deze kaart koppelt de hoogwaardige functionele gebieden van het systeem, zoals "toelatingen" of "onderzoek", aan specifieke pagina's, kolommen en de werkelijke datatabellen. Cruciaal is dat deze kaart ook een lijst bevat van goedgekeurde rapporttemplates en de exacte, vooraf geschreven code die nodig is om gegevens voor elk daarvan op te halen. Het fungeert als een vervanging voor de ontbrekende veiligheidsmarkers, waardoor de computer precies weet hoe hij verschillende stukken informatie moet combineren zonder te hoeven gokken.

Wanneer een gebruiker een vraag stelt, laat het systeem het taalmodel geen nieuw databasecommando vanaf nul schrijven. In plaats daarvan fungeert het model als een selecteur. Het luistert naar de vraag van de gebruiker en identificeert, gebruikmakend van de context van waar de gebruiker zich momenteel in de software bevindt, de meest relevante delen van de vooraf goedgekeurde kaart. Het model extraheert vervolgens een gestructureerde specificatie, wat essentieel betekent dat het kiest uit een whiteliste van bekende, veilige rapporttemplates. Het genereert nooit de eigenlijke databasecode. Zodra het model zijn keuze heeft gemaakt, neemt een apart, vertrouwd stuk software het over. Deze deterministische code assembleert de definitieve query met behoud van de vaste, vooraf geverifieerde fragmenten die in de kaart zijn opgeslagen. Omdat de code wordt samengesteld uit bekende, veilige onderdelen in plaats van ter plekke gegenereerd te worden, is het onmogelijk voor het systeem om een commando te produceren dat kwaadaardige code injecteert, verwijst naar een kolom die niet bestaat, of tabellen combineert op een manier die verkeerde gegevens teruggeeft.

De onderzoekers implementeerden deze architectuur op een live hoger onderwijssysteem dat vijf verschillende accreditatiekaders bedient. Ze testten het systeem grondig, inclus_ief een benchmark waarbij ze probeerden het model te misleiden om fouten te maken. De resultaten waren doorslaggevend: het systeem produceerde nul ongeldige databasecommando's. Deze veiligheid bleef standhouden, of ze nu een klein, open-source taalmodel gebruikten of een veel groter, propriëtair model. Sterker nog, het kleinste model presteerde net zo goed als het grootste, wat bewijst dat de veiligheid voortkomt uit het ontwerp van het systeem, en niet uit de omvang van de hersenen erachter. In praktijkgebruik rapporteerden belanghebbenden dat het systeem ongeveer 85 procent van de keren correcte rapporten retourneerde. De resterende verzoeken werden veilig geweigerd in plaats van geprobeerd te worden ingevuld via giswerk, wat de stille fouten voorkomt die andere systemen teisteren.

Deze aanpak lost ook een probleem van kosten en onderhoud op. Omdat het systeem steunt op een gecureerde lijst van wat gebruikers daadwerkelijk vragen, in plaats van te proberen de volledige databaseschema te begrijpen, is de inspanning die vereist is voor het onderhoud ervan veel lager. De onderzoekers vonden dat zij nieuwe rapporteringscapaciteiten eenvoudig konden toevoegen door simpelweg één vermelding aan hun kaart toe te voegen, zonder de artificiële intelligentie opnieuw te trainen of complexe code te herschrijven. Bovendien ontwierpen ze het systeem met twee lagen: een reactieve laag die gebruikersvragen beantwoordt en een proactieve laag die automatisch nalevingsmetingen monitort. Beide lagen delen dezelfde onderliggende kaart, wat betekent dat de organisatie niet twee aparte systemen hoeft te bouwen om zowel conversionele hulp als geautomatiseerde veiligheidscontroles te verkrijgen.

De studie concludeert dat voor kritieke bedrijfssystemen de weg naar betrouwbare toegang tot natuurlijke taal niet ligt in het bouwen van grotere modellen die hun weg door complexe data kunnen redeneren, maar in het bouwen van architecturen die de modellen beperken tot veilige, geverifieerde paden. Door de taak van het genereren van databasecommando's weg te halen bij het taalmodel en onder te brengen in een vertrouwd, deterministisch proces, hebben de onderzoekers een systeem gecreëerd dat zowel veilig als praktisch is. Dit ontwerp biedt een manier voor instellingen om de waarde van hun data te ontsluiten zonder de integriteit van hun dossiers te riskeren, waarmee bewezen wordt dat in de wereld van bedrijfsdata veiligheid een eigenschap is van de structuur, en niet van de schaal.