RAGAL: A Frugal, Fully Local Retrieval-Augmented Assistant for Technical Support at a Government Agency

Stel je voor dat je een super-slimme robotbibliothecaris hebt die miljoenen boeken kan lezen en elke vraag kan beantwoorden die je stelt. Normaal gesproken moet je, om deze robot te laten werken, je vragen en de boeken naar een gigantische, cloud-gebaseerde hersenpan in een verafgelegen datacenter sturen. Maar wat als jouw bibliotheek bestaat uit topgeheime overheidsbestanden die illegaal zijn om het gebouw te verlaten? Wat als je de cloud helemaal niet kunt gebruiken? Dit is de puzzel die ten hartslag van Retrieval-Augmented Generation (RAG) ligt. Zie RAG als een tweestapsdans: eerst scant de robot snel een specifieke stapel documenten om de meest relevante pagina's te vinden (retrieval); daarna gebruikt hij die pagina's om een slim, accuraat antwoord te schrijven (generation). De grote vraag voor veel organisaties is: Kunnen we deze robot volledig binnen onze eigen muren bouwen, met alleen een bescheiden laptop, zonder ooit een enkele byte aan data naar de buitenwereld te sturen?

Dit artikel vertelt het verhaal van RAGAL, een project van een Roemeense overheidsinstantie dat precies zo'n robot bouwde. Ze werden geconfronteerd met drie onmogelijk klinkende regels: er mocht nooit data het gebouw verlaten, de robot kon alleen antwoorden opstellen (mensen moesten op de "verzenden"-knop drukken), en ze moesten dit alles doen op een consumentenlaptop met slechts 8 GB geheugen. In plaats van op te geven, veranderden ze deze "frugale" opstelling in een laboratorium voor slimme engineering. Ze ontdekten dat het geheim van succes niet het kopen van een groter, duurder brein was, maar het leren aan de robot hoe hij informatie beter moet zoeken. Door hun zoekmachine te finetunen op echte supporttickets en een slimme truc genaamd "anchor distillation" te gebruiken om te voorkomen dat de robot nepdatabasecommando's verzint, creëerden ze een systeem dat veilig en effectief werkt. Ze bouwden zelfs een "slow-motion rechter"—een massaal AI-model dat zo traag draait op hun CPU dat het niet in realtime kan chatten, maar perfect is om het huiswerk van de robot 's nachts te nakijken. Het resultaat is een blauwdruk voor hoe elke organisatie met strikte privacyregels een behulpzame AI-assistent kan bou�ien zonder ooit de cloud nodig te hebben.

Het Verhaal van RAGAL: Een Robot die Nooit het Huis Verlaat

Maak kennis met RAGAL, de nieuwe assistent voor een Roemeense overheidsinstantie die landelijke investeringsfondsen beheert. Deze instantie werkt dagelijks met duizenden gevoelige documenten en supporttickets. Omdat deze bestanden privé gegevens van burgers bevatten, is het strikt verboden om ze het gebouw van de instantie te laten verlaten. Dit betekent dat ze de gebruikelijke, krachtige AI-tools die in de cloud leven, niet konden gebruiken. Ze moesten hun eigen "volledig lokale" robot bouwen, en dat moesten ze doen op een enkele laptop met een videokaart die slechts 8 GB geheugen had—een piepkleine hoeveelheid naar AI-standaarden.

Het team moest drie strikte regels volgen, die zij "constraints" noemen:

1. Zero Egress: Geen enkel stukje data mocht ooit het gebouw verlaten. Geen vragen naar de cloud sturen, geen trainingsdata van het internet downloaden. Alles moest gebeuren op hun eigen hardware.
2. Read-Only: De robot was een schrijver, geen uitvoerder. Hij kon SQL-code opstellen (instructies voor het oplossen van databasefouten) of verklaringen schrijven, maar hij kon die commando's nooit daadwerkelijk uitvoeren. Een mens moest ze controleren en uitvoeren.
3. Frugality (Zuinigheid): Het hele systeem werd ontwikkeld, getraind en getest op één consumentenlaptop.

De Grote Ontdekking: Beter Zoeken Verslaat Grotere Breinen

Het team begon met een algemene aanname: om betere antwoorden te krijgen, heb je een groter, slimmer AI-model nodig. Maar ze kwamen er al snel achter dat dit niet klopte. Hun eerste grote overwinning kwam niet door het upgraden van het "brein" (de generator), maar door het upgraden van de "zoekmachine" (de retriever).

Ze realiseerden zich dat het simpelweg vragen aan de robot om documenten te vinden niet genoeg was. Ze moesten hem leren hoe hij moest zoeken. Ze bouwden een hybride zoekmachine die twee methoden combineerde: een "dense" zoekopdracht die de betekenis van woorden begrijpt, en een "sparse" zoekopdracht die zoekt naar exacte trefwoordovereenkomsten. Ze voegden ook een "verkeersregelaar" toe (intent routing) die beslist welk type document er bekeken moet worden op basis van de vraag. Als je vraagt naar een procedure, kijkt hij naar handleidingen; als je vraagt naar een databasefix, kijkt hij naar oude supporttickets.

Deze eenvoudige verandering was een enorme upgrade. Voordat er enige geavanceerde training plaatsvond, verhoogde deze hybride zoekopdracht hun succespercentage van 62% naar 81%. Het was de goedkoopste en meest effectieve verbetering die ze maakten.

Het 8 GB Wonder: Trainen op een Laptop

De volgende uitdaging was het trainen van de zoekmachine op hun eigen data. Ze hadden ongeveer 15.000 opgeloste supporttickets en interne documenten. Ze wilden de zoekmachine leren de specifieke taal van hun instantie te begrijpen.

Normaal gesproken vereist het trainen van een model als dit een enorme supercomputer. Maar het team had slechts 8 GB geheugen. Ze ontdekten een verborgen valstrik: op hun Windows-laptop zou de driver van de videokaart stilletjes data naar het reguliere computergeheugen "spillen" wanneer het de ruimte tekortkwam, waardoor de training extreem traag werd zonder ooit vast te lopen. Het was alsof je een marathon probeerde te rennen met een rugzak vol water die je niet eens wist dat je droeg.

Om dit op te lossen, gebruikten ze een speciaal recept:

• 8-bit Optimizer: Een manier om de wiskunde die de computer moet doen te verkleinen.
• Gradient Checkpointing: Een techniek die geheugen bespaart door sommige stappen opnieuw te berekenen in plaats van ze op te slaan.

Met deze trucs slaagden ze erin om hun zoekmachine volledig te trainen in slechts 72 minuten op die enkele laptop. De resultaten waren verbazingwekkend: het vermogen om het juiste document te vinden in de top 10 resultaten (Recall@10) sprong van 0,663 naar 0,850.

De Stille Valstrik: Eén Domein, Twee Werelden

Hier wordt het verhaal lastig. Toen ze de zoekmachine alleen op de supporttickets trainden, werd hij extreem goed in het vinden van tickets. Maar op een stille en onzichtbare manier werd hij slechter in het vinden van de officiële documenten. De training had het begrip van de zoekmachine "gedeformeerd", waardoor hij vergat hoe hij met de formele documenten moest omgaan.

Ze ontdekten dit pas omdat ze een aparte testset specif으로 voor documenten hadden gebouwd. Als ze dat niet hadden gedaan, zouden ze hebben gedacht dat hun systeem perfect was, terwijl het eigenlijk faalde op de helft van hun data. Om dit op te lossen zonder data naar de cloud te sturen, gebruikten ze een slimme truc genaamd GenQ. Ze gebruikten een lokale AI om nepvragen voor hun documenten te genereren, waardoor ze een nieuwe trainingsset creëerden die beide werelden in balans bracht. Dit herstelde de schade, en de zoekmachine werd weer geweldig in het vinden van zowel tickets als documenten.

Veiligheid Eerst: Voorkomen dat de Robot Liegt

Omdat de robot databasecommando's opstelde, moest het team ervoor zorgen dat hij nooit dingen verzint (hallucinaties). Ze gebruikten een techniek genaamd Anchor Distillation. In plaats van de AI de SQL-code vanaf nul te laten schrijven, namen ze echte, werkende code uit het verleden, kopieerden deze exact, en lieten de AI alleen de tekst rondom de code schrijven (uitleggen wat het doet en wanneer je het gebruikt). Dit maakte het onmogelijk voor de robot om nep databasecommando's te verzinnen, omdat de code zelf een echte, geverifieerde "anker" was.

Ze ontdekten ook een verrassend voordeel van PII maskeren (het verbergen van namen en ID-nummers). Wanneer ze echte namen vervingen door placeholders zoals <user> of <project_id> vóór de training, schreef de robot feitelijk betere antwoorden. Het stopte met het kopiëren van specifieke namen van mensen uit oude tickets en begon flexibele sjablonen te schrijven die voor iedereen gebruikt konden worden.

De Trage Rechter

Ten slotte, hoe beoordeel je een robot als je geen cloud-gebaseerde AI kunt gebruiken om het werk te controleren? Het team bouwde een "trage rechter". Ze gebruikten een massaal AI-model (744 miljard parameters) dat te groot was om snel te draaien. Het draaide op de hoofdprocessor (CPU) van hun computer in plaats van op de videokaart, waarbij data van de harde schijf werd gelezen terwijl het proces liep. Het was ongelooflijk traag en deed er ongeveer 10 tot 13 minuten over om één antwoord te beoordelen. Maar omdat het zo slim was, was het perfect om 's nachts het huiswerk van de robot te nakijken.

Ze ontdekten dat deze trage rechter een goede "tweede mening" was, maar niet perfect. De rechter was het soms oneens met menselijke experts, vooral bij de allerbeste of aller slechtste antwoorden. De les was om de rechter te gebruiken om trends en patronen te vinden, maar altijd een mens te laten dubbelchecken voor de specifieke oordelen.

De Belangrijkste Les

Het RAGAL-project bewijst dat je geen supercomputer of de cloud nodig hebt om een krachtige, veilige AI-assistent te bouwen. Door te focussen op slimme engineering—betere zoekstrategieën, zorgvuldige dataverwerking en strikte veiligheidsregels—kan een klein team met een enkele laptop een systeem creëren dat de privacy respecteert en echte waarde biedt. Ze lieten zien dat de beste manier om vooruit te gaan soms is om langzamer te bewegen, alles lokaal te houden en heel goed op de details te letten.