Wnuan: Staged Post-Training for Question Answering over Proprietary Enterprise Knowledge

Stel je voor dat je een briljante, hoogopgeleide tiener probeert te leren hoe hij een zeer specifieke, complexe onderneming moet runnen. Deze tiener heeft al bijna elk boek in de openbare bibliotheek gelezen en kan over van alles praten, van geschiedenis tot programmeren. Maar hij heeft nog nooit de interne regelboeken, veiligheidshandboeken of geheime projectbestanden van het bedrijf gezien. Als je hem alleen vraagt om de antwoorden te raden op basis van wat hij weet uit de buitenwereld, kan hij heel zelfverzekerd klinken, maar de details fout krijgen, of erger nog, feiten verzinnen die echt lijken maar niet waar zijn (een probleem dat experts "hallucineren" noemen).

Dit is de uitdaging van Enterprise Question Answering (Bedrijfsbrede Vraagbeantwoording). Bedrijven hebben bergen aan privédocumenten die de "echte" antwoorden bevatten, maar hun AI-modellen kennen deze niet. Het doel is om de AI deze privégeheimen te leren zonder dat het vergeet hoe het een behulpzame, beleefde en logische gesprekspartner is. Het is een delicaat evenwicht: als je het te veel over het bedrijf leert, stopt het misschien met een goede algemene assistent te zijn; als je het niet genoeg leert, kan het zijn werk niet doen. De paper die je nu gaat lezen, onderzoekt een slim drie-stappen recept om dit puzzelstukje op te lossen, waarmee een algemene AI wordt veranderd in een bedrijfsexpert zonder zijn verstand te verliezen.

---

Het Wnuan-recept: Een AI leren een bedrijfsexpert te zijn

Maak kennis met Wnuan, een nieuwe trainingspijplijn ontworpen om een algemene AI te veranderen in een specialist die de privédocumenten van een bedrijf door en door kent. Zie de AI niet als een student die voor een examen staat te stampen, maar als een nieuwe werknemer die het bedrijfsreglement, de veiligheidsprotocollen en de projectgeschiedenis moet leren, terwijl hij ook nog steeds een beleefd menselijk wezen blijft.

De auteurs van dit paper hebben een driestaps trainingskamp gebouwd voor hun AI, dat ze Wnuan noemen. Hier is hoe de reis verloopt, stap voor stap.

Stap 1: Het handboek veranderen in een quizshow

Eerst moest het team duizenden droge, saaie bedrijfsdocumenten (zoals PDF's van veiligheidsregels of technische specificaties) omzetten in iets waar de AI daadwerkelijk van kan leren. Je kunt een AI niet zomaar een handleiding van 500 pagina's voeren en hopen dat hij het onthoudt. In plaats daarvan gebruikten ze een proces genaamd Document-to-QA.

Stel je voor dat je een dicht tekstboek neemt en een slimme redacteur elke regel laat omzetten in een "Vraag en Antwoord"-flashcard. Als de regel zegt: "Alle medewerkers moeten een helm dragen in Zone B," maakt het systeem een kaart met de vraag: "Wat moet je dragen in Zone B?" en geeft het antwoord. Ze deden dit voor meer dan 220.000 voorbeelden! Ze lieten de AI zelfs sommige antwoorden herschrijven om ervoor te zorgen dat ze precies klonken als de specifieke AI die ze aan het trainen waren. Dit creëerde een enorme, op maat gemaakte quizset die afgestemd was op de geheimen van het bedrijf.

Stap 2: De "Replay"-pauze

Nu komt het lastige deel. Als je alleen het bedrijfsreglement bestudeert, kun je vergeten hoe je met mensen praat of algemene problemen oplost. Dit wordt "catastrofale vergetelheid" genoemd. Om dit te voorkomen, gebruikte het team een techniek genaamd General-Data Replay.

Beschouw dit als een studiedessie waarbij de student een tijdje het bedrijfsreglement bestudeert, maar dan een pauze neemt om over algemene onderwerpen te chatten zoals sport, wetenschap of logische puzzels. Het paper vond dat het mengen van ongeveer 48% algemene gespreksonderwerpen met de bedrijfsdata het "sweet spot" was. Dit hield de AI slim en beleefd terwijl hij de bedrijfsregels leerde. Zonder deze pauze zou de AI een geweldige bedrijfsexpert zijn geworden, maar een verschrikkelijke gesprekspartner.

Stap 3: De "Residual Error"-training

Na de eerste twee stappen was de AI al behoorlijk goed, maar hij maakte nog steeds fouten. Hij kreeg de makkelijke vragen goed, maar struikelde over de moeilijke. Dit is waar de derde fase, Residual-Error Reinforcement Learning (RL), in actie komt.

In plaats van de hele quizset opnieuw te bestuderen, keken het team specifiek naar de vragen die de AI fout had (de "residual errors"). Ze behandelden deze fouten als een coach die zich concentreert op de zwakke plekken van een atleet. Ze gebruikten een speciaal beloningssysteem om de AI te leren hoe hij die specifieke fouten kon herstellen. Het is also unto: "Je kreeg de makkelijke wiskundeproblemen goed, maar laten we oefenen op deze drie lastige algebra-opdrachten totdat je ze beheerst."

De Resultaten: Een Grote Overwinning met een Kleine Prijs

De resultaten van deze driestaps-training waren indrukwekkend. Voordat er enige training plaatsvond, kon de AI (genaamd Wnuan-Base) slechts acceptabele antwoorden geven op ongeveer 52,76% van de vragen in hun testset, genaamd Wnuan-Bench.

• Na Stap 2 (SFT met Replay): De score sprong naar 80,06%. De AI was nu een solide werknemer.
• Na Stap 3 (Residual-Error RL): De score steeg zelfs nog verder naar 91,51%. De AI had de geheimen van het bedrijf onder de knie.

Het team controleerde ook of de AI vergeten was hoe hij een algemene assistent moest zijn. Ze ontdekten dat de AI iets minder goed werd in het volgen van zeer specifieke, complexe instructies (een daling van ongeveer 5 punten op een algemene benchmark), maar dat hij zijn algemene intelligentie niet verloor. De ruilhandel was het waard: de AI werd een veel betere bedrijfsexpert.

Wat het Paper Uitsluit (en Wat Niet)

De auteurs waren zeer zorgvuldig in het testen van hun ideeën. Ze gokten niet alleen dat focussen op fouten beter was; ze bewezen het.

• Focussen op fouten werkt: Ze vergeleken hun "Residual-Error"-methode (focussen op alleen de foute antwoorden) met twee andere methoden: het bestuderen van alles (de volledige pool) en het bestuduren van een willekeurige mix van vragen. De "Residual-Error"-methode won en versloeg de willekeurige methode met 2,97 punten en de volledige pool met 3,11 punten. Dit suggereert dat zodra een AI de basis beheerst, het drillen op specifieke zwakheden de meest efficiënte manier van leren is.
• Retrieval is geen magische oplossing: Het team testte ook een veelgebruikte truc genaamd RAG (Retrieval-Augmented Generation), waarbij de AI tijdens de test de mogelijkheid krijgt om antwoorden op te zoeken in een database. Verrassend genoeg maakte het opzoeken van antwoorden de volledig getrainde AI in sommige gevallen juist slechter. De AI had de stof al zo goed geleerd dat het opzoeken van informatie hem in de war bracht. Dit suggereert dat voor dit specifieke type training, het beter is om de kennis "ingebakken" te hebben in plaats van deze on the fly op te zoeken.
• Het is geen universele wondermiddel: Het paper geeft toe dat deze methode uitstekend werkt voor deze specifieke bedrijfsdocumenten. Het beweert niet alle AI-problemen in de wereld op te lossen. Ook is de AI nog steeds ontworpen als een helper die door mensen wordt gecontroleerd, en niet als een robot die zelfstandig definitieve beslissingen neemt over veiligheid of aanname.

De Kern van het Verhaal

Het Wnuan-paper laat ons een duidelijke route zien om AI-experts te maken. Door documenten om te zetten in quizzen, algemene gesprekken te mengen om de AI in balans te houden, en vervolgens specifiek te oefenen op de fouten die hij maakt, kun je een algemene robot veranderen in een hooggeschoolde insider van het bedrijf.

De auteurs suggereren dat deze "gefaseerde" aanpak de sleutel is: leer eerst de basis, en verfijn daarna de zwakke plekken. Hoewel de AI een klein beetje van zijn vermogen verliest om complexe instructies op te volgen, is de enorme winst in nauwkeurigheid (van 52,76% naar 91,51%) een winnende strategie voor bedrijven die willen dat hun AI de regels, de procedures en de geheimen van de onderneming kent. Het is een herinnering dat de beste manier om te leren soms niet is om alles opnieuw te bestuderen, maar om je intensief te concentreren op wat je fout had.