💻 computer science

Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study

Dit artikel presenteert een gecombineerde studie die aantoont dat ontologie-versterkte distillatie van een Qwen3.6-27B-model op een enkele Apple M5 Max een Vietnamese financiële taakverankering bereikt die vergelijkbaar is met een GPT-5-baseline, maar die het statistische vermogen mist om superioriteit te bewijzen, terwijl een gelijktijdige contextualiteits-audit pilot negatieve resultaten oplevert die wijzen op nul residu-contextualiteit, wat collectief faalt om inzetbaarheid, veiligheid of statistische equivalentie vast te stellen voor soevereine enterprise-taalmodellen.

Oorspronkelijke auteurs: Thanh Luong Tuan

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thanh Luong Tuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer strikte bank in Vietnam runt. De regels zeggen dat je de geheime accountbestanden van je klanten niet naar een gigantische, superintelligente AI-cloudserver in een ander land mag sturen. Je moet alles binnen je eigen gebouw houden. Maar hier is het probleem: de "lokale" AI die je op je eigen computers kunt draaien, is meestal niet zo slim als de gigantische cloud-AI.

Dit artikel stelt een grote vraag: Kunnen we onze lokale, kleinere AI leren om net zo goed te zijn in het volgen van het specifieke regelboek van de bank als de gigantische cloud-AI?

De onderzoekers probeerden een slimme truc genaamd "Ontology-Amplified Distillation." Denk er zo over na: Stel je voor dat de gigantische cloud-AI een meesterkok is die alles kan koken. De lokale AI is een junior kok. In plaats van de junior kok alleen maar te vertellen om de "meester te kopiëren", gaven ze de junior kok een speciale, gemarkeerde receptenkaart (de "ontologie") die precies opsomt welke ingrediënten (termen) moeten worden genoemd voor een specifiek gerecht. Ze trainden de junior kok vervolgens door de antwoorden van de meester te laten zien met de receptenkaart, en de antwoorden van de meester zonder de kaart, waarbij ze de junior kok alleen beloonden wanneer hij de kaart correct gebruikte.

Het resultaat: Een gelijkspel, geen overwinning
Na het trainen van de junior kok (een model genaamd Qwen3.6-27B) op een enkele Apple M5 Max-computer met behulp van slechts 47 verzonnen oefenvragen, zetten ze hem op de proef. Ze gaven hem 40 echte vragen over bankzaken in het Vietnamees.

Hier is de score:

De Lokale Junior Kok: Had 36 van de 40 vragen goed beantwoord (wat betekent dat hij de vereiste termen uit het regelboek noemde).
De Gigantische Cloud-Kok (GPT-5): Had ook 36 van de 40 vragen goed beantwoord.

Ze hadden gelijk gespeeld! Het lokale model slaagde erin om de gigantische een te evenaren op deze specifieke test.

Maar wacht even, laat de champagne nog niet ontkurken
Het artikel is zeer voorzichtig om dit geen "overwinning" of "doorbraak" te noemen. Dit is waarom:

Het is een kleine steekproef: De test bestond slechts uit 40 vragen. De auteurs zeggen dat dit te klein is om te bewijzen dat ze exact gelijk zijn. Het is alsof je een munt 40 keer opgooit en 20 keer kop en 20 keer munt krijgt; het ziet er gelijk uit, maar je kunt niet 100% zeker weten of de munt eerlijk is. De wiskunde laat zien dat het werkelijke verschil tot wel 4 vragen in beide richtingen kan liggen.
De test was makkelijk: De test vroeg niet of de antwoorden correct of volledig waren. Het vroeg alleen: "Heb je ten minste één van de magische woorden uit het regelboek genoemd?" Het is alsof je een leerling beoordeelt op het feit of hij het woord "appel" heeft geschreven in een essay over fruit, in plaats van of het essay ergens zin aan heeft.
De training was nep: De oefenvragen die werden gebruikt om de junior kok te onderwijzen, waren door een computer bedacht, geschreven in het Engels en gingen over de gezondheidszorg en verzekeringen — niet over de eigenlijke bankvragen waarop ze werden getest. Het artikel geeft toe dat dit een "proof of mechanism" is (het tonen dat het idee in theorie werkt) in plaats van een "deployment claim" (bewijzen dat het klaar is voor de praktijk).
Geen "superkracht": Voorafgaand aan de studie hoopten de onderzoekers dat het lokale model de gigantische zelfs zou verslaan, omdat het regelboek kleine modellen meer helpt dan grote. Dat gebeurde niet. Ze waren slechts gelijk.

Het tweede deel: De "verwarrings"-detector
Het artikel testte ook een tweede idee: een "Contextualiteit Audit". Stel je voor dat je dezelfde vraag aan de AI stelt, maar de rol die de AI speelt verandert (bijv. "Acteer als een risicomanager" versus "Acteer als een verkoper"). Soms verandert het antwoord. Komt dat omdat de AI in de war is en onbetrouwbaar is? Of reageert hij gewoon normaal op de nieuwe rol?

De onderzoekers voerden een pilot-test uit met 576 outputs. Ze ontdekten dat wat leek op "verwarring", eigenlijk gewoon een reactie was van de AI op de nieuwe rol of de manier waarop de vraag werd gesteld. Zodra ze hiervoor corrigeerden, was er nul resterende "verwarring" of vreemd, kwantumachtig gedrag over.

De bevinding: Het artikel weerlegt het idee dat de AI geheimzinnig "contextueel" is op een spookachtige, onvoorspelbare manier.
De les: Als een AI andere antwoorden geeft, raak dan niet in paniek en stuur hem niet direct naar een mens. Controleer eerst of de verandering simpelweg kwam door de verandering in rol of formulering. Als dat het geval was, is dat normaal. Roep pas een mens in als het antwoord nog steeds vreemd is nadat je die zaken hebt gecorrigeerd.

De kern van de zaak
Dit artikel is een "proof of concept"-rapport. Het zegt: "Hé, we hebben aangetoond dat een kleine, lokale AI getraind kan worden om een gigantische AI te evenaren op een specifieke, nauwe test met behulp van een speciale regelboekmethode. We hebben ook aangetoond dat we het verschil kunnen zien tussen een 'normale reactie' en 'werkelijke verwarring' in AI-antwoorden."

De auteurs zijn echter heel duidelijk: Dit is nog niet klaar voor de echte wereld. Ze hebben niet bewezen dat de AI veilig is, ze hebben niet bewezen dat het werkt op moeilijkere vragen, ze hebben niet bewezen dat het werkt op de kleinere modellen die ze eigenlijk willen gebruiken, en ze hebben niet bewezen dat het werkt met echte menselijke experts. Het is een veelbelovende eerste stap, zoals een piloot die voor het eerst een vliegtuig bestuurt en veilig landt, maar voordat je passagiers mag vervoeren, heb je veel meer tests nodig.

Technische Samenvatting: Ontologie-versterkte Distillatie en Contextualiteitsaudit voor Soevereine Enterprise Taalmodellen

Probleemstelling
Gereguleerde financiële instellingen in Vietnam opereren onder strikte regels voor datalokalisatie die het verzenden van klantgegevens naar buitenlandse frontier-model API's verbieden. Bijgevolg is een lokaal inzetbaar model dat binnen de perimeter van de instelling draait een vereiste voor naleving (compliance), en niet louter een kostenbesparend alternatief. De kernuitdaging is bepalen of een kleiner, lokaal inzetbaar "student"-model dezelfde kwaliteit van domeingronding kan bereiken als een frontier-model (bijv. GPT-5) wanneer dit beperkt is tot on-premise hardware. Eerder werk stelde vast dat het aanleveren van een domeinontologie de getrouwheid (fidelity) van een frontier-model verbetert, maar het bleef onbewezen of ontologie-gronding een student-model naar pariteit met een frontier-model kon tillen op gereguleerde taken, met name gezien de dunnere parametrische dekking van het student-model in gespecialiseerde domeinen.

Methodologie
De studie hanteert een tweeledige aanpak: een verminderde bewijs-van-mechanisme voor modeldistillatie en een geconsolideerde contextualiteitsaudit voor agent-routing.

Ontologie-versterkte Distillatie:
- Model: Een Qwen3.6-27B student-model werd lokaal aangepast op een enkele Apple M5 Max (128 GB unified memory) met behulp van het MLX-framework.
- Trainingspipeline:
  - Capture: Frontier teachers (GPT-5 en GPT-5-mini) genereerden 451 gegronde trajecten door een specifieke "Foundation AgenticOS" ontologie-slice (beëindigend op rol, domeinconcepten, regelgeving en interactiepatronen) in prompts te injecteren.
  - Supervised Fine-Tuning (SFT): Een low-rank adapter (LoRA) werd getraind op deze trajecten, waarbij de loss werd verminderd van 2.370 naar 0.496.
  - Ontologie-gegronde Direct Preference Optimization (DPO): Het student-model werd verder getuned op 47 synthetische voorkeursparen (42 training, 5 validatie). In elk paar werd het ontologie-gegronde frontier-antwoord gemarkeerd als "geprefereerd", en het antwoord van het basismodel zonder de ontologie-slice als "niet-geprefereerd". Dit isoleerde het leren van ontologie-gegronde gedrag van algemene frontier-imitatie.
- Evaluatie: Het student-model werd geëvalueerd tegen GPT-5 op een uitgesloten set van 40 Vietnamese financiële domeintaken (bankwezen, verzekeringen, kapitaalmarkten, vastgoedtechnologie).
- Metriek: Een lokale, deterministische "ontologie-naleving" metriek ( $r_{onto}$ ) werd gebruikt. Deze scoort 1.0 als een antwoord ten minste één van de ontologie-termen van de taak vermeldt en 0.5 anders. Deze metriek fungeert als een degeneratieve proxy voor een bredere viercomponenten-compliance-composiet, waarbij de focus strikt ligt op de aanwezigheid van termen in plaats van de correctheid of volledigheid van het antwoord.
Contextualiteitsaudit:
- Een aparte pilot (RA-15) testte het "Contextuality-by-Default" (CbD) framework voor enterprise-agent routing.
- De audit beoogde onderscheid te maken tussen "directe invloed" (waarbij veranderingen in de prompt van nature de antwoorden wijzigen), "construct coupling" (construct-koppeling), en "residuele contextualiteit" (inconsistentie die overblijft na rekening te houden met directe invloed).
- De studie analyseerde outputs over meerdere fasen (1.0 tot 1.3) waarbij rollenframes, promptvolgorde en constructformulering betrokken waren, met zowel lokale Qwen als Gemma modellen.

Belangrijkste Resultaten

Distillatie-pariteit: Op de 40 uitgesloten taken landde het gedistilleerde student-model 36 taken (90% grondingspercentage; gemiddelde $r_{onto} = 0.95$ $r_{o n t o} = 0.95$ ), waarmee het exact hetzelfde aantal bereikte als de GPT-5 frontier baseline.
- Disagreement Pattern (Discrepantiepatroon): De modellen misten verschillende taken. Het student-model miste twee kapitaalmarkt- en twee vastgoedtechnologie-taken, terwijl de frontier één kapitaalmarkt- en drie vastgoedtechnologie-taken miste. Twee taken werden door beiden gemist.
- Statistische Beperking: Met $n=40$ overspant het 95% betrouwbaarheidsinterval voor het gepaarde verschil $\pm$ 4 taken. Het resultaat stelt een gelijke puntinschatting vast, maar toont geen statistische equivalentie of superioriteit aan. De studie merkt expliciet op dat het er niet in is geslaagd de vooraf geregistreerde "amplificatie"-hypothese (dat het student-model de frontier zou overtreffen) te bevestigen.
Trainingsmechanisme: De DPO-doelstelling slaagde erin de voorkeursparen te scheiden. De validatie-voorkeur nauwkeurigheid verschoof van 0 naar 1.0, en de reward margin nam toe naar 0.307 in één epoch, wat aangeeft dat het student-model leerde om ontologie-termen te presenteren wanneer de slice aanwezig was.
Contextualiteitsaudit: De pilot leverde een negatief resultaat op met betrekking tot residuele contextualiteit. Na correctie voor waarschijnlijkheidsdrift-residuen en het toepassen van expectation-scale directe-invloeds-correcties, was de canonieke CbD-graad nul voor alle Fase 1.3 groepen in zowel de lokale-Qwen als de Gemma runs. Het geïdentificeerde nuttige signaal was directe invloed en construct coupling, niet overblijvende residuele contextualiteit.

Significantie en Claims
Het artikel positioneert zichzelf als een "mechanisme-en-controle"-studie in plaats van een klaar voor implementatie oplossing. De belangrijkste bijdragen zijn:

Een Trainingsrecept: Het specificeert "ontologie-versterkte distillatie" als een methode om specifieke ontologie-nalevingsgedragingen over te dragen aan soevereine modellen, waarbij dit gedrag wordt gescheiden van algemene frontier-imitatie.
Een Governance-diagnostiek: Het stelt een methodiek voor voor een contextualiteitsaudit om te bepalen wanneer model-discrepantie een escalatie (bijv. debat, synthese, menselijke review) moet triggeren. De bevinding dat residuele contextualiteit nul is in de pilot, suggereert dat schijnbare discrepantie vaak verklaarbaar is door directe invloed of construct coupling, wat pleit voor een "veiligere precursor-regel" om deze factoren te auditen voordat taken worden geëscaleerd.
Eerlijke Scopebeperking: De auteurs stellen expliciet dat het bewijs geen steun biedt aan claims over inzetbaarheid, veiligheid, superioriteit of statistische equivalentie. De studie is "onderbezet" (underpowered) om echte hiaten uit te sluiten, gebruikt synthetische Engelstalige voorkeursdata voor een Vietnamese evaluatie, en vertrouwt op een grove term-dekking metriek.
Dual-Use Transparantie: Het artikel erkent de dubbelrol van de onderzoeker als medeoprichter van een platform en academicus, waarbij opmerkt dat de studie zowel dient als een intern bewijs-van-concept voor een soeverein model als een academische bijdrage.

Conclusie
De studie demonstreert dat een lokaal inzetbaar Qwen3.6-27B model, getuned via ontologie-gegronde distillatie, de prestaties van een frontier-model wat betreft term-dekking kan evenaren op een specifieke set Vietnamese financiële taken. Echter, deze pariteit is een bewijs-van-mechanisme met verminderde kracht. Het artikel concludeert dat een evaluatie met volledige kracht vereist is om kosten, veiligheid (onthouding bij out-of-distribution prompts), cross-scale prestaties (bijv. 14B modellen) en cross-linguale gronding te beoordelen voordat er claims kunnen worden gemaakt over implementatie. De contextualiteitsaudit suggereert verder dat enterprise routing prioriteit moet geven aan het diagnosticeren van directe invloed en construct coupling voordat wordt aangenomen dat residuele contextualiteit complexe multi-agent interventie vereist.

Meer zoals dit