Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

Technische Samenvatting: Deterministische Besluitvorming voor AI met Hoge Inzet

Probleemstelling: Interventiebias en de Evaluatiekloof
Het artikel identificeert een kritieke foutmodus in zero-shot Large Language Model (LLM) agenten die worden ingezet voor hoogwaardige educatieve advisering: interventiebias. Zonder taakspecifieke training adviseren deze agenten systematisch actie (bijv. bijles, herinneringen) wanneer een door onderzoekers gedefinieerd, achteraf optimaal "oracle"-beleid juist inactiviteit voorschrijft. In een studie met de Open University Learning Analytics Dataset (OULAD) adviseerde zero-shot GPT-4o voor 73% van de studenten interventie op dag 56, terwijl het oracle-beleid voor 70,1% aangaf dat geen actie vereist was. Dit resulteert in een fout-positiefpercentage van 43 procentpunt, wat leidt tot duizenden onnodige contactmomenten met adviseurs bij grote instellingen, de geloofwaardigheid van het systeem ondermijnt en zorgt voor alertmoeheid.

Verder identificeert het artikel een Evaluatiekloof: standaard LLM-als-rechter frameworks (bijv. DeepEval G-Eval) zijn structureel blind voor deze bias. Deze frameworks belonen vloeiendheid, coherentie en uitgebreidheid—eigenschappen die kenmerkend zijn voor overmatig voorschrijvende systemen—terwijl ze falen in het bestraffen van een onjuiste besluitkwaliteit. Bijgevolg kunnen systemen met de slechtste uitkomstaccuratesse de hoogste evaluatiescores ontvangen, wat een gevaarlijke disconnect creëert tussen waargenomen en werkelijke prestaties in sequentiële adviestaken.

Methodologie: De EAV-DT Pipeline en Zes-armen Ablatieonderzoek
Om deze problemen aan te pakken, stellen de auteurs een tweefasige architectuur voor die de verwerking van ongestructureerde data ontkoppelt van deterministische besluitvorming:

1. Fase 1 (Ingestie): Data wordt genormaliseerd naar een getypeerde, vast dimensionale Entity-Attribute-Value (EAV) statusvector. In deze studie wordt Fase 1 gerealiseerd via een deterministische mapping van gestructureerde OULAD CSV-velden naar een 12-dimensionale vector om de beslissingslogica te isoleren van extractieruis.
2. Fase 2 (Besluitvorming): Een Decision Transformer (DT) opereert op de EAV-statusvector. De DT is een klein (624k parameters), offline getraind model dat de status en een "Return-to-Go" (RTG) scalaire waarde naar een interventie-actie mapt via een deterministische argmax over de output-logits.

De studie hanteert een zes-armen ablatiestudie op 800 studenten over vier temporele afkappunten (dag 14, 28, 56, 112):

• Armen A & B: Commerciële RAG (Vector) en SQL-augmented RAG gebruikmakend van GPT-4o.
• Arm C: EAV-statusvector direct gepresenteerd aan GPT-4o voor besluitvorming.
• Armen D & E: EAV-statusvector verwerkt door de ONNX Decision Transformer (Arm E gebruikt een lokale CPU-native LLM enkel voor narratieve generatie).
• Arm F: Een gesuperviseerde XGBoost-classifier getraind op dezelfde oracle-labels als de DT, dienend als een tabelvormige ML-baseline.

Kernbijdragen en Resultaten

1. Kwantificering van Interventiebias:
   Zero-shot LLM-armen (A, B, C) vertonen systematische overvoorschrijving. Op dag 56 overvoorschreef Arm C (GPT-4o + EAV) met 43,6 procentpunt vergeleken met de oracle. In een instelling met 10.000 studenten komt dit neer op ~4.300 onnodige contactmomenten per cyclus. In contrast hiermee bereikten de gesuperviseerde armen (D, E, F) een bijna nul-kalibratiefout, waarmee de interventiebias succesvol werd geëlimineerd.

2. Supervised Policy Learning Elimineert Bias:
   Zowel de traject-geconditioneerde Decision Transformer (Armen D/E) als de snapshot XGBoost-classifier (Arm F) behaalden een hoge Expert Policy Fidelity (EPF).

   • Arm D/E (Corrected v3): Behaalde 99,8% EPF op dag 14 en 95,4% op dag 112, met een macro-F1 van 79% en een macro-recall van 85% over alle vijf de actieklassen (inclusclusief zeldzame klassen zoals reduce_load).
   • Arm F (XGBoost): Behaalde 99,8% op dag 14 maar degradeerde naar 89,9% tegen dag 112, wat suggereert dat de traject-conditionering van de DT een architecturaal voordeel biedt voor langetermijn-sequentiële data.
   • Vergelijking: De DT presteerde significant beter dan de zero-shot LLM-armen (47–67% EPF) en de meerderheidsklasse-baseline op de meeste afkappunten.

3. Determinisme en Controleerbaarheid:
   Armen D en E behaalden een 0% action flip rate dankzij de wiskundige garantie van ONNX argmax-determinisme. Daarentegen vertoonden LLM-armen een niet-nul flip rate (Arm A: 2,9%, Arm B: 0,8%, Arm C: 0,2%), wat audit trails onbetrouwbaar maakt in gereguleerde omgevingen.

4. Hardware Souvereiniteit en Latentie:
   De architectuur maakt zero-egress, CPU-native inferentie mogelijk.

   • Latentie: De ONNX DT beslissingsstap voert uit in <5 ms op een standaard CPU, wat een 454,8× versnelling betekent ten opzijde van zero-shot LLM-beslissingen (Arm C) en een 2.500× versnelling ten opzichte van SQL-RAG-pipelines (Arm B).
   • Kosten: Arm E (lokale Granite 4.0 Small) bracht $0,00 API-kosten in rekening en kende nul data-egress, wat voldoet aan FERPA/GDPR-vereisten, terwijl de beslissingsgetrouwheid van de cloud-gebaseerde Arm D werd geëvenaard.
   • Her-training: De DT kan in minder dan 4 minuten op een enkele CPU worden hertraind op nieuwe uitkomstdata, wat het mogelijk maakt om policies snel te vervangen zonder GPU-afhankelijkheid.

5. De Evaluatiekloof:
   De studie bevestigt dat DeepEval G-Eval rangschikkingen orthogonaal zijn aan uitkomst-gevalideerde accuratesse. DeepEval rangschikte de SQL-RAG arm (B) hoger dan de vector RAG arm (A), ondanks het feit dat Arm B een aanzienlijk slechtere beslissingsaccuratesse had (47,5% vs. 65,4% op dag 14). Dit demonstreert dat vloeiendheid-gebaseerde evaluatie een onbetrouwbare proxy is voor besluitkwaliteit in hoogwaardige sequentiële interventies.

Betekenis en Omvang
Het artikel beweert aan te tonen dat zero-shot LLM-implementatie structureel verkeerd gekalibreerd is voor conservatieve, hoogwaardige adviestaken waarbij "niets doen" een geldige en noodzakelijke actie is. De primaire bijdrage is de empirische validatie dat supervised policy learning (via DT of XGBoost) deze bias betrouwbaar elimineert wanneer getraind op uitkomst-gelabelde data.

De auteurs stellen de EAV-DT pipeline voor als een "levende flywheel": een systeem waarbij ongestructureerde data wordt genormaliseerd naar een getypeerde staat (EAV), wordt gecompileerd naar een deterministisch, sub-5ms beslissingsmodel (DT), en offline in minuten wordt hertraind. Deze architectuur vervangt de latentie en stochasticiteit van Agentic RAG door een soevereine, controleerbare en kosteloze beslissingsmotor.

Bescheidenheid en Beperkingen
De auteurs geven expliciet aan dat deze studie alleen Fase 2 (beslissingskwaliteit op gecontroleerde, gestructureerde EAV-input) valideert.

• Geen End-to-End Ongestructureerde Claim: De studie claimt niet dat de volledige pipeline werkt op ruwe ongestructureerde data; de extractieruis in Fase 1 (hallucinaties, schema drift) wordt uitgesteld naar vervolgwerk.
• Oracle als Proxy: Hoge getrouwheid (93–99%) weerspiegelt de afstemming op een door een onderzoeker gedefinieerde hindsight-regel, en niet noodzakelijkerwijs superieure generalisatie naar menselijke adviseurs of ruisige real-world inputs.
• Evaluatiekloof: De bevinding dat LLM-als-rechter frameworks de interventiebias niet detecteren, wordt gepresenteerd als een specifieke domeinfout voor sequentiële interventies, en niet als een algemene kritiek op LLM-rechters voor alle taken.

Samenvattend betogen de auteurs dat voor sequentiële besluitvorming met hoge inzet, de "RAG-vervanging" niet een betere prompt of een groter model is, maar een ontkoppelde architectuur die deterministische policy learning scheidt van narratieve generatie, waardoor kalibratie, controleerbaarheid en soevereiniteit worden gewaarborgd.