Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

Technisches Resümee: Deterministische Entscheidungen für High-Stakes-KI

Problemstellung: Interventionsbias und die Evaluationslücke
Die Arbeit identifiziert einen kritischen Fehlermodus bei Zero-Shot-LLM-Agenten (Large Language Model), die im hochsensiblen Bereich der Bildungsberatung eingesetzt werden: den Interventionsbias. Ohne aufgabenspezifisches Training empfehlen diese Agenten systematisch Maßnahmen (z. B. Nachhilfe, Erinnerungen), wenn eine Forscher-definierte, rückblickend optimale „Oracle“-Policy eigentlich Untätigkeit vorschreibt. In einer Studie unter Verwendung des Open University Learning Analytics Datensatzes (OULAD) empfahl ein Zero-Shot GPT-4o an Tag 56 für 73 % der Studierenden eine Intervention, während die Oracle-Policy 70,1 % als nicht handlungsbedürftig einstufte. Dies führt zu einer Falsch-Positiv-Rate von 43 Prozentpunkten, was in großen Institutionen tausende unnötige Kontakte zu Beratern generiert, die Glaubwürdigkeit des Systems untergräbt und zu Alert Fatigue (Alarmmüdigkeit) führt.

Darüber hinaus identifiziert das Paper eine Evaluationslücke: Standardmäßige „LLM-as-judge“-Frameworks (z. B. DeepEval G-Eval) sind strukturell blind für diesen Bias. Diese Frameworks belohnen Fluenz, Kohärenz und Ausführlichkeit – Eigenschaften, die von überdosierenden Systemen exzellent verkörpert werden – während sie versagen, die Qualität der Entscheidung zu sanktionieren. Infolgedessen können Systeme mit der schlechtesten Ergebnisgenauigkeit die höchsten Evaluationsbewertungen erhalten, was eine gefährliche Diskrepanz zwischen wahrgenommener und tatsächlicher Leistung bei sequentiellen Beratungsaufgaben schafft.

Methodik: Die EAV-DT-Pipeline und die Sechs-Arm-Ablationsstudie
Um diese Probleme anzugehen, schlagen die Autoren eine zweistufige Architektur vor, welche die Erfassung unstrukturierter Daten von der deterministischen Entscheidungsfindung entkoppelt:

1. Stufe 1 (Ingestion): Die Daten werden in einen typisierten, fest dimensionierten Entity-Attribute-Value (EAV) Zustandsvektor normalisiert. In dieser Studie wird Stufe 1 durch eine deterministische Abbildung von strukturierten OULAD-CSV-Feldern auf einen 12-dimensionalen Vektor realisiert, um die Entscheidungslogik vom Extraktionsrauschen zu isolieren.
2. Stufe 2 (Decision): Ein Decision Transformer (DT) operiert auf dem EAV-Zustandsvektor. Der DT ist ein kleines (624k Parameter), offline trainiertes Modell, das den Zustand und einen „Return-to-Go“ (RTG) Skalar auf eine Interventionsaktion über ein deterministisches argmax über die Output-Logits abbildet.

Die Studie verwendet ein Sechs-Arm-Ablationsdesign an 800 Studierenden über vier zeitliche Schnitte (Tag 14, 28, 56, 112):

• Arme A & B: Kommerzielles RAG (Vektor) und SQL-augmentiertes RAG unter Verwendung von GPT-4o.
• Arm C: EAV-Zustandsvektor, der direkt an GPT-4o zur Entscheidungsfindung übergeben wird.
• Arme D & E: EAV-Zustandsvektor, der vom ONNX Decision Transformer verarbeitet wird (Arm E nutzt ein lokales CPU-natives LLM nur für die narrative Generierung).
• Arm F: Ein supervidierter XGBoost-Klassifikator, der auf denselben Oracle-Labels wie der DT trainiert wurde und als tabellarische ML-Baseline dient.

Wesentliche Beiträge und Ergebnisse

1. Quantifizierung des Interventionsbias:
   Zero-Shot-LLM-Arme (A, B, C) zeigen eine systematische Überdosierung. An Tag 56 überdosierte Arm C (GPT-4o + EAV) im Vergleich zum Oracle um 43,6 Prozentpunkte. In einer Institution mit 10.000 Studierenden entspricht dies etwa 4.300 unnötigen Kontakten pro Zyklus. Im Gegensatz dazu erreichten die supervidierten Arme (D, E, F) eine nahezu Null-Kalibrierungsfehler und eliminierten den Interventionsbias erfolgreich.

2. Supervised Policy Learning eliminiert Bias:
   Sowohl der trajektorienkonditionierte Decision Transformer (Arme D/E) als auch der Snapshot-XGBoost-Klassifikator (Arm F) erreichten eine hohe Expert Policy Fidelity (EPF).

• Arm D/E (Korrigierte v3): Erreichte 99,8 % EPF an Tag 14 und 95,4 % an Tag 112, mit einem Macro-F1 von 79 % und einem Macro-Recall von 85 % über alle fünf Aktionsklassen hinweg (einschließlich seltener Klassen wie reduce_load).
• Arm F (XGBoost): Erreichte 99,8 % an Tag 14, sank aber bis Tag 112 auf 89,9 % ab, was darauf hindeutet, dass die Trajektorien-Konditionierung des DT einen architektonischen Vorteil für langfristige sequentielle Daten bietet.
• Vergleich: Der DT übertraf die Zero-Shot-LLM-Arme (47–67 % EPF) und die Mehrheitsklasse-Baseline an den meisten Zeitpunkten signifikant.

3. Determinismus und Auditierbarkeit:
   Die Arme D und E erreichten eine Action Flip Rate von 0 % aufgrund der mathematischen Garantie der ONNX argmax-Deterministik. Im Gegensatz dazu wiesen die LLM-Arme nicht-null Flip Rates auf (Arm A: 2,9 %, Arm B: 0,8 %, Arm C: 0,2 %), was die Audit-Trails in regulierten Umgebungen unzuverlässig macht.

4. Hardware-Souveränität und Latenz:
   Die Architektur ermöglicht Zero-Egress, CPU-native Inferenz.

• Latenz: Der ONNX-DT-Entscheidungsschritt wird in <5 ms auf einer handelsüblichen CPU ausgeführt, was eine 454,8-fache Beschleunigung gegenüber den Zero-Shot-LLM-Entscheidungen (Arm C) und eine 2.500-fache Beschleunigung gegenüber SQL-RAG-Pipelines (Arm B) darstellt.
• Kosten: Arm E (lokaler Granite 4.0 Small) verursachte 0,00 $ API-Kosten und null Daten-Egress, was die FERPA/GDPR-Anforderungen erfüllt und gleichzeitig die Entscheidungs-Fidelity des Cloud-basierten Arms D erreichte.
• Retraining: Der DT kann in unter 4 Minuten auf einer einzelnen CPU mit neuen Ergebnisdaten neu trainiert werden, was das Hot-Swapping von Policies ohne GPU-Abhängigkeit ermöglicht.

5. Die Evaluationslücke:
   Die Studie bestätigt, dass die DeepEval G-Eval-Rankings orthogonal zur outcome-validierten Genauigkeit stehen. DeepEval bewertete den SQL-RAG-Arm (B) höher als den Vektor-RAG-Arm (A), obwohl Arm B eine signifikant schlechtere Entscheidungsgenauigkeit (47,5 % vs. 65,4 % an Tag 14) aufwies. Dies zeigt, dass fluenzbasierte Evaluation ein unzuverlässiger Proxy für die Entscheidungsqualität in hochsensiblen sequentiellen Interventionen ist.

Bedeutung und Umfang
Das Paper behauptet zu demonstrieren, dass der Zero-Shot-LLM-Einsatz strukturell falsch kalibriert ist für konservative, High-Stakes-Beratungsaufgaben, bei denen „Nichtstun“ eine valide und notwendige Aktion ist. Der primäre Beitrag ist die empirische Validierung, dass Supervised Policy Learning (via DT oder XGBoost) diesen Bias zuverlässig eliminiert, wenn es auf Ergebnis-gelabelten Daten trainiert wird.

Die Autoren schlagen die EAV-DT-Pipeline als „lebenden Flywheel“ vor: ein System, bei dem unstrukturierte Daten in einen typisierten Zustand (EAV) normalisiert, in ein deterministisches, <5ms Entscheidungsmodell (DT) kompiliert und offline in Minuten neu trainiert wird. Diese Architektur ersetzt die Latenz und Stochastizität von Agentic RAG durch eine souveräne, auditierbare und kostenfreie Entscheidungsmaschine.

Bescheidenheit und Limitationen
Die Autoren geben explizit an, dass diese Studie nur Stufe 2 (Entscheidungsqualität auf kontrolliertem, strukturiertem EAV-Input) validiert.

• Kein End-to-End Unstructured Claim: Die Studie behauptet nicht, dass die vollständige Pipeline mit Rohdaten funktioniert; das Rauschen der Stufe 1 Extraktion (Halluzinationen, Schema-Drift) wird auf Folgestudien vertagt.
• Oracle als Proxy: Die hohe Fidelität (93–99 %) spiegelt die Übereinstimmung mit einer Forscher-definierten Rückschau-Regel wider, nicht notwendigerweise eine superhumane Generalisierung auf reale menschliche Berater oder verrauschte Echtwelt-Inputs.
• Evaluationslücke: Die Feststellung, dass LLM-as-judge-Frameworks den Interventionsbias nicht erkennen, wird als spezifischer Domänenfehler für sequentielle Interventionen präsentiert, nicht als allgemeine Kritik an LLM-Judges für alle Aufgaben.

Zusammenfassend argumentiert das Paper, dass für die sequentielle Entscheidungsfindung in High-Stakes-Bereichen der „RAG-Ersatz“ nicht ein besserer Prompt oder ein größeres Modell ist, sondern eine entkoppelte Architektur, die das deterministische Policy-Learning von der narrativen Generierung trennt und so Kalibrierung, Auditierbarkeit und Souveränität sicherstellt.