Deterministic Decisions for High-Stakes AI. A Zero-Egress Pipeline with the Deployability of RAG and the Accuracy of Machine Learning

Sintesi Tecnica: Decisioni Deterministiche per l'IA ad Alto Rischio

Problematica: Bias di Intervento e il Gap di Valutazione
Il documento identifica un fallimento critico nei modelli di agenti LLM (Large Language Model) zero-shot impiegati per la consulenza educativa ad alto rischio: il bias di intervento. Senza un addestramento specifico per il compito, questi agenti raccomandano sistematicamente l'azione (ad esempio, tutoraggio, promemoria) quando una policy "oracle" definita dal ricercatore e basata sul retrospettivo prescriverebbe l'inazione. In uno studio che utilizza l'Open University Learning Analytics Dataset (OULAD), GPT-4o zero-shot ha raccomandato l'intervento per il 73% degli studenti al giorno 56, mentre la policy oracle designava il 70,1% come non richiedente alcuna azione. Ciò si traduce in un tasso di falsi positivi del 43% in punti percentuali, generando migliaia di contatti non necessari per i consulenti nelle grandi istituzioni, erodendo la credibilità del sistema e causando affaticamento da allerta (alert fatigue).

Inoltre, il documento identifica un Evaluation Gap (Gap di Valutazione): i framework standard "LLM-as-judge" (ad esempio, DeepEval G-Eval) sono strutturalmente ciechi a questo bias. Questi framework premiano la fluidità, la coerenza e l'elaboratezza — tratti esibiti dai sistemi che sovra-prescrivono — pur non penalizzando la qualità della decisione errata. Di conseguenza, sistemi con la peggiore accuratezza nei risultati possono ricevere i punteggi di valutazione più elevati, creando un pericoloso distacco tra prestazioni percepite e reali in compiti di consulenza sequenziale.

Metodologia: La Pipeline EAV-DT e l'Ablazione a Sei Bracci
Per affrontare queste problematiche, gli autori propongono e validano un'architettura a due stadi che disaccoppia l'ingestione di dati non strutturati dal processo decisionale deterministico:

1. Stadio 1 (Ingestione): I dati vengono normalizzati in un vettore di stato Entity-Attribute-Value (EAV) tipizzato e a dimensione fissa. In questo studio, lo Stadio 1 è realizzato tramite una mappatura deterministica dei campi CSV strutturati di OULAD in un vettore a 12 dimensioni per isolare la logica decisionale dal rumore di estrazione.
2. Stadio 2 (Decisione): Un Decision Transformer (DT) opera sul vettore di stato EAV. Il DT è un modello piccolo (624k parametri), addestrato offline, che mappa lo stato e uno scalare "Return-to-Go" (RTG) verso un'azione di intervento tramite un argmax deterministico sui logit in uscita.

Lo studio impiega un disegno di ablazione a sei bracci su 800 studenti attraverso quattro tagli temporali (giorni 14, 28, 56, 112):

• Bracci A e B: RAG Commerciale (Vettore) e RAG aumentato da SQL utilizzando GPT-4o.
• Braccio C: Vettore di stato EAV presentato direttamente a GPT-4o per la presa di decisione.
• Bracci D ed E: Vettore di stato EAV elaborato dal Decision Transformer ONNX (il braccio E utilizza un LLM locale nativo per CPU solo per la generazione narrativa).
• Braccio F: Un classificatore supervisionato XGBoost addestrato sugli stessi label dell'oracle come il DT, fungendo da baseline di machine learning tabulare.

Contributi Chiave e Risultati

1. Quantificazione del Bias di Intervento:
   I bracci LLM zero-shot (A, B, C) mostrano una sistematica sovra-prescrizione. Al giorno 56, il Braccio C (GPT-4o + EAV) ha sovra-prescritto del 43,6% in punti percentuali rispetto all'oracle. In un'istituzione con 10.000 studenti, ciò equivale a circa 4.300 contatti non necessari per ciclo. Al contrario, i bracci supervisionati (D, E, F) hanno raggiunto un errore di calibrazione vicino allo zero, eliminando con successo il bias di intervento.

2. L'Apprendimento di Policy Supervisionate Elimina il Bias:
   Sia il Decision Transformer condizionato dalla traiettoria (Bracci D/E) che il classificatore snapshot XGBoost (Braccio F) hanno ottenuto un'alta Expert Policy Fidelity (EPF).

• Braccio D/E (Corretto v3): Ha raggiunto il 99,8% di EPF al giorno 14 e il 95,4% al giorno 112, con un macro-F1 del 79% e un macro-recall dell'85% attraverso tutte le cinque classi di azione (incluse classi rare come reduce_load).
• Braccio F (XGBoost): Ha raggiunto il 99,8% al giorno 14 ma è degradato all'89,9% entro il giorno 112, suggerendo che il condizionamento della traiettoria del DT offra un vantaggio architettonico per i dati sequenziali a lungo termine.
• Confronto: Il DT ha superato significativamente i bracci LLM zero-shot (47–67% EPF) e la baseline della classe maggioritaria nella maggior parte dei cut-off.

3. Determinismo e Auditabilità:
   I bracci D ed E hanno raggiunto un tasso di flip d'azione dello 0% grazie alla garanzia matematica del determinismo argmax di ONNX. Al contrario, i bracci LLM hanno esibito tassi di flip non nulli (Braccio A: 2,9%, Braccio B: 0,8%, Braccio C: 0,2%), rendendo inaffidabili le tracce di audit in ambienti regolamentati.

4. Sovranità Hardware e Latenza:
   L'architettura consente l'inferenza zero-egress, nativa per CPU.

• Latenza: Il passaggio decisionale del DT in ONNX si esegue in <5 ms su una CPU comune, rappresentando un incremento di velocità di 454,8× rispetto alle decisioni LLM zero-shot (Braccio C) e di 2.500× rispetto alle pipeline SQL-RAG (Braccio B).
• Costo: Il Braccio E (Granite 4.0 Small locale) ha comportato $0,00 di costo API e zero egress di dati, soddisfacendo i requisiti FERPA/GDPR, pur eguagliando la fedeltà decisionale del braccio basato su cloud (Braccio D).
• Rieducazione: Il DT può essere riaddestrato su nuovi dati di esito in meno di 4 minuti su una singola CPU, consentendo la sostitazione a caldo delle policy senza dipendenza da GPU.

5. L'Evaluation Gap:
   Lo studio conferma che le classifiche di DeepEval G-Eval sono ortogonali all'accuratezza validata dagli esiti. DeepEval ha classificato il braccio SQL-RAG (B) più in alto del braccio RAG vettoriale (A), nonostante il Braccio B avesse un'accuratezza decisionale significativamente peggiore (47,5% vs 65,4% al giorno 14). Ciò dimostra che la valutazione basata sulla fluidità è una proxy inaffidabile per la qualità decisionale in interventi sequenziali critici.

Significato e Ambito
Il documento sostiene che l'impiego di LLM zero-shot è strutturalmente mal calibrato per compiti di consulenza conservativi e ad alto rischio dove "non fare nulla" è un'azione valida e necessaria. Il contributo primario è la validazione empirica del fatto che l'apprendimento di policy supervisionate (tramite DT o XGBoost) elimina in modo affidabile questo bias.

Gli autori propongono la pipeline EAV-DT come un "volano vivente": un sistema in cui i dati non strutturati vengono normalizzati in uno stato tipizzato (EAV), compilati in un modello decisionale deterministico (DT) e riaddestrati offline in pochi minuti. Questa architettura sostituisce la latenza e la stocasticità della RAG agentica con un motore decisionale sovrano, auditabile e privo di costi.

Modestia e Limitazioni
Gli autori dichiarano esplicitamente che questo studio valida solo lo Stadio 2 (qualità decisionale su input EAV controllati e strutturati).

• Nessuna pretesa End-to-End su dati non strutturati: Lo studio non afferma che l'intera pipeline funzioni su dati grezzi non strutturati; il rumore di estrazione dello Stadio 1 (allucinazioni, deriva dello schema) è rimandato a lavori futuri.
• L'Oracle come Proxy: L'alta fedeltà (93–99%) riflette l'allineamento con una regola di retrospettiva definita dal ricercatore, non necessariamente una generalizzazione sovrumana a consulenti umani reali o a input rumorosi del mondo reale.
• Evaluation Gap: Il riscontro che i framework LLM-as-judge non rilevino il bias di intervento è presentato come un fallimento specifico del dominio per gli interventi sequenziali, non come una critica generale agli LLM judge per tutti i compiti.

In sintesi, il documento argomenta che per il processo decisionale sequenziale ad alto rischio, il "RAG-replacement" non è un prompt migliore o un modello più grande, ma un'architettura disaccoppiata che separa l'apprendimento di una policy deterministica dalla generazione narrativa, garantendo calibrazione, auditabilità e sovranità.