From Forecasts to Auditable Reports: Evidence Contracts for LLM-Assisted Housing-Guarantee Risk Monitoring

Sintesi Tecnica: Dai Previsioni ai Rapporti Auditabili

Configurazione del Problema
Le istituzioni di garanzia per l'edilizia pubblica affrontano una sfida critica nel convertire previsioni di rischio rumorose per il mese successivo in rapporti operativi tempestivi e auditabili. Nel contesto del mercato delle garanzie jeonse (grandi depositi anticipati) in Corea del Sud, questo compito è complicato da tre fattori: (1) la scarsità di eventi di rischio nella coda superiore (incidenti di garanzia), che rende insufficiente la minimizzazione dell'errore medio per il monitoraggio del rischio; (2) i vincoli di governance dei dati che impediscono la trasmissione di record di garanzia grezzi e riservati a modelli linguistici di grandi dimensioni (LLM) esterni; e (3) il rischio di "allucinazione", in cui le narrazioni fluide degli LLM possono inventare prove, distorcere le unità numeriche o fabbricare analogie storiche. Il problema centrale non è semplicemente la previsione, ma la comunicazione del rischio vincolata all'evidenza: generare rapporti che siano verificabili, radicati in dati specifici e adatti alla revisione da parte di un analista senza esporre dati sorgente sensibili.

Metodologia
Gli autori propongono una pipeline di reporting vincolata all'evidenza che scinde la previsione statistica dalla generazione narrativa, inserendo "contratti di evidenza" strutturati tra le due.

1. Nucleo di Previsione Sensibile al Rischio:

   • Il sistema impiega un Temporal Fusion Transformer (TFT) per prevedere i tassi di incidenti di garanzia a livello di segmento per il mese successivo.
   • A differenza dei modelli standard ottimizzati per l'Errore Assoluto Medio (MAE), il TFT è addestrato con un obiettivo di tipo regret. Questa funzione di perdita asimmetrica impone una penalità maggiore per la sottostima di eventi ad alto rischio (coda destra) rispetto alla sovrastima di segmenti a basso rischio, allineando il modello ai costi operativi delle avvisi mancati.
   • Fondamentalmente, il TFT espone i pesi interni di selezione delle variabili e di attenzione temporale, che fungono da "razionale" per la previsione.

2. Recupero del Ragionamento del Modello:

   • Per trovare precedenti storici rilevanti senza violare la riservatezza dei dati grezzi, il sistema costruisce una rappresentazione del ragionamento del modello ($Z_{i,t}$) concatenando le matrici di selezione delle variabili e di attenzione temporale del TFT.
   • Viene utilizzato l'Allineamento del Kernel Centrato (CKA) per misurare la similarità tra la matrice di ragionamento della finestra corrente e le finestre storiche. Questo recupera "casi analoghi" basandosi su come il modello ha ragionato (pattern variabile-tempo) piuttosto che solo sui valori grezzi delle covariate.
   • Le finestre di riferimento ad alto rischio sono selezionate separatamente in base ai risultati realizzati per garantire che il sistema distingua tra "ragionamento simile" e "esiti storici severi".

3. Contratti di Evidenza e Reporting Strutturato:

   • Prima che un LLM venga invocato, un modulo deterministico compila un Contratto di Evidenza Tipizzato ($E_{i,t}$). Questo contratto contiene campi fissi: la previsione, il baseline, l'etichetta di direzione (Su/Giù/Stabile), i driver chiave, l'evidenza temporale, i casi analoghi, i riferimenti ad alto rischio e le avvertenze.
   • L'LLM è strettamente vincolato a verbalizzare il contenuto di questo contratto. Gli è proibito generare nuove previsioni, driver o analogie storiche.
   • Vengono testate tre interfacce: Dati Grezzi (contesto non strutturato), Scheda di Evidenza (contratto tipizzato aggiunto) e Rapporto Strutturato (contratto + grammatica del rapporto fissa).

4. Protocollo di Audit:

   • Uno strato di audit deterministico verifica la bozza generata rispetto al contratto di evidenza. Controlla la coerenza della direzione, la fedeltità numerica, la correttezza delle unità, la validità delle caratteristiche e l'assenza di inferenze non supportate.
   • L'output è un insieme di flag che indicano quali affermazioni richiedono la verifica dell'analista, piuttosto che una decisione automatizzata di successo o fallimento.

Contributi Chiave

1. Formulazione: Il documento riformula il monitoraggio della garanzia abitativa come un processo di conversione di previsioni di rischio sparse in evidenze di revisione auditabili sotto vincoli di capacità e di governance, piuttosto che come un puro compito di previsione.
2. Workflow: Introduce un workflow di costruzione dell'evidenza che collega i valori previsionali, i driver derivati dal modello, i periodi influenti e i precedenti storici prima della generazione del rapporto, garantendo che l'LLM operi su un insieme limitato di fatti ammissibili.
3. Valutazione: Lo studio valuta la pipeline attraverso una lente multifocale: utilità della previsione sensibile alla coda, fedeltà del rapporto (grounding), auditabilità e una valutazione pratica che coinvolge 51 analisti.

Risultati

• Performance di Previsione: Il modello TFT-Regret proposto supera significativamente i modelli standard (LSTM, DLinear, LightGBM) nel rilevare eventi ad alto rischio. Mentre l'LSTM ha ottenuto il MAE più basso (0,027), aveva un richiamo P90 di soli 0,080. Il modello TFT-Regret proposto ha raggiunto un richiamo P90 di 0,560 (rilevando 14 casi su 25 casi ad alto rischio realizzati), a fronte di un modesto aumento del MAE (0,041).
• Qualità del Rapporto: Tra otto LLM, l'uso di contratti di evidenza strutturati ha costantemente migliorato la qualità del rapporto, la fedeltà numerica e il grounding a livello di affermazione rispetto agli input di dati grezzi.
• Validazione degli Esperti: In uno studio con 51 analisti e professionisti del settore, la maggioranza ha valutato i rapporti vincolati dall'evidenza come utili nella pratica per la revisione e il processo decisionale reale. La maggior parte dei partecipanti ha approvato un pilota operativo, notando che i rapporti supportavano il necessario workflow "analyst-in-the-loop".

Significatività e Rivendicazioni
Il documento sostiene che un reporting affidabile assistito da LLM nel monitoraggio finanziario ad alto rischio non può fare affidamento solo su modelli predittivi. Richiede invece un accoppiamento di modelli predittivi con evidenza strutturata, verifica esplicita e supervisione dell'analista.

Gli autori affermano che il loro approccio trasforma con successo la generazione aperta in reporting limitato e verificabile. Trattando gli output del modello come "evidenze orientate all'audit" piuttosto che come spiegazioni causali, e imponendo un rigoroso contratto di evidenza prima della generazione, il sistema mitiga i rischi di allucinazione e di fuga di dati. I risultati suggeriscono che, per il monitoraggio del rischio operativo, il valore di un sistema di IA non risiede nella sua capacità di generare testi fluidi, ma nella sua capacità di organizzare e presentare evidenze ammissibili e verificate che supportino il giudizio umano. Il sistema è progettato per assistere, non per sostituire, l'analista, garantendo che il giudizio finale sul rischio rimanga una responsabilità umana supportata da una traccia trasparente basata sulle evidenze.