🤖 machine learning

MortarBench: Evaluating Mortgage Loan Origination Agents

Questo articolo introduce MortarBench, un benchmark sintetico per la valutazione degli agenti di erogazione di mutui che rivela significativi divari di prestazione e pregiudizi nei modelli linguistici di grandi dimensioni attuali, insieme al framework CRIT che migliora l'accuratezza, la gestione del rischio e l'equità.

Autori originali: Matthew Toles, Yunan Lu, Manav Munjal, Bojun Liu, Yuanhao Deng, Stephanie Selig, Derek Rindner, Cheng Li, Zhou Yu

Pubblicato 2026-06-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Matthew Toles, Yunan Lu, Manav Munjal, Bojun Liu, Yuanhao Deng, Stephanie Selig, Derek Rindner, Cheng Li, Zhou Yu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di fare domanda per un mutuo per comprare una casa. Prima che la banca dica "sì", un esperto umano (chiamato sottoscrittore o underwriter) deve giocare a un gioco molto severo di "trova le differenze". Esamina due cose: un lungo elenco delle tue transazioni bancarie (ciò che hai effettivamente speso) e un modulo che hai compilato (ciò che hai detto di aver speso). Il suo compito è assicurarsi che queste due storie corrispondano perfettamente e seguano complesse regole governative.

Questo processo è noioso, costoso e rischioso. Se l'umano commette un errore, la banca potrebbe perdere milioni o essere multata. Così, le banche stanno iniziando ad assumere "assistenti AI" (modelli linguistici di grandi dimensioni) per aiutare in questo controllo. Ma ecco il problema: nessuno sapeva se questi assistenti AI fossero effettivamente bravi nel lavoro. Non esisteva un test standardizzato per vedere se fossero abbastanza intelligenti o se stessero solo tirando a indovinare.

Questo articolo introduce MortarBench, un nuovo "esame di guida" progettato specificamente per vedere quanto bene l'IA possa gestire la documentazione ipotecaria.

1. Costruire il Test (La Realtà "Finta")

Non puoi dare a un'IA i veri estratti conto delle persone perché sarebbe un incubo per la privacy. Quindi, i ricercatori hanno costruito una fabbrica di simulazione.

La Ricetta: Hanno preso il "profilo aromatico" dei dati bancari reali (quanto spesso le persone ricevono lo stipendio, quanto spendono per l'affitto, ecc.) e hanno cucinato migliaia di estratti conto falsi ma realistici.
Il Colpo di Scena: Non hanno creato dati casuali. Hanno usato una tecnica di "mutazione". Immaginate che abbiano scritto una domanda come: "Questa persona ha 3 debiti 'Compra ora, paga dopo'?" Poi, hanno modificato programmaticamente l'estratto conto falso per garantire che la risposta fosse esattamente "3". Questo garantisce che il test sia equo e che le risposte siano note.
Il Risultato: Un enorme dataset di 188 scenari complessi in cui un'IA deve leggere un estratto conto e un modulo, e poi rispondere a domande specifiche come "È un conto cointestato?" o "Elenca tutti i depositi consistenti".

2. I Risultati del Test: L'IA fatica

Quando hanno fatto passare i modelli di IA di alto livello (come Gemini, Claude e GPT) attraverso MortarBench, i risultati sono stati contrastanti:

Il Bene: Le IA erano discrete con le domande semplici di tipo "Sì/No".
Il Male: Erano terribili nell'elencare le cose. Se veniva chiesto di elencare transazioni specifiche, le IA spesso allucinavano (inventavano cose) o ne saltavano di ovvie.
Il Brutto (Bias): Le IA mostravano un pregiudizio strano. Se una transazione bancaria aveva un nome in inglese, l'IA raramente pensava che fosse "straniero". Ma se il nome era in una lingua non inglese (come l'arabo, l'hindi o il cinese), l'IA assumeva che fosse straniero il 77% delle volte, anche quando non avrebbe dovuto. Era come se l'IA indossasse "occhiali per stranieri" che funzionavano solo sui nomi non inglesi.

3. La Soluzione: Il "Filtro di Confidenza" (CRIT)

I ricercatori hanno notato che l'IA era ipersensibile. Era come un rilevatore di fumo che scatta ogni volta che tosti un pezzo di pane. Segnalava troppe cose come "rischiose" o "straniere" solo per sicurezza.

Per risolvere il problema, hanno creato un nuovo strumento chiamato CRIT.

Come funziona: Invece di dare solo una risposta, l'IA è costretta a fare una pausa e a valutare la propria confidenza su una scala da 1 a 5. "Sono sicuro al 100% che questa transazione sia un prestito? O sto solo tirando a indovinare?"
Il Filtro: Se il punteggio di confidenza dell'IA è troppo basso (sotto una certa soglia), CRIT scarta quella risposta.
L'Esito: Questo semplice "filtro di confidenza" ha agito come un setaccio. Ha catturato le ipotesi selvagge dell'IA e le ha filtrate.
- L'accuratezza è aumentata (dal 77,1% all'80,5%).
- L' "ipersensibilità" è diminuita significativamente.
- Fondamentalmente, il bias è migliorato. L'IA è diventata meno propensa a segnalare erroneamente nomi non inglesi come "stranieri" solo perché stava tirando a indovinare.

4. Perché l'IA è fallita (L'Autopsia)

I ricercatori hanno esaminato da vicino gli errori e hanno trovato quattro ragioni principali per cui l'IA sbagliava:

Leggere male l'etichetta: Vedeva una transazione etichettata come "Prestito Personale" e pensava fosse un debito "Compra ora, paga dopo" perché le parole suonano simili.
Errori matematici: Vedeva pagamenti dell'affitto che sommate superavano il reddito totale indicato sul modulo e assumeva che la matematica fosse corretta, anche se non lo era.
Mancanza di conoscenza del mondo: Assumeva che tutti i bonifici esteri fossero internazionali, il che non è vero.
Confusione tra le regole: Pensava che un pagamento una tantum fosse una spesa ricorrente solo perché potrebbe accadere di nuovo in futuro.

5. La Grande Conclusione

L'articolo conclude che, sebbene l'IA stia migliorando, non è ancora pronta a sostituire da sola gli umani sottoscrittori di mutui. È troppo incline a inventare fatti e a nutrire pregiudizi contro i nomi non inglesi.

Tuttavia, il metodo CRIT dimostra che se insegniamo all'IA a "sapere quando non sa", possiamo renderla molto più sicura, accurata e meno parziale. È un passo verso un futuro in cui l'IA può essere un copilota utile per gli umani, piuttosto che un conducente spericolato.

In breve: l'articolo ha costruito una pista di prova per l'IA dei mutui, ha scoperto che le auto uscivano di strada e discriminavano certe targhe, e poi ha installato un "freno di confidenza" che ha aiutato le auto a restare in strada e a trattare tutti in modo più equo.

Sintesi Tecnica: MortarBench e CRIT

Definizione del Problema

Il processo di origination dei mutui è un dominio critico e ad alto rischio che coinvolge una complessa valutazione del rischio e la conformità normativa (ad esempio, le linee guida di Fannie Mae e Freddie Mac). Sebbene le aziende stiano integrando sempre più agenti basati su Large Language Model (LLM) per assistere gli ufficiali di prestito nella validazione dei profili finanziari dei richiedenti rispetto agli estratti conto bancari, il settore manca di un benchmark standardizzato per valutare tali agenti. Gli esistenti benchmark di QA finanziaria non affrontano adeguatamente le sfide specifiche dell'istruttoria dei mutui, che richiedono la riconciliazione di estratti conto non strutturati con profili strutturati dei richiedenti (file ULAD) per rilevare incongruenze, calcolare metriche finanziarie specifiche e garantire l'osservanza normativa. Inoltre, l'impossibilità di condividere dati finanziari reali a causa delle preoccupazioni sulla privacy ha ostacolato la creazione di dataset di valutazione realistici e ricchi di casi limite (edge case).

Metodologia

1. Creazione del Dataset MortarBench

Per affrontare la mancanza di standard di valutazione, gli autori introducono MortarBench (Mortgage Transaction Analysis, and Reasoning Benchmark). La pipeline di generazione del dataset impiega un approccio di sintesi e mutazione dei dati finanziari per superare i vincoli di privacy garantendo al contempo la coerenza interna:

Sintesi dei Dati: Gli autori hanno campionato 300 estratti conto reali per estrarre statistiche riassuntive anonime (frequenze e valori medi di tipi di transazioni come payroll, spese abitative, crypto e BNPL). Queste statistiche sono state utilizzate per generare proceduralmente estratti conto sintetici (intervalli di 60 giorni) che corrispondessero alle distribuzioni del mondo reale.
Generazione ULAD: I file Uniform Loan Application Dataset (ULAD) sono stati generati utilizzando un approccio guidato da template basato sullo schema Freddie Mac. I valori nel ULAD (asset, passività) sono stati calcolati direttamente dagli estratti conto sintetici per garantire la coerenza.
Generazione di Domande e Risposte: Domande dal mondo reale provenienti da una chatbot di assistenza ai prestiti in produzione sono state curate e perfezionate da esperti. Le domande sono state categorizzate in tre tipi di risposta: Booleana, Elenco Transazioni (ID) e Elenco Conti (ID).
Mutazione per i Casi Limite: Per garantire una copertura bilanciata dei casi limite, gli autori hanno progettato delle funzioni di mutazione. Per una determinata domanda e una risposta desiderata (ad esempio, "3 transazioni BNPL"), il sistema modifica programmaticamente l'estratto conto e il ULAD per forzare quel risultato specifico mantenendo la coerenza del documento. Ciò consente la generazione sia di esempi positivi che negativi per ogni query.

Il dataset finale comprende 188 casi di test derivati da 47 domande uniche, con una media di 33,6 transazioni per estratto conto.

2. Il Framework CRIT

Osservando che i modelli di base esibivano una grave ipersensibilità (alti falsi positivi, zero falsi negativi in alcuni casi), gli autori propongono CRIT (Confidence Reflection Inference for Transactions).

Meccanismo: Inveve di restituire direttamente un elenco di transazioni, l'agente genera un punteggio di confidenza (1–5) per ogni potenziale transazione inclusa nella sua risposta. Questo punteggio riflette la probabilità di correttezza basata sul numero e sulla forza delle assunzioni necessarie per giustificare l'inclusione.
Soglia (Thresholding): Il sistema applica una soglia rigida ( $T=5$ ), scartando qualsiasi transazione con un punteggio di confidenza inferiore a questo valore.
Obiettivo: Questo approccio mira ad allontanare i modelli dall'ipersensibilità, migliorare la gestione del rischio e ridurre i bias permettendo al sistema di filtrare inclusioni a bassa confidenza e potenzialmente erronee.

Risultati Chiave

Metriche di Performance

Performance Baseline: I modelli closed-source allo stato dell'arte si sono comportati scarsamente su MortarBench, con il miglior modello di base (Gemini 3.1 Pro) che ha raggiunto solo il 77,1% di accuratezza Exact Match (EM).
Impatto di CRIT: Il framework CRIT ha migliorato le prestazioni in tutti i modelli testati. Per Gemini 3.1 Pro, CRIT ha aumentato l'accuratezza EM all'80,5% e l'F1 all'83,6.
Riduzione degli Errori: CRIT ha fornito una riduzione degli errori del 14,8% rispetto alla baseline più forte. I guadagni più significativi sono stati osservati nelle domande di elenco transazioni, dove i modelli di base faticavano a causa dell'ipersensibilità.
Mitigazione del Bias: CRIT ha ridotto il divario di classificazione di "origine straniera" tra nomi inglesi e non inglesi dal 77,0% al 54,0% nel modello Gemini baseline.

Analisi dei Fallimenti

Una revisione manuale di 36 tracce di ragionamento errate del modello baseline Gemini ha identificato quattro modalità primarie di fallimento:

Errata Classificazione delle Transazioni (33,3%): Categorizzazione errata delle transazioni in base alle descrizioni (ad esempio, identificare erroneamente un prestito personale come BNPL).
Errori di Corrispondenza dei Valori (27,8%): Mancata corrispondenza corretta dei valori calcolati rispetto ai limiti dichiarati (ad esempio, pagamenti di affitto che superano i totali ULAD).
Mancanza di Conoscenza di Dominio (22,2%): Assunzione errata di norme del settore (ad esempio, assumere che tutti i bonifici siano internazionali).
Interpretazione Errata dei Vincoli (11,1%): Interpretazione errata dei vincoli del prompt (ad esempio, classificare pagamenti una tantum come ricorrenti).

Stochasticità e Coerenza

Gli autori hanno analizzato la coerenza degli errori utilizzando il Risk Ratio (RR). È stato riscontrato un RR di 12,7 per il modello Gemini baseline, indicando che gli errori non sono dovuti a una stochasticità casuale ma piuttosto a false credenze consistenti all'interno del modello. Ciò suggerisce che i modelli si affidano a pattern di ragionamento spuri piuttosto che a una genuina comprensione.

Analisi del Bias

Lo studio ha rivelato bias sistematici nei LLM riguardanti i nomi non inglesi:

Bias di Origine Straniera: I trasferimenti associati a nomi non inglesi (specialmente script non latini come arabo, hindi e mandarino) sono stati classificati come "di origine straniera" nel 77,0% dei casi, rispetto al solo 13,3% per i nomi inglesi.
Sensibilità allo Script: Il bias era più pronunciato per gli script non latini (93,3%) rispetto agli script latini non inglesi (52,5%).
Bias IVTS: Gli utenti di Sistemi di Trasferimento di Valore Informali (IVTS) hanno affrontato tassi di recall più elevati per la classificazione "straniera" rispetto ai sistemi di pagamento formali, indicando un potenziale trattamento ineguale.

Significato e Rivendicazioni

Il documento rivendica i seguenti contributi e la relativa importanza:

Primo Benchmark Specializzato: MortarBench è il primo benchmark progettato specificamente per i compiti di istruttoria dei mutui, colmando una lacuna critica nella capacità dell'industria di valutare gli agenti LLM.
Copertura Realistica dei Casi Limite: Utilizzando una pipeline basata sulla mutazione, il dataset genera con successo esempi realistici con una vasta copertura di casi limite che corrispondono alle distribuzioni del mondo reale, superando le barriere della privacy dei dati finanziari reali.
Dimostrazione delle Debolezze dei Modelli: Il benchmark espone che gli attuali modelli all'avanguardia faticano con l'ipersensibilità, il ragionamento su elenchi complessi ed esibiscono un significativo bias contro i nomi non inglesi e i sistemi di pagamento informali.
Strategia di Mitigazione Efficace: Il framework CRIT è presentato come una strategia centrata sull'uomo che non solo migliora l'accuratezza, ma potenzia anche la gestibilità (steerability) e la gestione del rischio. Regolando le soglie di confidenza, gli utenti possono scambiare tra falsi positivi e falsi negativi in base al costo specifico degli errori in un contesto finanziario.
Appello all'Esperienza di Dominio: L'analisi dei pattern di errore suggerisce che migliorare questi sistemi richiede più di semplici modelli più grandi; necessita di ulteriore competenza di dominio in-context e di un post-training pertinente per correggere le false credenze consistenti.

Gli autori concludono che, sebbene gli LLM mostrino promesse nel migliorare l'efficienza, lo stato attuale della tecnologia richiede una supervisione umana (human-in-the-loop), in particolare per il ragionamento su elenchi di transazioni e la mitigazione dei bias.