Sintesi Tecnica: Analisi Controfattuale tramite Large Language Models

Definizione del Problema

L'analisi controfattuale mira a prevedere gli esiti sotto scenari ipotetici per informare il processo decisionale, un compito particolarmente complesso nel settore del prestito online dove il ritorno sull'investimento (ROI) sotto tassi di interesse alternativi è inosservabile. Sebbene esistano metodi tradizionali come il matching, i trial controllati randomizzati e l'analisi di sopravvivenza, essi spesso si basano su specifiche assunzioni strutturali o richiedono il sottocampionamento. Inoltre, i modelli standard di machine learning (ML), pur essendo ottimizzati per l'accuratezza predittiva sui dati osservati, potrebbero non essere in grado di catturare i meccanismi causali necessari per generare controfattuali validi, specialmente quando il comportamento dei mutuatari cambia in risposta a variazioni non osservate dei tassi di interesse. Questo documento investiga se i Large Language Models (LLM), specificamente GPT-3.5, possano fungere da strumenti efficaci per la costruzione di esiti di prestiti controfattuali, sfruttando la loro vasta conoscenza pre-addestrata e le capacità di ragionamento.

Metodologia

Lo studio utilizza un dataset di 894.013 prestiti personali non garantiti da LendingClub (2013–2020). La metodologia è divisa in due fasi primarie: validazione delle prestazioni predittive e costruzione controfattuale.

1. Validazione delle Prestazioni Predittive

Per stabilire l'idoneità dell'LLM alla generazione controfattuale, l'autore ha prima valutato la sua capacità di prevedere gli esiti effettivi dei prestiti (stato e ROI) sotto i tassi di interesse osservati.

• Baseline: Le prestazioni dell'LLM sono state confrontate con algoritmi avanzati di ML, specificamente XGBoost (per la classificazione dello stato del prestito) e regressione a gradient boosting (per la previsione del ROI).
• Prompt Engineering: Lo studio ha valutato sistematicamente varie strategie di prompting per ottenere prestazioni migliori:
  • Role-Playing: Spostamento del persona dell'LLM da "mutuatario" (che mostrava un bias di desiderabilità sociale) a "esperto di rischio di credito".
  • Insiemi di Informazioni: Inclusione di dettagli sul prestito, profili dei mutuatari, statistiche a livello di piattaforma e, crucialmente, le previsioni degli algoritmi di ML nel prompt.
  • Tecniche di Ragionamento: Implementazione del prompting "Chain-of-Thought" (CoT) e "Tree-of-Thought" (ToT). L'approccio ToT ha simulato un panel di quattro esperti che raffinavano iterativamente le proprie previsioni e i propri processi di ragionamento.
• Test di Encompassing: Per determinare se l'LLM si limitasse a ripetere le previsioni del ML o fornisse un valore incrementale, l'autore ha impiegato un test di forecasting encompassing (Chong e Hendry, 1986). Questa regressione ha testato se la previsione dell'LLM contenesse informazioni non catturate dal modello di ML.

2. Costruzione Controfattuale

Per il compito controfattuale, l'autore ha generato esiti ipotetici del ROI sotto tassi di interesse alternativi (proposti da Gopal et al., 2024).

• Design del Prompt: L'LLM è stato istruito per agire come un panel di quattro esperti di rischio di credito. Il prompt includeva i dettagli del prestito, i profoli dei mutuatari, le statistiche della piattaforma, l'esito effettivo osservato sotto il tasso originale (che funge da ancora) e la previsione controfattuale di un modello a cura mista (un esistente approccio di ML).
• Processo di Ragionamento: All'LLM è stato ordinato di impegnarsi in una discussione ToT, criticando e raffinando la previsione del ML sulla base della propria conoscenza pre-addestrata e del contesto specifico del prestito, per poi produrre un consenso su stato e durata in formato JSON.
• Validazione: Poiché i controfattuali sono inosservabili, la validità è stata valutata attraverso la coerenza logica. L'autore ha verificato se le previsioni dell'LLM aderissero a regole economiche intuitive: (1) i prestiti che subiscono un declassamento (charged off) dovrebbero rimanere declassati se i tassi aumentano, e (2) i prestiti che sono stati estinti integralmente dovrebbero rimanere estinti se i tassi diminuiscono.

Risultati Chiave

Prestazioni Predittive

• Baseline vs. Prompt Ingegnerizzati: Un semplice prompt con ruolo di "mutuatario" ha prodotto risultati scarsi (R-quadrato del 1,97%, F1 score del 4,7%). Tuttavia, il prompt engineering ha migliorato significativamente le prestazioni.
• Configurazione Ottimale: Il prompt "Tree-of-Thought" con quattro esperti, che incorpora le previsioni ML e le statistiche della piattaforma, ha raggiunto un R-quadrato del 2,84% per la previsione del ROI. Questo si avvicina molto al 3,48% ottenuto dalla regressione a gradient boosting.
• Valore Incrementale: Il test di encompassing ha rivelato un coefficiente statisticamente significativo (5,19% al livello dell'1%) per la previsione dell'LLM quando combinata con la previsione ML. Ciò indica che l'LLM identifica informazioni significative oltre a quanto catturato dall'algoritmo di ML, anziché limitarsi a ripetere l'output del ML.
• Correzione del Bias: Lo studio ha notato che le previsioni grezze dell'LLM soffrivano di bias (probabilmente dovuti ai bias del corpus di pre-addestramento), che sono stati corretti tramite un aggiustamento di regressione lineare prima del calcolo dell'R-quadrato.

Costruzione Controfattuale

• Divergenza dal ML: Le previsioni controfattuali dell'LLM sono deviate dal modello a cura mista nel 46,2% dei casi riguardanti lo stato e la durata. L'LLM ha spesso revisionato la previsione del ML, fornendo ragioni giustificabili basate sull'utilizzo del credito del mutuatario e sulle medie storiche.
• Coerenza Logica: L'LLM ha dimostrato una forte adesione alla logica causale. Il 99,6% delle previsioni ha seguito la regola per cui i prestiti estinti rimangono estinti se i tassi diminuiscono, e l'85,3% ha seguito la regola per cui i prestiti declassati rimangono declassati se i tassi aumentano.
• Differenze di Esito: Sotto tassi di interesse alternativi, l'LLM ha previsto un tasso di declassamento del 9,65%, che è più vicino al tasso storico di LendingClub (12,34%) rispetto alla previsione del modello a cura mista del 6,22%. Ciò suggerisce che l'LLM possa correggere l'eventuale eccesso di ottimismo del modello ML.

Significato e Rivendicazioni

Il documento sostiene che gli LLM rappresentano un approccio nuovo e capace per l'analisi controfattuale, particolarmente in domini complessi e ricchi di informazioni come il prestito online. L'autore evidenzia due contributi primari:

1. Il Prompt Engineering come Leva Critica: Lo studio dimostra che il prompt engineering (specificamente role-playing, CoT e ToT) è cruciale quanto il fine-tuning del modello. Queste tecniche estraggono efficacemente il ragionamento logico e la comprensione causale dagli LLM, permettendo loro di approssimare le prestazioni di algoritmi ML specializzati.
2. Collaborazione Uomo-Macchina: I risultati suggeriscono che gli LLM esibiscano comportamenti cognitivi simili a quelli umani, come il bias di desiderabilità sociale (quando agiscono come mutuatari) e la capacità di valutare criticamente e raffinare le previsioni delle macchine (quando agiscono come esperti). Ciò supporta la letteratura sulla collaborazione uomo-macchina, dove gli LLM possono servire come proxy del ragionamento umano in compiti complessi.

L'autore conclude con modestia che, sebbene gli LLM possano non aver ancora superato i migliori modelli predittivi in termini di accuratezza pura, la loro capacità di generare controfattuali logicamente coerenti e causalmente ragionati li rende uno strumento adatto ai contesti decisionali. Suggerisce inoltre che gli LLM potrebbero essere utilizzati per simulare le risposte umane in esperimenti sul campo preliminari, offrendo un metodo efficace in termini di costi per la progettazione di esperimenti. Il documento non rivendica che gli LLM siano una soluzione universale per tutti i problemi controfattuali, ma li posiziona come una alternativa promettente e flessibile ai metodi tradizionali di econometria e analisi di sopravvivenza in contesti specifici.