Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting

Riepilogo Tecnico: Oltre la Similarità Semantica nella Valutazione del Credito Aziendale

Enunciato del Problema
La valutazione del credito aziendale si basa sull'analisi di documenti finanziari estesi ed eterogenei, inclusi rapporti annuali e analisi settoriali. Gli analisti devono estrarre indicatori finanziari specifici, valutare le disclosure sui rischi e sintetizzare intuizioni da documenti che si estendono su centinaia di pagine e in più lingue. Sebbene i sistemi di Generazione Aumentata dal Recupero (RAG) siano emersi per assistere tali flussi di lavoro, le pipeline standard danno priorità alla similarità semantica tra query e passaggi del documento. Nei contesti finanziari, questo approccio spesso non si allinea alle esigenze degli analisti; i documenti contengono frequentemente descrizioni narrative, disclosure normative e linguaggio boilerplate ripetitivo. Di conseguenza, il recupero basato sulla similarità può evidenziare passaggi che condividono la terminologia con una query ma mancano di valore analitico azionabile. Gli autori identificano questa discrepanza come il "divario similarità-utilità", in cui contenuti topicamente correlati non supportano necessariamente il processo decisionale.

Metodologia
Per colmare questo divario, gli autori propongono un flusso di lavoro di recupero non parametrico in due fasi, progettato specificamente per il supporto decisionale aziendale. Il sistema opera interamente on-premise utilizzando modelli open-source ospitati in proprio per garantire la conformità a rigorose politiche di governance dei dati. L'architettura è composta da cinque componenti principali:

1. Ingestione Documentale: I documenti finanziari vengono segmentati in sezioni strutturate utilizzando indizi di layout. Ogni segmento viene indicizzato con metadati, tra cui fonte, titolo della sezione e riferimenti di pagina, per preservare le informazioni strutturali per l'elaborazione a valle.
2. Fase 1: Recupero Ibrido dei Candidati: Questa fase mira a un alto richiamo su documenti multilingue. Adotta una strategia ibrida che combina il recupero per parole chiave (per preservare la precisione della terminologia finanziaria) e il recupero semantico denso utilizzando embedding multilingue. Un valore TopK di 50 viene utilizzato per generare un pool iniziale di candidati ad alto richiamo ($C_0$).
3. Fase 2: Controllore di Recupero Adattivo e Riordinamento Basato sull'Utilità:
   • Controllore Adattivo: Un modello linguistico leggero valuta i candidati in base all'intento della query e alla struttura del documento. Prevede tre metriche per ogni passaggio: rilevanza ($Rel_i$), supporto probatorio ($S_i$) e un punteggio di utilità ($U_i$). Il controllore filtra l'insieme dei candidati ($C_1$) applicando una condizione logica in cui il supporto probatorio viene considerato solo se la rilevanza è stabilita, eliminando efficacemente il boilerplate semanticamente correlato ma analiticamente irrilevante.
   • Riordinamento Basato sull'Utilità: I candidati rimanenti vengono classificati utilizzando un framework "LLM-as-a-Judge". Invece di misurare la similarità con la query, il modello valuta i passaggi in base alla loro utilità decisionale per la valutazione del credito. Una soglia regolabile ($U_{threshold}$) bilancia precisione e richiamo, filtrando i passaggi contenenti prove finanziarie azionabili.
4. Estrazione di Prove Consapevole del Contesto: Per prevenire la distorsione del significato o la perdita di attribuzione, il sistema impiega strategie di estrazione distinte basate sulla struttura dei contenuti:
   • Sezioni Narrative: Utilizza una segmentazione consapevole del markdown per preservare intestazioni, elenchi puntati e confini dei paragrafi.
   • Dati Tabellari: Distingue tra tabelle non complesse (analizzate per estrarre righe/celle specifiche) e tabelle complesse (intestazioni multilevel, celle unite). Per le tabelle complesse, il sistema preserva il contesto completo della tabella insieme ai metadati di origine (nome del documento, riferimento di pagina) per supportare la verifica manuale e l'attribuzione accurata.

Contributi Chiave
Il documento delinea quattro contributi principali:

• Un framework di recupero basato sull'utilità che allinea la classificazione dei passaggi all'utilità decisionale nella valutazione del credito, andando oltre la mera similarità semantica.
• Un controllore di recupero adattivo che filtra i passaggi candidati utilizzando segnali di intento della query e struttura del documento.
• Un modulo di estrazione consapevole del contesto che preserva le informazioni strutturali sia nei contenuti finanziari narrativi che tabellari.
• Una implementazione aziendale che dimostra significativi guadagni di produttività, operando interamente in un ambiente regolamentato e on-premise.

Risultati
Il sistema è stato valutato su un corpus multilingue di documenti interni sul credito aziendale, con etichette di rilevanza curate da analisti senior del credito. A causa della natura proprietaria dei dati, dataset dettagliati e studi di caso non sono stati rilasciati pubblicamente. Tuttavia, in un'implementazione reale che coinvolge oltre 800 analisti, il sistema ha dimostrato guadagni significativi di efficienza, riducendo il tempo di revisione dei documenti da diverse ore a circa tre minuti. La valutazione indica che l'approccio proposto migliora significativamente le prestazioni di recupero rispetto ai tradizionali sistemi di recupero ingenui, evidenziando passaggi contenenti prove finanziarie verificabili.

Significato e Affermazioni
Gli autori affermano che il significato del sistema risiede nella sua capacità di ottimizzare l'utilità analitica piuttosto che la semplice similarità semantica, affrontando direttamente le esigenze dei flussi di lavoro aziendali in ambienti finanziari regolamentati. Combinando recupero ibrido, controllo adattivo dei candidati e classificazione basata sull'utilità, il sistema dà priorità alle prove finanziarie azionabili. L'implementazione on-premise garantisce che i dati finanziari sensibili rimangano locali, soddisfacendo rigorosi requisiti di governance e auditabilità.

Lavori Futuri
Il documento nota che i lavori futuri esploreranno un'estrazione di dati strutturati potenziata dalle tabelle finanziarie. Nello specifico, gli autori suggeriscono l'integrazione di pipeline specializzate di Riconoscimento Ottico dei Caratteri (OCR) e Modelli Linguistici Visivi (VLM) per estrarre informazioni numeriche strutturate direttamente dalle regioni delle tabelle. Ciò permetterebbe al sistema di catturare metriche finanziarie aggiuntive incorporate in layout complessi e di incorporarle nei processi di ragionamento a valle.