Sintesi Tecnica: AUDITFLOW

Problematica

La verifica di audit finanziari strutturati presenta una sfida significativa per gli agenti basati su Large Language Model (LLM). A differenza dei compiti basati su testo standard, la correttezza nell'audit finanziario dipende da evidenze strutturate piuttosto che dal solo linguaggio naturale. Un agente deve collegare i fatti riportati a specifici concetti tassonomici, attraversare complesse relazioni di calcolo o dimensionali, ricalcolare i valori attesi e applicare regole di audit.

Gli approcci attuali spesso falliscono perché si affidano all'LLM per l'interpretazione finale, l'aritmetica o l'applicazione delle regole. I benchmark come FinAuditing mostrano che anche i modelli più forti valutati raggiungono solo il 13,86% di accuratezza nei compiti di coerenza numerica. La difficoltà principale risiede nel fatto che la correttezza non è memorizzata in una singola frase, ma emerge dall'interazione tra i fatti riportati e i vincoli strutturali che li governano. Gli attuali framework multi-agente o potenziati da strumenti lasciano spesso l'onere della verifica all'interno del modello linguistico, che fatica con l'aritmetica deterministica e l'aderenza rigorosa alle regole.

Metodologia: AUDITFLOW

Gli autori propongono AUDITFLOW, un framework multi-agente basato su grafi progettato per separare la ricerca adattiva (gestita dagli agenti LLM) dalla verifica deterministica (gestita da un ambiente simbolico).

1. Ambiente Simbolico a Doppio Grafo

AUDITFLOW costruisce un ambiente simbolico ($E$) composto da due grafi interconnessi:

• Grafo Regolatorio Statico ($G^y_T$): Codifica la tassonomia US-GAAP. I nodi rappresentano concetti con metadati (etichette, definizioni, tipi di dati) e gli archi codificano le relazioni di presentazione, calcolo e dimensionalità.
• Grafo di Reporting Dinamico ($G_F$): Codifica la specifica pubblicazione XBRL. I nodi rappresentano fatti riportati, contesti, periodi e unità.
• Archi di Collegamento (Bridge Edges): Collegano i fatti riportati nel grafo di reporting ai loro concetti tassonomici regolatori nel grafo statico, permettendo al sistema di navigare da un numero specifico verso i suoi vincoli regolatori e viceversa.

2. Interfaccia Azione-Osservazione Tipizzata

Gli agenti interagiscono con questo ambiente attraverso strumenti tipizzati e deterministici anziché operazioni su grafi a forma libera. Gli strumenti sono categorizzati in:

• Recupero (Retrieval): Recupero di metadati di concetti, fatti e contesti.
• Navigazione (Traversal): Navigazione attraverso alberi di calcolo e strutture dimensionali.
• Forense: Confronto di fatti tra periodi, dimensioni e magnitudo.
• Verificatori Deterministici (Deterministic Checkers): Esecuzione di controlli terminali specifici per regola (es. coerenza del segno, coerenza dell'albero di calcolo, aggregazione dimensionale). Questi verificatori restituiscono osservazioni strutturate (verdetto, valori attesi, fatti di supporto) che l'LLM non può sovrascrivere.

3. Protocollo di Audit a Tre Agenti

Il framework impiega un workflow multi-agente specializzato:

• Auditor di Conformità ($A_1$): Adotta un approccio "prima le specifiche". Parte dai metadati della tassonomia e dalle regole, per poi controllare i fatti riportati rispetto ai vincoli. Utilizza strumenti della tassonomia statica.
• Auditor Forense ($A_2$): Adotta un approccio "prima le evidenze". Parte dai fatti riportati, esegue confronti tra periodi e scomposizioni dimensionali, e poi conferma i risultati utilizzando gli stessi controlli deterministici. Utilizza sia strumenti statici che dinamici.
• Auditor Senior ($A_s$): Revisiona i report di $A_1$ e $A_2$. Se concordano, il sistema procede. Se discordano, l'Auditor Senior identifica la fonte del conflitto (es. dati mancanti, periodo errato) e fornisce un feedback mirato, rimandando i junior a un'ulteriore investigazione. L'Auditor Senior gestisce l'interazione ma non sostituisce gli strumenti deterministici.

4. Aggregazione delle Evidenze

Il verdetto finale non è un semplice voto, ma il risultato di un ragionamento basato sulle evidenze (teoria di Dempster-Shafer). La massa di ciascun auditor junior viene mappata su una funzione di massa sulle ipotesi {Violazione, Coerente, Ignoranza}. Queste masse vengono fuse per produrre un verdetto finale, un valore atteso, una traccia di evidenza e un punteggio di affidabilità ($\tau$), che misura la quantità di evidenza irrisolta.

Contributi Chiave

1. Definizione di Verifica Basata su Grafi: Il paper definisce una nuova formulazione del compito in cui la risposta dipende dai fatti di pubblicazione, dai vincoli tassonomici, dai controlli numerici e dalle evidenze ispezionabili, piuttosto che dalla sola generazione di testo.
2. Framework AUDITFLOW: Un sistema multi-agente a doppio grafo che collega la conoscenza della tassonomia US-GAAP con le evidenze specifiche della pubblicazione, esponendo entrambi attraverso strumenti deterministici tipizzati.
3. Separazione tra Ricerca e Computazione: Gli autori dimostrano che separare il ruolo dell'LLM (guidare la ricerca) da quello dell'ambiente (eseguire controlli deterministici) è cruciale per un audit affidabile.

Risultati Sperimentali

Il framework è stato valutato su un sottoinsieme di 67 istanze del compito FinAuditing FinMR, coprendo tre famiglie di regole del Data Quality Committee (DQC).

• Performance: Sotto GPT-5.5, AUDITFLOW ha raggiunto l'82,09% di accuratezza di audit congiunta, superando il baseline più forte (Single Agent) di 14,93 punti percentuali. Ha inoltre superato i metodi basati sul recupero (GraphRAG, TreeRAG) e gli existing benchmark (FinAuditing, Herculean) su tutti i backbone testati (GPT-4o, Claude Sonnet 4.6, Qwen-397B).
• Robustezza: Il sistema ha mantenuto un'alta accuratezza (80,60%) attraverso diversi modelli backbone forti, indicando che l'efficacia del framework non è legata a un singolo modello proprietario.
• Studi di Ablazione:
  • Controlli Deterministici: Rimuovendo l'ambiente simbolico dei controlli deterministici, l'accuratezza è crollata dal 82,09% al 17,91%, provando che l'LLM non può sostituire in modo affidabile la fase di verifica.
  • Gate del Tool Obbligatorio (Required-Tool Gate): Rimuovendo il gate che costringe gli agenti a completare controlli specifici prima di finalizzare, gli output non validi sono aumentati dall'1,49% al 17,91%.
  • Aggregazione delle Evidenze: Rimuovendo il passaggio di fusione, l'accuratezza è scesa al 77,61%.

Significato e Rivendicazioni

Il paper sostiene che gli agenti di audit affidabili devono essere costruiti attorno a ambienti strutturati eseguibili piuttosto che sul solo ragionamento testuale. Il contributo primario è la dimostrazione che, sebbene gli LLM siano efficaci nel navigare spazi informativi complessi (ricerca), sono inaffidabili nell'esecuzione dei passaggi di verifica finali e strutturali (computazione).

Gli autori affermano che AUDITFLOW affronta con successo il "gap di verifica" nell'IA finanziaria:

1. Delegando l'aritmetica e l'applicazione delle regole a strumenti deterministici.
2. Utilizzando protocolli multi-agente per esplorare le evidenze da prospettive complementari.
3. Fornendo tracce di evidenza ispezionabili e punteggi di affidabilità, rendendo il processo di audit trasparente e verificabile.

Il paper conclude che questo schema di design — separare la ricerca dalla computazione in un ambiente simbolico — è essenziale per domini ad alto rischio dove la correttezza dipende da vincoli strutturati piuttosto che dalla plausibilità semantica.