Retrieval-Augmented Reasoning for Chartered Accountancy

1. Enunciato del Problema

Il documento affronta le limitazioni dei Modelli Linguistici di Grandi Dimensioni (LLM) nel settore specializzato della Contabilità dei Commercialisti Indiani (CA). Sebbene gli LLM siano sempre più adottati in finanza, affrontano sfide critiche nei settori regolamentati:

• Allucinazioni e Accuratezza: I modelli generalisti (ad es. GPT-4o) faticano con il ragionamento complesso e multi-step richiesto dalle normative legali (Income Tax Act, standard ICAI) e dai calcoli GST, raggiungendo spesso una bassa accuratezza (13–20%) su benchmark specifici del dominio.
• Vincoli di Risorse: I modelli all'avanguardia richiedono risorse computazionali massicce, costi di inferenza elevati e dipendenza dal cloud, sollevando preoccupazioni sulla privacy e rendendoli inadatti ad ambienti con risorse limitate.
• Problemi di Analisi dei Documenti: L'OCR standard non riesce a gestire i layout intricati dei documenti fiscali (tabelle a colonne multiple, simboli matematici), portando a una perdita di dati durante il recupero.
• Mancanza di Fondamentazione: I modelli spesso non riescono a basare le loro risposte sui documenti sorgente originali, un requisito rigoroso per la conformità finanziaria e legale.

2. Metodologia: CA-ThinkFlow

Gli autori propongono CA-ThinkFlow, un framework di Generazione Aumentata dal Recupero (RAG) efficiente in termini di parametri, progettato per operare su un modello da 14 miliardi di parametri pur raggiungendo prestazioni paragonabili a modelli proprietari molto più grandi.

A. Architettura Principale

• Modello di Base: Utilizza 14B-DeepSeek-R1 (nello specifico DeepSeek-R1-Distill-Qwen-14B) in formato quantizzato a 4-bit (Q4_K_M). Questo modello è selezionato per le sue capacità di ragionamento a Catena di Pensiero (CoT) integrate, che gli permettono di imitare il pensiero cognitivo naturale e gestire problemi multi-step.
• Sistema di Recupero:
  • Estrazione Documenti: Utilizza Docling, un estrattore consapevole del layout (che sfrutta TableFormer e DocLayNet) per preservare la struttura dei documenti, le tabelle e i simboli matematici dai testi finanziari, superando i limiti dell'OCR standard.
  • Fonte Dati: Un database curato di conoscenze finanziarie indiane, inclusi materiali open-source ICAI, regolamenti fiscali e libri di testo.
  • Frammentazione (Chunking): Il testo è segmentato in frammenti da 1000 caratteri con una sovrapposizione di 200 caratteri, ottimizzati per la continuità dell'embedding e la precisione del recupero.
  • Embedding: I frammenti di testo sono codificati utilizzando il modello Qwen-Embedding-0.6B per il supporto multilingue e l'efficienza.
  • Indicizzazione: Gli embedding sono archiviati in un indice FAISS per la ricerca di similarità basata su L2.
• Flusso di Inferenza:
  1. Il sistema riceve una query dell'utente.
  2. Recupera i contesti più pertinenti (top-k) dallo store vettoriale.
  3. Il contesto recuperato viene iniettato direttamente in un template di prompt standardizzato (basato sul benchmark CA-Ben).
  4. Il modello 14B-DeepSeek-R1 elabora la query e il contesto, sfruttando il suo ragionamento CoT interno per sintetizzare la risposta finale.

B. Configurazione di Valutazione

• Benchmark: Valutato sul benchmark CA-Ben 2 utilizzando un'impostazione zero-shot (nessun fine-tuning sui dati di test), simulando uno scenario di avvio a freddo.
• Metriche: Le prestazioni sono misurate tramite punteggi F1 su 14 materie (livelli Foundation, Intermediate e Final) e il Coefficiente di Affidabilità Scolastica (SRC).
• Hardware: Testato su una workstation con 2 CPU Intel Xeon, 65GB di RAM e 2 GPU NVIDIA GTX 1080 Ti.

3. Contributi Chiave

1. Alte Prestazioni Efficienti in Parametri: Ha dimostrato che un modello quantizzato da 14B, quando combinato con una pipeline RAG robusta, può raggiungere livelli di prestazioni paragonabili a modelli proprietari massicci (ad es. GPT-4o, Claude 3.5 Sonnet, LLaMA-3.1-405B) in un dominio specializzato.
2. Elaborazione dei Documenti Consapevole del Layout: L'integrazione di Docling ha risolto la sfida specifica dell'analisi di documenti finanziari complessi, garantendo che i dati tabellari e i simboli matematici siano mantenuti durante il processo di recupero.
3. Sinergia tra RAG e CoT: Ha dimostrato che un approccio RAG "base" (recupero del contesto e iniezione nel prompt) è sufficiente quando accoppiato a un modello dotato di un forte ragionamento interno a Catena di Pensiero, eliminando la necessità di un fine-tuning complesso o di motori di ragionamento esterni.
4. Benchmarking Specifico per Dominio: Ha fornito un'analisi granulare delle prestazioni del modello su 14 materie CA distinte, evidenziando punti di forza e debolezze specifici in aree come la Tassazione rispetto alla Matematica Aziendale.

4. Risultati

• Accuratezza Complessiva: CA-ThinkFlow ha raggiunto un Coefficiente di Affidabilità Scolastica (SRC) del 68,75%, paragonando le prestazioni a GPT-4o e Claude 3.5 Sonnet, e superando significativamente il modello base 14B-DeepSeek-R1 (46,87%) e altri modelli open-source come LLaMA-3.3-70B (59,38%).
• Prestazioni per Livello:
  • Livello Foundation: Ha raggiunto un'accuratezza dell'80,39%, superando tutti gli altri modelli.
  • Livello Final: Ha raggiunto un'accuratezza del 48,63%, superando la maggior parte dei modelli tranne GPT-4o e Claude 3.5 Sonnet.
• Approfondimenti Specifici per Materia:
  • Punti di Forza: Il modello ha eccellito in Matematica Aziendale, Economia Aziendale e Gestione Finanziaria Avanzata.
  • Debolezze (Colli di Bottiglia Sistemici): Il sistema ha faticato con la Tassazione (I3) e le Leggi sulle Imposte Indirette (FN5), non riuscendo a superare il "Collo di Bottiglia Sistemico" (definito come una materia in cui nessun modello supera il 40% di accuratezza). Ciò indica che, anche con il RAG, il modello di base manca della profonda conoscenza normativa richiesta per la logica fiscale complessa senza un ulteriore fine-tuning.
• Efficienza: Il framework opera efficacemente su hardware di fascia consumer (GTX 1080 Ti), dimostrando che l'IA finanziaria ad alta accuratezza non richiede necessariamente cluster GPU massicci.

5. Significato e Lavori Futuri

• Significato: Il documento valida che l'efficienza dei parametri e l'aumento tramite recupero possono colmare il divario tra modelli piccoli, privati ed economici e massicci LLM proprietari in domini finanziari ad alto rischio. Offre una via praticabile per il dispiegamento di AI privata e conforme nel settore CA indiano, senza dipendenza da API costose basate sul cloud.
• Limitazioni: Il sistema attualmente non riesce a risolvere completamente il ragionamento normativo complesso nella Tassazione, suggerendo che il recupero da solo è insufficiente per logiche legali altamente sfumate.
• Direzioni Future:
  • Sviluppo di pipeline di recupero avanzate per la sintesi multi-frammento e il ridimensionamento dinamico del contesto.
  • Implementazione di un Fine-Tuning Supervisionato (SFT) specifico per il dominio sugli statuti finanziari indiani per approfondire la conoscenza normativa del modello prima del recupero.
  • Integrazione di aggiornamenti in tempo reale delle normative fiscali e supporto multilingue per creare un sistema di AI finanziaria di livello esperto e pronto per il dispiegamento.