An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software

Questo studio presenta un approccio basato su agenti LLM per lo sviluppo di software giuridicamente critico, come quello per la preparazione delle tasse, che supera le limitazioni dei modelli frontieri utilizzando relazioni metamorfiche di ordine superiore per generare automaticamente casi di test e sintetizzare codice affidabile.

L'essenziale

Immagina di dover costruire una macchina complessa, come un'auto, ma invece di avere un manuale di istruzioni con disegni tecnici precisi, hai solo un libro di regole scritte in un linguaggio molto vecchio, complicato e pieno di eccezioni. Se sbagli anche solo un piccolo ingranaggio, l'auto potrebbe non partire o, peggio, causare un incidente.

Questo è esattamente il problema che affrontano gli autori di questo paper quando parlano di software per le tasse.

Ecco una spiegazione semplice di cosa hanno fatto, usando qualche analogia creativa.

1. Il Problema: Tradurre la Legge in Codice

Le leggi fiscali (come quelle americane) sono scritte in "linguaggio naturale" (frasi, paragrafi, eccezioni). I computer, però, non capiscono le frasi: capiscono solo codice matematico preciso.

• L'analogia: Immagina di dover tradurre un poema d'amore in una ricetta di cucina. Se dici "aggiungi un pizzico di sale", il computer non sa se è mezzo grammo o mezzo chilo. Se sbaglia, il piatto è rovinato. Nel caso delle tasse, se il software sbaglia, l'utente potrebbe pagare troppo o troppo poco, con conseguenze legali gravi.

2. La Soluzione: Il "Team di Agenti" (Synedrion)

Invece di chiedere a un singolo "super-intelligente" (un modello di intelligenza artificiale gigante) di fare tutto da solo, gli autori hanno creato un team di lavoro, chiamato Synedrion.
Immagina un cantiere edile dove non c'è un solo muratore che fa tutto, ma un team specializzato:

• L'Esperto Legale (TaxExpertAgent): È come un avvocato esperto. Legge le leggi fiscali confuse e le trasforma in un piano di lavoro chiaro (un documento JSON), spiegando esattamente cosa deve fare il software.
• I Programmatori (Coder Agents): Sono gli operai specializzati. Prendono il piano dell'avvocato e scrivono il codice vero e proprio.
• Il Capocantiere (Senior Coder Agent): È il supervisore. Controlla il lavoro dei programmatori, dice "qui hai sbagliato" e li manda a rifare il pezzo finché non è perfetto.
• L'Ispezione Speciale (Metamorphic Agent): Questa è la parte più geniale.

3. Il Trucco Magico: Il Test "Specchio" (Metamorphic Testing)

Il problema più grande nel testare le tasse è: "Come facciamo a sapere qual è la risposta giusta?"
Non esiste un "oracolo" (una risposta magica) per ogni possibile situazione fiscale. È come chiedere a un giudice: "Quanto deve pagare Mario?" senza sapere tutti i dettagli della sua vita.

Gli autori usano un trucco chiamato Metamorphic Testing (Test Metamorfico).

• L'analogia: Invece di chiedere "Qual è il prezzo esatto di questa casa?", chiediamo: "Se raddoppio la metratura della casa, il prezzo dovrebbe raddoppiare?".
• Se il software dice che raddoppiando la metratura il prezzo rimane uguale, allora sappiamo che c'è un errore, anche se non sappiamo il prezzo esatto di partenza.

Gli autori hanno reso questo trucco ancora più intelligente con i Test Metamorfici di Ordine Superiore.

• L'analogia: Non si limitano a dire "se aumento il reddito, le tasse aumentano". Chiedono: "Se aumento il reddito di poco, le tasse aumentano di poco. Ma se salto in una fascia di reddito più alta (come un gradino), le tasse dovrebbero aumentare più velocemente?".
• Se il software applica la stessa velocità di aumento anche quando si salta un gradino, allora è sbagliato. È come se un ascensore che dovrebbe fermarsi a ogni piano continuasse a correre alla stessa velocità: qualcosa non quadra.

4. La Scoperta Sorprendente: I Piccoli sono più Forti

Cosa hanno scoperto?
Sarebbe logico pensare che per fare un lavoro così difficile serva il "supercomputer" più potente e costoso (i modelli AI più grandi e famosi).
Invece, il loro team ha scoperto che un piccolo modello AI (GPT-4o-mini), se guidato da questo team di agenti specializzati, funziona meglio dei giganti.

• L'analogia: È come se un piccolo gruppo di artigiani esperti, che si controllano a vicenda e usano strumenti di misura precisi, costruisse un orologio più preciso di un robot gigante che lavora da solo senza supervisione. Il robot gigante si confonde con le regole complesse, mentre il piccolo team, passo dopo passo, non sbaglia.

In Sintesi

Questo paper ci dice che per creare software critico (come quello per le tasse, la sanità o la giustizia), non basta avere un'intelligenza artificiale "brillante". Serve:

1. Specializzazione: Dividere il lavoro in ruoli chiari (legge, codice, controllo).
2. Controllo Incrociato: Usare test intelligenti che confrontano situazioni simili per trovare errori, anche senza conoscere la risposta esatta.
3. Collaborazione: Unire più intelligenze artificiali più piccole e specializzate è meglio di affidarsi a un'unica intelligenza gigante.

È un passo avanti verso un futuro in cui le leggi complesse possono essere trasformate in software affidabili, trasparenti e sicuri per tutti noi.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "An LLM Agentic Approach for Legal-Critical Software: A Case Study for Tax Prep Software" in lingua italiana.

1. Il Problema: Sviluppo di Software a Criticità Legale

Lo sviluppo di software per domini legali critici (come la preparazione delle dichiarazioni dei redditi negli USA) presenta sfide uniche:

• Traduzione Ambigua: Convertire leggi fiscali scritte in linguaggio naturale (spesso ambigue e soggette a frequenti aggiornamenti) in logica eseguibile precisa è estremamente complesso.
• Il Problema dell'Oracolo: In molti scenari legali, non esiste un "oracolo" definitivo per determinare l'output corretto di un caso specifico senza un'interpretazione giuridica esperta. Questo rende difficile la validazione tradizionale del software.
• Limitazioni degli LLM: I Large Language Models (LLM) tendono a commettere errori di allucinazione, faticano con l'ambiguità dei requisiti e spesso falliscono nel generare codice corretto per regole fiscali complesse quando utilizzati in modo isolato (zero-shot o chain-of-thought semplice).
• Casi Reali: Errori documentati in software fiscali esistenti (es. OpenTaxSolver, TaxSlayer) hanno dimostrato le conseguenze gravi di una codifica errata delle normative.

2. Metodologia: L'Approccio Agente Synedrion

Gli autori propongono Synedrion, un framework multi-agente basato su LLM progettato per simulare un team di sviluppo software reale specializzato in documenti legali.

Architettura degli Agenti

Il sistema coordina cinque agenti specializzati:

1. TaxExpertAgent: Interpreta il testo legale, estrae le regole e le converte in specifiche strutturate (JSON). Questo passaggio è cruciale per trasformare il linguaggio naturale in una forma logica verificabile.
2. CoderAgent & SeniorCoderAgent: Generano il codice Python basato sulle specifiche JSON. Il SeniorCoderAgent coordina due istanze di CoderAgent, supervisionando la revisione e il raffinamento iterativo del codice.
3. MetamorphicAgent (Il cuore dell'innovazione): Questo agente è responsabile della generazione di casi di test e della validazione attraverso il Metamorphic Testing (MT).

Innovazione Chiave: Metamorphic Testing di Ordine Superiore (HMT)

Il paper introduce un'evoluzione del metamorphic testing tradizionale:

• Metamorphic Testing (MT) Tradizionale: Confronta coppie di input per verificare relazioni direzionali (es. "se il reddito aumenta, l'imposta dovuta non deve diminuire"). Questo risolve parzialmente il problema dell'oracolo ma può non rilevare errori sistematici (es. un'aliquota fissa applicata erroneamente che rispetta comunque la monotonicità).
• HMT (Higher-Order Metamorphic Testing): Generalizza le relazioni a n-adi. Invece di confrontare solo due casi, l'HMT analizza i tassi di variazione tra più profili di contribuenti.
  • Esempio: Verifica se l'aumento marginale dell'imposta segue la struttura progressiva prevista dalla legge (es. salti di aliquota alle soglie specifiche) confrontando le pendenze tra diversi intervalli di reddito.
  • L'agente Metamorphic genera automaticamente tuple di input (es. $x_b, x_1, x_2$) per testare questi salti di soglia e le relazioni di saturazione, identificando errori sistematici che il testing a coppie mancherebbe.

Flusso di Lavoro

1. Il TaxExpertAgent converte le leggi in JSON.
2. Gli CoderAgent generano il codice.
3. Il MetamorphicAgent esegue test di ordine superiore sul codice generato.
4. Se vengono rilevate violazioni (counteresempi), il SeniorCoderAgent utilizza questi feedback per correggere iterativamente il codice fino a raggiungere la conformità.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su 6 scenari fiscali di complessità crescente (dalle aliquote base alle distribuzioni 1099-R) utilizzando diversi modelli LLM (GPT-4o, GPT-4o-mini, Claude-3.5, Llama 3.1).

• Prestazioni dei Modelli Baseline: I modelli LLM singoli (anche i più potenti come GPT-4o e Claude-3.5) hanno mostrato prestazioni drasticamente ridotte nella generazione diretta di codice fiscale complesso, con tassi di successo (Pass@1) che crollavano fino al 23-39% negli scenari più difficili (Scenario 6).
• Superiorità dell'Approccio Agente:
  • Il framework Synedrion ha permesso a modelli più piccoli (es. GPT-4o-mini) di eguagliare o superare le prestazioni dei modelli "frontier" (GPT-4o, Claude-3.5) quando usati da soli.
  • Con l'approccio agente, GPT-4o-mini ha raggiunto un worst-case pass rate del 45% nello scenario più complesso, contro il 9-15% dei modelli baseline.
  • L'uso di Claude-3.5 all'interno del framework ha portato a un worst-case pass rate del 78% (Scenario 6).
• Impatto del Metamorphic Testing:
  • L'integrazione del MetamorphicAgent ha migliorato significativamente la robustezza.
  • L'aggiunta dell'HMT (ordine superiore) ha portato i miglioramenti più sostanziali: per GPT-4o nello Scenario 6, il punteggio worst@10 è passato dal 72% (con MT base) all'88% (con HMT).
  • L'HMT è stato fondamentale per rilevare errori sistematici (come l'applicazione di aliquote piatte invece che progressive) che il testing tradizionale ignorava.

4. Contributi Chiave

1. Framework Agente Synedrion: Una nuova architettura che integra esperti legali (simulati da LLM) nel ciclo di sviluppo del software, separando la comprensione delle regole dalla generazione del codice.
2. Generalizzazione HMT: L'introduzione e l'automazione tramite agenti di relazioni metamorfiche di ordine superiore per validare software critico legale, superando i limiti del testing a coppie.
3. Dimostrazione di Efficienza: La prova empirica che modelli LLM più piccoli ed economici, se orchestrati correttamente in un sistema multi-agente con testing avanzato, possono superare modelli più grandi e costosi in compiti di generazione di codice legale.
4. Validazione Empirica: Un'analisi dettagliata su 6 benchmark reali derivati dalle pubblicazioni dell'IRS (Internal Revenue Service), che coprono scenari da semplici a estremamente complessi.

5. Significato e Implicazioni

Questo lavoro offre una via percorribile per la creazione di software legale affidabile, un settore tradizionalmente difficile da automatizzare a causa della mancanza di oracoli di verità.

• Affidabilità: Dimostra che è possibile generare software verificabile per leggi complesse senza bisogno di un oracolo umano per ogni caso di test, affidandosi invece alla consistenza logica (metamorfica) delle regole.
• Accessibilità: Suggerisce che l'uso di modelli più piccoli in architetture collaborative può ridurre i costi computazionali mantenendo (o migliorando) l'accuratezza, rendendo lo sviluppo di software compliant più accessibile.
• Generalizzabilità: Sebbene lo studio si concentri sulle tasse USA, il metodo è applicabile ad altri domini legali critici (es. gestione della povertà, normative sanitarie), offrendo un paradigma per tradurre testi legali in software trasparente e verificabile.

In sintesi, il paper sostiene che la combinazione di competenza di dominio simulata (agenti) e verifica sistematica avanzata (HMT) è la chiave per sbloccare il potenziale degli LLM nella generazione di software per domini ad alto rischio normativo.