SteuerLLM: Local specialized large language model for German tax law analysis

Sintesi Tecnica: SteuerLLM e SteuerEx

Problematica
I grandi modelli linguistici (LLM) hanno dimostrato robuste capacità di ragionamento generale, ma rimangono fragili in domini governati da regole formali rigide, terminologia precisa e strutture legalmente vincolanti, come il diritto tributario. In questi campi, il ragionamento corretto richiede citazioni normative esatte, interpretazione gerarchica di norme interdipendenti, argomentazione strutturata e accuratezza numerica. Errori minori possono invalidare risposte altrimenti plausibili. Gli attuali benchmark per l'IA legale si affidano spesso a dataset sintetici, formati a risposta breve o metriche di correttezza binaria che non riescono a catturare la natura graduata e il credito parziale tipici degli esami accademici reali. Inoltre, non era disponibile alcun benchmark aperto derivato da autentiche esami universitari di diritto tributario tedesco per valutare rigorosamente il ragionamento specifico del dominio attraverso molteplici ambiti fiscali e livelli accademici.

Metodologia
Lo studio introduce due componenti primarie: il benchmark SteuerEx e il modello SteuerLLM.

• Benchmark SteuerEx: Si tratta del primo benchmark aperto costruito su 115 autentici esami universitari di diritto tributario somministrati tra il 2016 e il 2024 presso la Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU). Il benchmark copre sei domini principali: imposta sulle società, codice fiscale, fondamenti di diritto tributario, imposta sul reddito, tassazione delle partnership e IVA (VAT). A differenza dei benchmark standard, SteuerEx impiega un framework di valutazione a livello di affermazione con credito parziale. Le soluzioni di riferimento validate dagli esperti sono scomposte in dichiarazioni legali discrete e indipendentemente valutabili con valori di punteggio assegnati. Questo design rispecchia la reale valutazione accademica, permettendo la valutazione della qualità del ragionamento legale incrementale piuttosto che della sola correttezza finale.
• Architettura e Addestramento di SteuerLLM: SteuerLLM è un LLM adattato al dominio (28 miliardi di parametri) costruito sulle architetture base Mistral Small 2409 (24B) e Ministral (8B). Per incorporare capacità specifiche del dominio senza degradare le capacità di ragionamento generale, gli autori utilizzano una strategia di espansione a blocchi (block expansion strategy). Questa consiste nell'inserire strati Transformer aggiuntivi addestrabili all'interno del backbone pre-addestrato congelato, consentendo al modello di specializzarsi attraverso un aumento della profondità piuttosto che tramite un fine-tuning completo.
• Generazione di Dati Sintetici: A causa della scarsità di dataset di diritto tributario tedesco su larga scala e strutturati, gli autori hanno sviluppato una pipeline di recupero controllato chiamata Water Fountain Algorithm. Partendo da un set iniziale di circa 1.800 domande d'esame autentiche, l'algoritmo recupera iterativamente testi normativi e commentari rilevanti utilizzando un'istanza locale di SearXNG. Genera poi nuove coppie domanda-risposta tematicamente diversificate utilizzando un modello linguistico di grandi dimensioni, garantendo precisione legale e sufficienza del contesto. Il dataset di addestramento finale comprende 485.092 coppie domanda-risposta validate.
• Protocollo di Valutazione: I modelli sono stati valutati su SteuerEx utilizzando una pipeline di valutazione a livello di affermazione in cui un LLM esterno (GPT-4o) agisce come valutatore, assessendo la correttezza concettuale, l'accuratezza normativa e la completezza rispetto alle affermazioni di riferimento. La valutazione esclude il recupero aumentato (retrieval augmentation) al momento dell'inferenza per isolare la conoscenza interiorizzata. La significatività statistica è stata valutata tramite test di permutazione accoppiati e bootstrapping non parametrico.

Contributi Chiave

1. Benchmark SteuerEx: Un benchmark aperto e validato da esperti composto da 115 domande d'esame autentiche con un sistema di punteggio granulare a credito parziale che riflette le reali pratiche di valutazione accademica nel diritto tributario tedesco.
2. SteuerLLM: Un modello con 28 miliardi di parametri specializzato nel dominio, addestrato su un dataset sintetico su larga scala derivato da esami autentici, utilizzando un'architettura a espansione di blocchi per bilanciare la specializzazione con le capacità generali.
3. Open-SteuerLLM: Una variante del modello addestrata senza un sottoinsieme privato di dati, rilasciata per dimostrare i compromessi tra apertura dei dati e prestazioni nei modelli specializzati nel dominio.
4. Valutazione Comprensiva: Un confronto sistematico di SteuerLLM contro un diversificato spettro di modelli istruiti (instruction-tuned) e orientati al ragionamento (da 3B a 671B di parametri), inclusi sistemi proprietari come GPT-4o-mini.

Risultati

• Performance vs. Scala: Sul benchmark SteuerEx, i modelli generalisti istruiti (anche quelli con fino a 72B di parametri) hanno ottenuto punteggi significativamente inferiori rispetto a SteuerLLM. Ad esempio, SteuerLLM (28B) ha raggiunto il 28% ± 2, superando Qwen2.5-72B-it (19% ± 3) e GPT-4o-mini (22% ± 2). L'unico modello ad aver superato SteuerLLM è stato DeepSeek-R1-671B, un modello specializzato nel ragionamento con 24 volte il numero di parametri.
• Specificità del Dominio: I risultati indicano che la scala dei parametri da sola non predice in modo affidabile le prestazioni nel diritto tributario. L'addestramento specifico del dominio e l'adattamento architettonico sono stati più decisivi del semplice conteggio dei parametri. Una variante più piccola e adattata al dominio, Small-SteuerLLM (10B), ha ottenuto il 16% ± 2, performando competitivamente con modelli generalisti nella fascia 14B–32B.
• Confronto con l'Umano: Sebbene SteuerLLM non abbia raggiunto la performance media degli studenti umani (che hanno mediato tra il 54% e il 63% nelle varie categorie), ha superato i voti minimi osservati tra gli studenti in diversi domini (es. imposta sulle società, IVA e fondamenti di diritto tributario). Ciò suggerisce che il modello può produrre un ragionamento parzialmente corretto e rilevante per l'esame, piuttosto che generare semplicemente risposte superficialmente plausibili.
• Dati Open vs. Closed: Open-SteuerLLM (addestrato senza dati privati) ha ottenuto il 23% ± 3, una riduzione di circa 5 punti percentuali rispetto al SteuerLLM completo. Questa differenza non era statisticamente significativa a livello di benchmark aggregato, sebbene i gap di performance fossero più pronunciati nelle categorie più piccole e specializzate.

Significatività e Rivendicazioni
L'articolo sostiene che le valutazioni accademiche realistiche, come gli esami universitari di diritto tributario, fungono da benchmark ad alta fedeltà per valutare la generalizzazione e la specializzazione dei sistemi di deep learning. Lo studio dimosta che, per compiti di ragionamento legale strutturato, i dati specifici del dominio e l'adattamento architettonico sono più decisivi della sola scala dei parametri.

Gli autori sottolineano che SteuerEx fornisce un framework rigoroso per studiare l'IA legale operazionalizzando la valutazione attraverso il ragionamento strutturato, la precisione normativa e il credito parziale incrementale. Questo approccio rivela differenze di capacità che sono spesso oscurate dai convenzionali benchmark di NLP legale. Inoltre, il lavoro evidenzia come, nonostante l'adattamento al dominio porti a guadagni sostanziali, rimangano lacune significative tra gli attuali LLM e gli esperti umani, in particolare in domini altamente specializzati o proceduralmente complessi. Il rilascio del benchmark, dei dati di addestramento e dei pesi del modello mira a supportare la ricerca riproducibile nell'intelligenza artificiale legale specifica del dominio.