SteuerLLM: Local specialized large language model for German tax law analysis

Technische Samenvatting: SteuerLLM en SteuerEx

Probleemstelling
Large language models (LLM's) hebben robuuste algemene redeneervaardigheden getoond, maar blijven fragiel in domeinen die worden beheerst door strikte formele regels, precieze terminologie en juridisch bindende structuren, zoals het belastingrecht. In deze velden vereist correct redeneren exacte wettelijke citatie, hiërarchische interpretatie van onderling afhankelijke normen, gestructureerde argumentatie en numerieke nauwkeurigheid. Kleine fouten kunnen anders plausibele antwoorden ongeldig maken. Bestaande juridische AI-benchmarks vertrouwen vaak op synthetische datasets, korte antwoordformaten of binaire correctheidsmetrieken die er niet in slagen de gegradeerde, gedeeltelijke puntensystemen van echte juridische examens te vatten. Bovendien was er tot nu toe geen open benchmark beschikbaar die afgeleid is van authentieke Duitse universitaire belastingrechtexamens om domeinspecifiek redeneren over meerdere belastingdomeinen en academische niveaus rigoureus te evalueren.

Methodologie
De studie introduceert twee primaire componenten: de SteuerEx benchmark en het SteuerLLM model.

• SteuerEx Benchmark: Dit is de eerste open benchmark die is geconstrueerd uit 115 authentieke Duitse universitaire belastingrechtexamens die tussen 2016 en 2024 zijn afgenomen aan de Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU). De benchmark bestrijkt zes kerngebieden: vennootschapsbelasting, fiscale code, fundamenten van het belastingrecht, inkomstenbelasting, maatschapbelasting en omzetbelasting (BTW). In tegen tegenstelling tot standaard benchmarks maakt SteuerEx gebruik van een evaluatiekader op basis van beweringen met gedeeltelijke punten. Expert-gevalideerde referentieoplossingen zijn gedeconstrueerd in discrete, onafhankelijk scorebare juridische beweringen met toegewezen puntwaarden. Dit ontwerp weerspiegelt de werkelijke academische beoordeling, waardoor de kwaliteit van incrementeel juridisch redeneren kan worden beoordeeld in plaats van enkel de uiteindelijke correctheid.
• SteuerLLM Architectuur en Training: SteuerLLM is een domein-adaptief LLM (28B parameters) gebouwd op de Mistral Small 2409 (24B) en Ministral (8B) basisarchitecturen. Om domeinspecifieke capaciteit te incorporeren zonder de algemene redeneervaardigheden te verslechteren, gebruiken de auteurs een block expansion strategy. Dit houdt in dat er extra trainbare Transformer-lagen worden ingevoegd in de bevroren pretrained backbone, waardoor het model kan specialiseren door verhoogde diepte in plaats van volledige fine-tuning.
• Synthetische Datageneratie: Vanwege de schaarste aan grootschalige, gestructureerde Duitse belastingrechtdatasets hebben de auteurs een gecontroleerde retrieval-augmented pipeline ontwikkeld genaamd het Water Fountain Algorithm. Vertrekkend vanuit een seed-set van ongeveer 1.800 authentieke examenvragen, haalt het algoritme iteratief relevante wettelijke teksten en commentaren op met behulp van een lokale SearXNG-instantie. Vervolgens genereert het nieuwe, thematisch gediversifieerde vraag-antwoordparen met behulp van een large language model, waarbij juridische precisie en contextuele volledigheid worden gewaarborgd. De uiteindelijke trainingsdataset bestaat uit 485.092 gevalideerde vraag-antwoordparen.
• Evaluatieprotocol: Modellen werden op SteuerEx geëvalueerd met behulp van een grading-pipeline op bewerniveau waarbij een extern LLM (GPT-4o) fungeert als evaluator, die conceptuele correctheid, wettelijke nauwkeurigheid en volledigheid beoordeelt tegenover de referentiebeweringen. De evaluatie sluit retrieval augmentation tijdens de inferentie uit om geïnternaliseerde kennis te isoleren. Statistische significantie werd beoordeeld met behulp van gepaarde permutatietesten en non-parametrische bootstrapping.

Belangrijkste Bijdragen

1. SteuerEx Benchmark: Een open, expert-gevalideerde benchmark van 115 authentieke examenvragen met een fijnmazig systeem voor gedeeltelijke punten die de werkelijke academische beoordelingspraktijken in het Duitse belastingrecht weerspiegelt.
2. SteuerLLM: Een domeinspecifiek getraind model met 28B parameters, getraind op een grootschalige synthetische dataset afgeleid van authentieke examens, gebruikmakend van een block expansion architectuur om specialisatie te balanceren met algemene capaciteiten.
3. Open-SteuerLLM: Een variant van het model die is getraind zonder een private subset van data, uitgebracht om de trade-offs tussen datavrijheid en prestaties in domeinspecifieële modellen te demonstreren.
4. Uitgebreide Evaluatie: Een systematische vergelijking van SteuerLLM met een divers spectrum van instructie-getunede en redeneer-georiënteerde LLM's (variërend van 3B tot 671B parameters), inclus\u2019 de propriëtaire systemen zoals GPT-4o-mini.

Resultaten

• Prestaties vs. Schaal: Op de SteuerEx benchmark scoorden algemene instructie-getunede modellen (zelfs die met tot 72B parameters) significant lager dan SteuerLLM. Zo behaalde Ste SteuerLLM (28B) een score van 28% ± 2, waarmee het Qwen2.5-72B-it (19% ± 3) en GPT-4o-mini (22% ± 2) overtrof. Het enige model dat SteuerLLM overtrof was DeepSeek-R1-671B (39% ± 3), een redeneer-gespecialiseerd model met 24× zoveel parameters.
• Domeinspecificiteit: De resultaten geven aan dat parameterschaal alleen geen betrouwbare voorspeller is voor prestaties in het belastingrecht. Domeinspecifieke training en architecturale adaptatie waren doorslaggevender dan het ruwe aantal parameters. Een kleinere domein-geadapteerde variant, Small-SteuerLLM (10B), behaalde 16% ± 2, waarmee het concurrerend presteerde met algemene modellen in de range van 14B–32B.
• Menselijke Vergelijking: Hoewel SteuerLLM niet het gemiddelde prestatieniveau van menselijke studenten bereikte (die gemiddeld 54–63% scoorden over de categorieën), overtrof het de laagste waargenomen studentencijfers in verschillende domeinen (bijv. vennootschapsbelasting, BTW en fundamenten van het belastingrecht). Dit suggereert dat het model in staat is tot deels correcte, examengerelateerde redeneringen te produceren in plaats van louter oppervlakkig plausibele antwoorden te genereren.
• Open vs. Gesloten Data: Open-SteuerLLM (getraind zonder private data) behaalde 23% ± 3, een reductie van ongeveer 5 procentpunten vergeleken met de volledige SteuerLLM. Dit verschil was niet statistisch significant op het geaggregeerde benchmarkniveau, hoewel de prestatiekloof meer uitgesproken was in kleinere, gespecialiseerde categorieën.

Betekenis en Claims
Het artikel stelt dat realistische academische beoordelingen, zoals universitaire examens voor het belastingrecht, dienen als high-fidelity benchmarks voor het evalueren van de generalisatie en specialisatie van deep learning-systemen. De studie demonstreert dat voor gestructureerde juridische redeneertaken domeinspecifieke data en architecturale adaptatie doorslaggevender zijn dan de parameterschaal alleen.

De auteurs benadrukken dat SteuerEx een rigoureus kader biedt voor het bestuderen van juridische AI door evaluatie te operationaliseren via gestructureerd redeneren, wettelijke precisie en incrementele gedeeltelijke punten. Deze aanpak legt capaciteitsverschillen bloot die vaak verborgen blijven bij conventionele juridische NLP-benchmarks. Verder benadrukt het werk dat hoewel domeinadaptatie substantiële winst oplevert, er aanzienlijke kloven blijven bestaan tussen huidige LLM's en menselijke experts, met name in zeer gespecialiseerde of procedureel complexe domeinen. De release van de benchmark, de trainingsdata en de modelgewichten heeft als doel reproduceerbaar onderzoek in domeinspecifieke juridische kunstmatige intelligentie te ondersteunen.