SteuerLLM: Local specialized large language model for German tax law analysis

Résumé Technique : SteuerLLM et SteuerEx

Énoncé du Problème
Les grands modèles de langage (LLM) ont démontré de robustes capacités de raisonnement général, mais restent fragiles dans les domaines régis par des règles formelles strictes, une terminologie précise et des structures juridiques contraignantes, telles que le droit fiscal. Dans ces domaines, un raisonnement correct nécessite une citation exacte des textes de loi, une interprétation hiérarchique de normes interdépendantes, une argumentation structurée et une précision numérique. Des erreurs mineures peuvent invalider des réponses par ailleurs plausibles. Les benchmarks existants pour l'IA juridique reposent souvent sur des jeux de données synthétiques, des formats de réponses courtes ou des mesures de correction binaire qui ne parviennent pas à capturer la nature graduée et le système de crédits partiels de la réalité des examens juridiques. De plus, aucun benchmark ouvert dérivé d'examens authentiques de droit fiscal d'universités allemandes n'était disponible pour évaluer rigoureusement le raisonnement spécifique au domaine à travers de multiples domaines fiscaux et niveaux académiques.

Méthodologie
L'étude introduit deux composants principaux : le benchmark SteuerEx et le modèle SteuerLLM.

• Benchmark SteuerEx : Il s'agit du premier benchmark ouvert construit à partir de 115 examens authentiques de droit fiscal d'universités allemandes administrés entre 2016 et 2024 à la Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU). Le benchmark couvre six domaines clés : la fiscalité des entreprises, le code fiscal, les fondamentaux du droit fiscal, l'impôt sur le revenu, la fiscalité des sociétés et la taxe sur la valeur ajoutée (TVA). Contrairement aux benchmarks standards, SteuerEx utilise un cadre d'évaluation par énoncé avec un système de crédits partiels. Les solutions de référence validées par des experts sont décomposées en énoncés juridiques discrets, scorables de manière indépendante avec des valeurs de points attribuées. Cette conception reflète la notation académique réelle, permettant d'évaluer la qualité incrémentale du raisonnement juridique plutôt que la simple justesse finale.
• Architecture et Entraînement de SteuerLLM : SteuerLLM est un LLM adapté au domaine (28 milliards de paramètres) construit sur les architectures de base Mistral Small 2409 (24B) et Ministral (8B). Pour incorporer une capacité spécifique au domaine sans dégrader les capacités de raisonnement général, les auteurs utilisent une stratégie d'expansion de blocs. Cela implique l'insertion de couches Transformer supplémentaires entraînables dans le squelette pré-entraîné gelé, permettant au modèle de se spécialiser par l'augmentation de la profondeur plutôt que par un ajustement fin complet.
• Génération de Données Synthétiques : En raison de la rareté des jeux de données de droit fiscal allemand structurés à grande échelle, les auteurs ont développé un pipeline de récupération contrôlée appelé l'Algorithme Water Fountain. À partir d'un ensemble de départ d'environ 1 800 questions d'examen authentiques, l'algorithme récupère de manière itérative les textes législatifs et les commentaires pertinents en utilisant une instance locale de SearXNG. Il génère ensuite de nouvelles paires questions-réponses thématiquement diversifiées, garantissant la précision juridique et la suffisance du contexte. Le jeu de données d'entraînement final comprend 485 092 paires questions-réponses validées.
• Protocole d'Évaluation : Les modèles ont été évalués sur SteuerEx à l'aide d'un pipeline de notation par énoncé où un LLM externe (GPT-4o) agit comme évaluateur, assessant la justesse conceptuelle, l'exactitude statutaire et l'exhaustivité par rapport aux énoncés de référence. L'évaluation exclut l'augmentation par récupération lors de l'inférence afin d'isoler les connaissances internalisées. La signification statistique a été évaluée par des tests de permutation appariés et des bootstrapping non paramétriques.

Principales Contributions

1. Benchmark SteuerEx : Un benchmark ouvert et validé par des experts comprenant 115 questions d'examen authentiques avec un système de notation granulaire à crédits partiels qui reflète les pratiques réelles d'évaluation académique en droit fiscal allemand.
2. SteuerLLM : Un modèle de 28 milliards de paramètres spécialisé dans le domaine, entraîné sur un jeu de données synthétiques à grande échelle dérivé d'examens authentiques, utilisant une architecture d'expansion de blocs pour équilibrer la spécialisation et les capacités générales.
3. Open-SteuerLLM : Une variante du modèle entraînée sans un sous-ensemble privé de données, publiée pour démontrer les compromis entre l'ouverture des données et la performance dans les modèles spécialisés par domaine.
4. Évaluation Complète : Une comparaison systématique de SteuerLLM par rapport à un spectre diversifié de LLM orientés vers l'instruction et le raisonnement (allant de 3B à 671B de paramètres), incluant des systèmes propriétaires comme GPT-4o-mini.

Résultats

• Performance vs Échelle : Sur le benchmark SteuerEx, les modèles à usage général orientés instruction (même ceux atteignant 72 milliards de paramètres) ont obtenu des scores nettement inférieurs à SteuerLLM. Par exemple, SteuerLLM (28B) a obtenu 28 % ± 2, surpassant Qwen2.5-72B-it (19 % ± 3) et GPT-4o-mini (22 % ± 2). Le seul modèle ayant surpassé SteuerLLM est DeepSeek-R1-671B (39 % ± 3), un modèle spécialisé dans le raisonnement possédant 24 fois plus de paramètres.
• Spécificité du Domaine : Les résultats indiquent que l'échelle des paramètres seule ne prédit pas de manière fiable la performance en droit fiscal. L'entraînement spécifique au domaine et l'adaptation architecturale ont été plus décisifs que le nombre brut de paramètres. Une variante plus petite, Small-SteuerLLM (10B), a atteint 16 % ± 2, se montrant compétitive face aux modèles à usage général de la plage 14B–32B.
• Comparaison Humaine : Bien que SteuerLLM n'ait pas atteint la performance moyenne des étudiants humains (qui ont une moyenne de 54–63 % à travers les catégories), il a dépassé les notes les plus basses observées chez les étudiants dans plusieurs domaines (ex: fiscalité des entreprises, TVA et fondamentaux du droit fiscal). Cela suggère que le modèle peut produire un raisonnement partiellement correct et pertinent pour l'examen, plutôt que de simplement générer des réponses superficiellement plausibles.
• Données Ouvertes vs Fermées : Open-SteuerLLM (entraîné sans données privées) a obtenu 23 % ± 3, soit une réduction d'environ 5 points de pourcentage par rapport au SteuerLLM complet. Cette différence n'était pas statistiquement significative au niveau du benchmark agrégé, bien que les écarts de performance soient plus marqués dans les catégories plus petites et spécialisées.

Signification et Revendications
L'article affirme que les évaluations académiques réalistes, telles que les examens de droit fiscal universitaire, servent de benchmarks de haute fidélité pour évaluer la généralisation et la spécialisation des systèmes d'apprentissage profond. L'étude démontète que pour les tâches de raisonnement juridique structuré, les données spécifiques au domaine et l'adaptation architecturale sont plus décisives que l'échelle des paramètres seule.

Les auteurs soulignent que SteuerEx fournit un cadre rigoureux pour étudier l'IA juridique en opérationnalisant l'évaluation via un raisonnement structuré, la précision statutaire et le crédit partiel incrémental. Cette approche révèle des différences de capacité qui sont souvent occultées par les benchmarks conventionnels de NLP juridique. De plus, ce travail met en évidence que si l'adaptation au domaine apporte des gains substantiels, des écarts importants subsistent entre les LLM actuels et les experts humains, particulièrement dans les domaines hautement spécialisés ou procéduralement complexes. La publication du benchmark, des données d'entraînement et des poids du modèle vise à soutenir la recherche reproductible dans l'intelligence artificielle juridique spécialisée par domaine.