SteuerLLM: Local specialized large language model for German tax law analysis

Resumen Técnico: SteuerLLM y SteuerEx

Planteamiento del Problema
Los modelos de lenguaje extensos (LLM) han demostrado capacidades de razonamiento general robustas, pero siguen siendo frágiles en dominios gobernados por reglas formales estrictas, terminología precisa y estructuras legalmente vinculantes, como el derecho tributario. En estos campos, el razonamiento correcto requiere la citación exacta de estatutos, la interpretación jerárquica de normas interdependientes, la argumentación estructurada y la precisión numérica. Errores menores pueden invalidar respuestas que, de otro modo, serían plausibles. Los benchmarks de IA legal existentes suelen depender de conjuntos de datos sintéticos, formatos de respuesta corta o métricas de corrección binaria que no logran capturar la naturaleza graduada y de crédito parcial de los exámenes legales del mundo real. Además, no existía ningún benchmark abierto derivado de exámenes auténticos de derecho tributario de universidades alemanas para evaluar rigurosamente el razonamiento específico del dominio a través de múltiples dominios fiscales y niveles académicos.

Metodología
El estudio introduce dos componentes primarios: el benchmark SteuerEx y el modelo SteuerLLM.

• Benchmark SteuerEx: Es el primer benchmark abierto construido a partir de 115 exámenes auténticos de derecho tributario de universidades alemanas administrados entre 2016 y 2024 en la Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU). El benchmark cubre seis dominios principales: impuesto de sociedades, código fiscal, fundamentos del derecho tributario, impuesto sobre la renta, tributación de sociedades y el impuesto sobre el valor añadido (IVA). A diferencia de los benchmarks estándar, SteuerEx emplea un marco de evaluación por niveles de enunciados con crédito parcial. Las soluciones de referencia validadas por expertos se descomponen en enunciados legales discretos e independientemente calificables con valores de puntos asignados. Este diseño refleja la calificación académica real, permitiendo la evaluación de la calidad del razonamiento legal incremental en lugar de solo la corrección final.
• Arquitectura y Entrenamiento de SteuerLLM: SteuerLLM es un LLM adaptado al dominio (28B de parámetros) construido sobre las arquitecturas base de Mistral Small 2409 (24B) y Ministral (8B). Para incorporar capacidad específica del dominio sin degradar las capacidades de razonamiento general, los autores emplean una estrategia de expansión de bloques. Esto implica insertar capas adicionales de Transformer entrenables en el núcleo preentrenado congelado, permitiendo que el modelo se especialice mediante un aumento de la profundidad en lugar de un ajuste fino completo.
• Generación de Datos Sintéticos: Debido a la escasez de conjuntos de datos de derecho tributario alemán a gran escala y estructurados, los autores desarrollaron un pipeline de recuperación controlada llamado Algoritmo Water Fountain. Partiendo de un conjunto semilla de aproximadamente 1,800 preguntas de exámenes auténticos, el algoritmo recupera iterativamente textos estatutarios y comentarios relevantes utilizando una instancia local de SearXNG. Luego genera nuevos pares de pregunta-respuesta temáticamente diversificados, asegurando la precisión legal y la suficiencia del contexto. El conjunto de datos de entrenamiento final comprende 485,092 pares de pregunta-respuesta validados.
• Protocolo de Evaluación: Los modelos fueron evaluados en SteuerEx utilizando un pipeline de calificación por niveles de enunciados donde un LLM externo (GPT-4o) actúa como evaluador, analizando la corrección conceptual, la precisión estatutaria y la completitud frente a los enunciados de referencia. La evaluación excluye la aumentación de recuperación durante la inferencia para aislar el conocimiento internalizado. La significancia estadística se evaluó mediante pruebas de permutación pareadas y bootstrapping no paramétrico.

Contribuciones Clave

1. Benchmark SteuerEx: Un benchmark abierto y validado por expertos de 115 preguntas de exámenes auténticos con un sistema de puntuación granular de crédito parcial que refleja las prácticas de evaluación académica reales en el derecho tributario alemán.
2. SteuerLLM: Un modelo de 28B de parámetros especializado en el dominio, entrenado en un conjunto de datos sintéticos a gran escala derivados de exámenes auténticos, utilizando una arquitectura de expansión de bloques para equilibrar la especialización con las capacidades generales.
3. Open-SteuerLLM: Una variante del modelo entrenada sin un subconjunto privado de datos, lanzada para demostrar las compensaciones entre la apertura de los datos y el rendimiento en modelos especializados en el dominio.
4. Evaluación Exhaustiva: Una comparación sistemática de SteuerLLM contra un espectro diverso de LLMs ajustados por instrucciones y orientados al razonamiento (que van desde 3B hasta 671B de parámetros), incluyendo sistemas propietarios como GPT-4o-mini.

Resultados

• Rendimiento vs. Escala: En el benchmark SteuerEx, los modelos de propósito general ajustados por instrucciones (incluso aquellos con hasta 72B de parámetros) obtuvieron puntuaciones significativamente más bajas que SteuerLLM. Por ejemplo, SteuerLLM (28B) logró un 28% ± 2, superando a Qwen2.5-72B-it (19% ± 3) y GPT-4o-mini (22% ± 2). El único modelo que superó a SteuerLLM fue DeepSeek-R1-671B (39% ± 3), un modelo especializado en razonamiento con 24 veces más parámetros.
• Especificidad del Dominio: Los resultados indican que la escala de parámetros por sí sola no predice de manera fiable el rendimiento en derecho tributario. El entrenamiento específico del dominio y la adaptación arquitectónica fueron más decisivos que el recuento bruto de parámetros. Una variante más pequeña y adaptada al dominio, Small-SteuerLLM (10B), alcanzó un 16% ± 2, desempeñándose competitivamente con modelos de propósito general en el rango de 14B–32B.
• Comparación con Humanos: Aunque SteuerLLM no alcanzó el rendimiento promedio de los estudiantes humanos (quienes promediaron 54–63% en diversas categorías), superó las calificaciones más bajas observadas en estudiantes en varios dominios (por ejemplo, impuesto de sociedades, IVA y fundamentos del derecho tributario). Esto sugiere que el modelo puede producir un razonamiento parcialmente correcto y relevante para el examen, en lugar de simplemente generar respuestas superficialmente plausibles.
• Datos Abiertos vs. Cerrados: Open-SteuerLLM (entrenado sin datos privados) alcanzó un 23% ± 3, una reducción de aproximadamente 5 puntos porcentuales en comparación con el SteuerLLM completo. Esta diferencia no fue estadísticamente significativa a nivel del benchmark agregado, aunque las brechas de rendimiento fueron más pronunciadas en categorías más pequeñas y especializadas.

Significancia y Reivindicaciones
El artículo sostiene que las evaluaciones académicas realistas, como los exámenes universitarios de derecho tributario, sirven como benchmarks de alta fidelidad para evaluar la generalización y especialización de los sistemas de aprendizaje profundo. El estudio demuestra que, para tareas de razonamiento legal estructurado, los datos específicos del dominio y la adaptación arquitectónica son más decisivos que la escala de parámetros por sí sola.

Los autores enfatizan que SteuerEx proporciona un marco riguroso para estudiar la IA legal al operacionalizar la evaluación a través del razonamiento estructurado, la precisión estatutaria y el crédito parcial incremental. Este enfoque revela diferencias de capacidad que a menudo quedan ocultas por los benchmarks convencionales de PLN legal. Además, el trabajo destaca que, si bien la adaptación al dominio produce ganancias sustanciales, persisten brechas significativas entre los LLM actuales y los expertos humanos, particularmente en dominios altamente especializados o procedimentalmente complejos. El lanzamiento del benchmark, los datos de entrenamiento y los pesos del modelo tiene como objetivo apoyar la investigación reproducible en la inteligencia artificial legal especializada en el dominio.