SteuerLLM: Local specialized large language model for German tax law analysis

Resumo Técnico: SteuerLLM e SteuerEx

Definição do Problema
Modelos de linguagem de grande escala (LLMs) demonstraram capacidades robustas de raciocínio geral, mas permanecem frágeis em domínios regidos por regras formais estritas, terminologia precisa e estruturas juridicamente vinculativas, como o direito tributário. Nestes campos, o raciocínio correto exige citação estatutária exata, interpretação hierárquica de normas interdependentes, argumentação estruturada e precisão numérica. Erros menores podem invalidar respostas que, de outra forma, seriam plausíveis. Os benchmarks de IA jurídica existentes frequentemente dependem de conjuntos de dados sintéticos, formatos de resposta curta ou métricas de correção binária que falham em capturar a natureza graduada e de crédito parcial do mundo real das avaliações jurídicas. Além disso, nenhum benchmark aberto derivado de exames autênticos de direito tributário de universidades alemãs estava disponível para avaliar rigorosamente o raciocínio específico do domínio em múltiplos domínios tributários e níveis acadêmicos.

Metodologia
O estudo introduz dois componentes primários: o benchmark SteuerEx e o modelo SteuerLLM.

• Benchmark SteuerEx: Este é o primeiro benchmark aberto construído a partir de 115 exames autênticos de direito tributário de universidades alemãs administrados entre 2016 e 2024 na Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU). O benchmark cobre seis domínios principais: imposto sobre sociedades, código fiscal, fundamentos do direito tributário, imposto sobre a renda, tributação de parcerias e imposto sobre o valor agregado (IVA). Diferente dos benchmarks padrão, o SteuerEx emprega um framework de avaliação baseado em declarações com crédito parcial. Soluções de referência validadas por especialistas são decompostas em declarações jurídicas discretas e independentemente pontuáveis, com valores de pontos atribuídos. Este design espelha a correção acadêmica real, permitindo a avaliação da qualidade do raciocínio jurídico incremental em vez de apenas a correção final.
• Arquitetura e Treinamento do SteuerLLM: O SteuerLLM é um LLM adaptado ao domínio (28B parâmetros) construído sobre as arquiteturas base Mistral Small 2409 (24B) e Ministral (8B). Para incorporar capacidade específica do domínio sem degradar as habilidades de raciocínio geral, os autores utilizam uma estratégia de expansão de blocos. Isso envolve a inserção de camadas Transformer adicionais treináveis na espinha dorsal pré-treinada congelada, permitindo que o modelo se especialize através do aumento da profundidade em vez de um ajuste fino completo.
• Geração de Dados Sintéticos: Devido à escassez de conjuntos de dados de direito tributário alemão estruturados e de grande escala, os autores desenvolveram um pipeline de recuperação controlada chamado Algoritmo Water Fountain. Partindo de um conjunto semente de aproximadamente 1.800 questões de exames autênticos, o algoritmo recupera iterativamente textos estatutários e comentários relevantes usando uma instância local de SearXNG. Em seguida, ele gera novos pares de pergunta-resposta tematicamente diversificados, garantindo precisão jurídica e suficiência de contexto. O conjunto de dados de treinamento final compreende 485.092 pares de pergunta-resposta validados.
• Protocolo de Avaliação: Os modelos foram avaliados no SteuerEx usando um pipeline de graduação por nível de declaração, onde um LLM externo (GPT-4o) atua como avaliador, assessando a correção conceitual, a precisão estatutária e a completude em relação às declarações de referência. A avaliação exclui aumentação de recuperação (retrieval augmentation) no tempo de inferência para isolar o conhecimento internalizado. A significância estatística foi avaliada por meio de testes de permutação pareados e bootstrapping não paramétrico.

Principais Contribuições

1. Benchmark SteuerEx: Um benchmark aberto e validado por especialistas de 115 questões de exames autênticos com um sistema de pontuação granular de crédito parcial que reflete as práticas reais de avaliação acadêmica no direito tributário alemão.
2. SteuerLLM: Um modelo de 28 bilhões de parâmetros especializado no domínio, treinado em um conjunto de dados sintéticos de grande escala derivados de exames autênticos, utilizando uma arquitetura de expansão de blocos para equilibrar especialização com capacidades gerais.
3. Open-SteuerLLM: Uma variante do modelo treinada sem um subconjunto privado de dados, lançada para demonstrar os compromissos entre a abertura de dados e o desempenho em modelos especializados de domínio.
4. Avaliação Abrangente: Uma comparação sistemática do SteuerLLM contra um espectro diversificado de LLMs orientados à instrução e ao raciocínio (variando de 3B a 671B parâmetros), incluindo sistemas proprietários como o GPT-4o-mini.

Resultos

• Desempenho vs. Escala: No benchmark SteuerEx, modelos de instrução de uso geral (mesmo aqueles com até 72B parâmetros) pontuaram significativamente abaixo do SteuerLLM. Por exemplo, o SteuerLLM (28B) alcançou 28% ± 2, superando o Qwen2.5-72B-it (19% ± 3) e o GPT-4o-mini (22% ± 2). O único modelo que superou o SteuerLLM foi o DeepSeek-R1-671B (39% ± 3), um modelo especializado em raciocínio com 24× mais parâmetros.
• Especificidade de Domínio: Os resultados indicam que a escala de parâmetros sozinha não prevê de forma confiável o desempenho no direito tributário. O treinamento específico do domínio e a adaptação arquitetônica foram mais decisivos do que a contagem bruta de parâmetros. Uma variante menor adaptada ao domínio, o Small-SteuerLLM (10B), alcançou 16% ± 2, performando competitivamente com modelos de uso geral na faixa de 14B–32B.
• Comparação Humana: Embora o SteuerLLM não tenha atingido o desempenho médio dos estudantes humanos (que tiveram média de 54–63% entre as categorias), ele excedeu as notas estudantis mais baixas observadas em vários domínios (ex: imposto sobre sociedades, IVA e fundamentos do direito tributário). Isso sugere que o modelo pode produzir um raciocínio parcialmente correto e relevante para o exame, em vez de meramente gerar respostas superficialmente plausíveis.
• Dados Abertos vs. Fechados: O Open-SteuerLLM (treinado sem dados privados) alcançou 23% ± 3, uma redução de aproximadamente 5 pontos percentuais em comparação ao SteuerLLM completo. Essa diferença não foi estatisticamente significativa no nível do benchmark agregado, embora as lacunas de desempenho tenham sido mais pronunciadas em categorias menores e especializadas.

Significância e Alegações
O artigo afirma que avaliações acadêmicas realistas, como os exames de direito tributário universitário, servem como benchmarks de alta fidelidade para avaliar a generalização e a especialização de sistemas de deep learning. O estudo demonstra que, para tarefas de raciocínio jurídico estruturado, os dados específicos do domínio e a adaptação arquitetônica são mais decisivos do que a escala de parâmetros isoladamente.

Os autores enfatizam que o SteuerEx fornece um framework rigoroso para o estudo da IA jurídica através da operacionalização da avaliação por meio de raciocínio estruturado, precisão estatutária e crédito parcial incremental. Esta abordagem revela diferenças de capacidade que são frequentemente obscurecidas pelos benchmarks convencionais de PLN jurídico. Além disso, o trabalho destaca que, embora a adaptação de domínio proporcione ganhos substanciais, lacunas significativas permanecem entre os atuais LLMs e os especialistas humanos, particularmente em domínios altamente especializados ou proceduralmente complexos. O lançamento do benchmark, dos dados de treinamento e dos pesos do modelo visa apoiar a pesquisa reproduzível em inteligência artificial jurídica específica de domínio.