SteuerLLM: Local specialized large language model for German tax law analysis

기술 요약: SteuerLLM 및 SteuerEx

문제 정의
대규모 언어 모델(LLM)은 강력한 일반 추론 능력을 입증해 왔으나, 세법과 같이 엄격한 형식적 규칙, 정밀한 용어, 법적 구속력이 있는 구조에 의해 규제되는 영역에서는 여전히 취약함을 보인다. 이러한 분야에서 올바른 추론을 위해서는 정확한 법령 인용, 상호 의존적인 규범의 계층적 해석, 구조화된 논증, 그리고 수치적 정확성이 요구된다. 사소한 오류만으로도 그럴듯해 보이는 답변이 무효화될 수 있다. 기존의 법률 AI 벤치마크는 합성 데이터셋, 단답형 형식 또는 이진 정답 판정 방식에 의존하는 경우가 많아, 실제 법학 시험의 점진적이고 부분 점수가 부여되는 특성을 포착하지 못한다. 또한, 다양한 세법 영역과 학술적 수준에 걸쳐 도메인 특화된 추론을 엄격하게 평가할 수 있는 실제 독일 대학 세법 시험 기반의 공개 벤치마크는 지금까지 존재하지 않았다.

방법론
본 연구는 두 가지 주요 구성 요소인 SteuerEx 벤치마크와 SteuerLLM 모델을 소개한다.

• SteuerEx 벤치마크: 이는 2016년부터 2024년 사이 프리드리히 알렉산더 에를랑겐-뉘른베르크 대학교(FAU)에서 실시된 115개의 실제 독일 대학 세법 시험으로 구축된 최초의 공개 벤치마크이다. 이 벤치마크는 법인세, 조세법, 세법 기초, 소득세, 동업 과세, 부가가치세(VAT) 등 6가지 핵심 영역을 다룬다. 표준 벤치마크와 달리, SteuerEx는 문장 단위의 부분 점수 부여 평가 프레임워크를 채택한다. 전문가가 검증한 참조 솔루션은 개별적으로 점수를 매길 수 있는 불연속적인 법률 진술로 분해되며 각각 할당된 점수를 가진다. 이러한 설계는 실제 학술적 채점 방식을 모방하여, 단순한 최종 정답 여부를 넘어 점진적인 법률 추론의 품질을 평가할 수 있게 한다.
• Ste SteuerLLM 아키텍처 및 학습: SteuerLLM은 Mistral Small 2409 (24B) 및 Ministral (8B) 베이스 아키텍처를 기반으로 구축된 도메인 적응형 LLM(28B 파라미터)이다. 일반적인 추론 능력을 저하시키지 않으면서 도메인 특화 역량을 통합하기 위해, 저자들은 **블록 확장 전략(block expansion strategy)**을 사용한다. 이는 동결된 사전 학습된 백본에 추가적인 학습 가능 트랜스포머 레이어를 삽isa 삽입하는 방식으로, 전체 미세 조정 대신 깊이를 증가시켜 모델이 전문화되도록 하는 방식이다.
• 합성 데이터 생성: 대규모의 구조화된 독일 세법 데이터셋의 희소성 때문에, 저자들은 **워터 파운틴 알고리즘(Water Fountain Algorithm)**이라 불리는 제어된 검색 증강 파이프라인을 개발했다. 약 1,800개의 실제 시험 문제 시드 세트에서 시작하여, 이 알고리즘은 로컬 SearXNG 인스턴스를 사용하여 관련 법령 텍스트와 주석을 반복적으로 검색한다. 그 후, 대규모 언어 모델을 사용하여 법적 정밀도와 맥락적 충분성을 보장하면서 주제적으로 다양화된 새로운 질문-답변 쌍을 생성한다. 최종 학습 데이터셋은 검증된 485,092개의 질문-답변 쌍로 구성된다.
• 평가 프로토콜: 모델은 외부 LLM(GPT-4o)이 평가자 역할을 수행하여 참조 진술에 대한 개념적 정확성, 법령 정확성 및 완결성을 평가하는 SteuerEx의 문장 단위 채점 파이프라인을 통해 평가되었다. 추론 시의 지식 검색 증강(RAG)은 내부화된 지식을 격리하여 측정하기 위해 제외되었다. 통계적 유의성은 쌍체 순열 검정(paired permutation tests)과 비모수적 부트스트래핑을 사용하여 평가되었다.

주요 기여

1. SteuerEx 벤치마크: 독일 세법의 실제 학술적 평가 방식을 반영하는 정밀한 부분 점수 시스템을 갖춘, 115개의 실제 시험 문제로 구성된 전문가 검증 공개 치.
2. SteuerLLM: 블록 확장 아키텍처를 활용하여 전문화와 일반적 능력을 균형 있게 맞추고, 실제 시험에서 파생된 대규모 합성 데이터셋으로 학습된 28B 파라미터 규모의 도메인 특화 모델.
3. Open-SteuerLLM: 데이터의 공개성과 도메인 특화 모델의 성능 간의 트레이드오프를 보여주기 위해, 비공개 데이터 서브셋 없이 학습된 모델 변체.
4. 포괄적 평가: GPT-4o-mini와 같은 독점 시스템을 포함하여, 3B에서 671B 파라미터에 이르는 다양한 지시어 튜닝 및 추론 지향형 LLM과의 체계적인 비교.

결과

• 규모 대비 성능: SteuerEx 벤치마크에서 일반 목적의 지시어 튜닝 모델(최대 72B 파라미터까지)은 SteuerLLM보다 현저히 낮은 점수를 기록했다. 예를 들어, **SteuerLLM (28B)**은 28% ± 2를 달려 Qwen2.5-72B-it (19% ± 3) 및 **GPT-4o-mini (22% ± 2)**를 능가했다. SteuerLLM을 능가한 유일한 모델은 24배 더 많은 파라미터를 가진 추론 특화 모델인 **DeepSeek-R1-671B (39% ± 3)**였다.
• 도메인 특수성: 결과는 파라미터 규모 자체가 세법에서의 성능을 안정적으로 예측하지 못함을 나타낸다. 도메인 특화 학습과 아키텍처 적응이 원시 파라미터 수보다 더 결정적이었다. 더 작은 도메인 적응 변체인 **Small-SteuerLLM (10B)**은 16% ± 2를 기록하며, 14B–32B 범위의 일반 목적 모델들과 경쟁력 있는 성능을 보였다.
• 인간과의 비교: SteuerLLM은 인간 학생의 평균 성능(카테고리 전반에 걸쳐 54–63% 평균)에는 도달하지 못했지만, 여러 도메인(예: 법인세, 부가가치세, 세법 기초)에서 관찰된 최저 학생 성적을 넘어섰다. 이는 모델이 단순히 표면적으로 그럴듯한 답변을 생성하는 것을 넘어, 부분적으로 정답에 부합하는 시험 관련 추론을 생성할 수 있음을 시사한다.
• 공개 vs 폐쇄형 데이터: (비공개 데이터를 사용하지 않고 학습된) Open-SteuerLLM은 23% ± 3를 달성하였으며, 이는 전체 SteuerLLM에 비해 약 5 퍼센트 포인트 감소한 수치이다. 이 차이는 집계된 벤치마크 수준에서는 통계적으로 유의미하지 않았으나, 더 작고 특화된 카테고리에서는 성능 격차가 더 뚜렷하게 나타났다.

의의 및 주장
본 논문은 대학 세법 시험과 같은 실제적인 학술적 평가가 딥러닝 시스템의 일반화 및 전문화를 평가하기 위한 고충실도 벤치마크 역할을 한다고 주장한다. 본 연구는 구조화된 추론, 법령 정밀도, 그리고 점진적인 부분 점수를 통해 평가를 실행함으로써, 구조화된 법률 추론 작업에는 도메인 특화 데이터와 아키텍처 적응이 파라미터 규모 자체보다 더 결정적임을 입증한다.

저자들은 SteuerEx가 구조화된 추론, 법령 정밀도 및 단계적 부분 점수를 통해 평가를 체계화함으로써 법률 AI 연구를 위한 엄격한 프레임워크를 제공한다고 강조한다. 이러한 접근 방식은 기존의 법률 NLP 벤치마크에서 가려지기 쉬운 능력 차이를 드러낸다. 나아가, 본 연구는 도메인 적응이 상당한 이점을 제공함에도 불구하고, 특히 매우 전문적이거나 절차적으로 복잡한 영역에서는 현재의 LLM과 인간 전문가 사이에 여전히 큰 격차가 존재함을 보여준다. 벤치마크, 학습 데이터 및 모델 가중치의 공개는 도메인 특화 법률 인공지능에 대한 재현 가능한 연구를 지원하는 것을 목표로 한다.