TaxPraBen: A Scalable Benchmark for Structured Evaluation of LLMs in Chinese Real-World Tax Practice

TaxPraBen: 중국 실세계 세무 실무에 대한 LLM 평가용 확장 가능한 벤치마크

이 논문은 대규모 언어 모델 (LLM) 이 일반 도메인에서는 뛰어난 성능을 보이지만, 복잡하고 법적으로 규제된 중국의 세무 도메인에서는 심각한 성능 격차를 보인다는 문제를 제기합니다. 기존 벤치마크들은 대부분 분리된 NLP 작업 (텍스트 분류, 생성 등) 에 집중하여 실제 세무 업무에서 요구되는 구조화된 출력과 수치적 추론 능력을 제대로 평가하지 못했습니다. 이를 해결하기 위해 저자들은 TaxPraBen을 소개하며, 이는 중국 세무 실무를 평가하기 위해 고안된 최초의 전용 벤치마크입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 전문성 부족: 일반 LLM 은 복잡한 세법 해석, 정밀한 수치 계산, 그리고 실제 상황에 맞는 준수성 평가가 필요한 세무 분야에서 깊은 의미 이해와 복잡한 추론 능력이 부족합니다.
• 기존 벤치마크의 한계: 기존 도메인 특화 벤치마크 (FinBen, MedBench 등) 나 TaxBen조차도 단순한 NLP 작업에 치중하여, 실제 세무 업무에서 필수적인 '의미론적 추론'과 '수치적 계산'의 통합 능력을 평가하지 못합니다. 이로 인해 모델의 실제 실용 능력이 과대평가되는 경향이 있습니다.

2. 방법론 (Methodology)

A. 데이터 구축 (Data Construction)

• 데이터 소스: 14 개의 데이터셋에서 총 7,300 개의 인스턴스를 수집했습니다. 이는 공인 세무사 시험 교재, 국가 세무총국 (STA) 의 공식 문서, 온라인 세무 뉴스, 세무 리스크 관리 보고서, 그리고 실제 세무 사례 등을 포함합니다.
• 수집 방식: 공개된 데이터셋을 단순히 재사용하는 것이 아니라, 전문가의 지도 하에 ChatGPT 를 보조 도구로 활용하여 데이터를 추출하고, **전문가에 의한 수동 검증 (Manual Verification)**을 거쳐 고품질의 데이터셋을 구축했습니다.
• 작업 분류 (Bloom's Taxonomy 기반): 인지 능력을 3 단계로 분류하여 평가합니다.
  1. 지식 암기 (Knowledge Memorization, KM): 세법 조항의 정확한 암기 및 재생.
  2. 지식 이해 (Knowledge Understanding, KU): 세무 자료의 핵심 정보 파악 및 정책 의미 이해.
  3. 지식 적용 (Knowledge Application, KA): 실제 세무 문제 해결을 위한 규정 적용, 계산, 전략 수립.

B. 구조화된 평가 체계 (Structured Evaluation Paradigm)

• 통합 출력 프로토콜: 실제 세무 시나리오 (세무 리스크 예방, 세무 검사 분석, 세무 전략 계획 등) 에 맞춰 LLM 이 JSON 형식의 구조화된 출력을 하도록 유도합니다.
• 자동화 파싱: LLM 이 생성한 자유형 텍스트를 ChatGPT 를 활용하여 구조화하고, 불필요한 텍스트를 제거하여 필드를 추출합니다.
• 이중 평가 지표:
  • 의미론적 평가: BERTScore, BARTScore 를 사용하여 텍스트 설명의 품질과 유사성을 평가합니다.
  • 수치적 평가: Exact Match (EM) Accuracy 를 사용하여 세금 계산, 금액, 날짜 등 핵심 수치 데이터의 정확성을 평가합니다.
  • 종합 점수: 두 가지 지표를 가중 평균하여 모델의 종합적인 실용 능력을 측정합니다.

3. 주요 기여 (Key Contributions)

1. TaxPraBen 도입: 중국 세무 실무를 평가하는 최초의 벤치마크로, 리스크 예방, 검사 분석, 전략 계획 등 3 가지 혁신적인 실세계 시나리오를 포함합니다.
2. 고품질 데이터셋 구축: 도메인 전문가와 협력하여 ChatGPT 보조 및 수동 검증을 통해 희소했던 고품질 세무 데이터셋을 채웠습니다.
3. 세무 작업 분류체계 확립: Bloom 의 인지 분류학을 기반으로 암기, 이해, 적용 3 단계로 작업을 체계화했습니다.
4. 구조화된 평가 방법론 제안: 텍스트 생성뿐만 아니라 수치 정확성을 동시에 평가하는 확장 가능한 방법론을 제시하여, 법률, 금융, 의료 등 다른 전문 분야에도 적용 가능합니다.

4. 실험 결과 (Results)

19 개의 다양한 LLM 을 TaxPraBen 에서 평가한 결과는 다음과 같습니다.

• 성능 격차: 폐쇄형 대형 파라미터 모델 (ERNIE-3.5, GPT-4o, Grok3, ChatGPT) 이 전반적으로 가장 우수한 성능을 보였습니다. 특히 ERNIE-3.5 는 도메인 지식 통합으로 인해 세무 작업에서 탁월한 성과를 거두었습니다.
• 언어 배경의 중요성: 중국어에 특화된 오픈소스 모델 (Qwen2.5, DeepSeek 등) 이 다국어 모델보다 중국어 세무 용어 및 정책 이해도에서 더 나은 성능을 보였습니다.
• 도메인 파인튜닝의 한계: 세무 데이터로 파인튜닝된 YaYi2 모델은 일반 모델 대비 성능 향상이 미미하거나 오히려 저조했습니다. 이는 데이터의 양과 다양성 부족, 그리고 평가 작업과의 불일치 때문으로 분석됩니다.
• 작업별 난이도: 지식 암기 (KM) 보다 **지식 적용 (KA)**이 훨씬 더 어려웠으며, 특히 **수치적 추론 (TaxCalc, TaxPlan)**은 모든 모델에게 큰 도전 과제로 남았습니다. 대부분의 모델이 복잡한 세금 계산과 논리적 추론에서 실패했습니다.
• Few-shot 학습의 양면성: 일부 모델은 One-shot 설정에서 성능이 향상되었으나, 다른 모델들은 예시에 과도하게 의존하거나 프롬프트 길이가 길어지면서 성능이 저하되기도 했습니다.

5. 의의 및 결론 (Significance)

TaxPraBen 은 LLM 이 실제 세무 업무에서 얼마나 유용한지를 평가할 수 있는 중요한 자원을 제공합니다. 단순한 언어 이해 능력을 넘어, 법적 해석, 정밀한 계산, 그리고 위험 관리를 포함한 종합적인 실용 능력을 평가함으로써, 향후 중국 세무 분야를 위한 AI 시스템 개발과 LLM 연구에 필수적인 기준을 제시합니다. 또한, 제안된 구조화된 평가 프레임워크는 법률, 금융, 의료 등 수치와 텍스트가 혼합된 전문 분야 전반에 확장 적용될 수 있는 잠재력을 가집니다.