TaxPraBen: A Scalable Benchmark for Structured Evaluation of LLMs in Chinese Real-World Tax Practice

1. 研究背景与问题 (Problem)

尽管大语言模型（LLMs）在通用领域表现出色，但在中国税务这一高度专业化、知识密集且受法律严格监管的领域，仍存在显著差距。现有的评估基准存在以下主要问题：

• 任务孤立化：现有的税务基准（如 TaxBen）或通用基准（如 MMLU, FinBen）主要关注孤立的 NLP 任务（如文本分类、阅读理解），缺乏对真实世界税务实践中复杂能力的评估。
• 忽视结构化输出与数值推理：真实的税务工作（如风险防控、税务稽查、筹划）不仅需要语义理解，还需要精确的数值计算和结构化输出。现有基准往往过度强调语言理解，导致模型在单一任务上表现良好，但在需要综合语义推理和数值计算的复杂场景下能力被高估。
• 数据稀缺与质量：缺乏高质量、经过专家标注的中文税务数据集，且现有数据多来自公开来源，难以反映中国税务管理的真实复杂性。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 TaxPraBen，这是首个专门针对中国税务实践的大语言模型评估基准。

2.1 数据构建 (Data Construction)

• 数据来源：结合了 14 个数据集，共 7,300 个样本。数据来源包括：
  • 书籍数据：税务师考试指南、税务筹划案例书（通过 OCR 和文本还原提取）。
  • 官方文件：国家税务总局的政策、法规、公告（通过 Prompt 工程生成问答对）。
  • 在线数据：税屋网新闻、风险管控报告、裁判文书网案例、舆情监测数据等。
• 数据清洗与标注：采用“人工 + ChatGPT 辅助”的模式。所有数据均经过领域专家（税务师、法学教师等）的人工验证和修正，确保事实准确性和术语规范性。
• 任务分类：基于布鲁姆教育目标分类法 (Bloom's Taxonomy)，将任务分为三个认知层级：
  1. 知识记忆 (Knowledge Memorization, KM)：如法条背诵 (TaxRecite)。
  2. 知识理解 (Knowledge Understanding, KU)：如新闻摘要 (TaxSum)、主题分类 (TaxTopic)、阅读理解 (TaxRead)。
  3. 知识应用 (Knowledge Application, KA)：这是核心创新，包含 10 个真实场景任务，如税务计算 (TaxCalc)、单选/多选考试 (TaxSCQ/TaxMCQ)、税务问答 (TaxQA)、税务风险防控 (TaxRisk)、税务稽查分析 (TaxInspect) 和 税务筹划 (TaxPlan)。

2.2 结构化评估范式 (Structured Evaluation Paradigm)

针对税务场景对数值准确性和结构化格式的高要求，TaxPraBen 提出了一套可扩展的评估流程：

1. 统一输出协议：强制模型输出预定义的 JSON 格式（如提取风险点、罪名、处罚结果、筹划方案中的数值）。
2. 结构化解析：利用 ChatGPT-3.5 作为结构感知解析器 (Structure-aware Parser)，将模型生成的非结构化或格式错误的文本清洗并提取为标准的 JSON 字段。这解决了开源模型输出格式不稳定的问题。
3. 混合评估指标：
   • 语义匹配：使用 BERTScore/BARTScore 评估文本描述（如风险描述、筹划思路）的质量。
   • 数值精确匹配：使用 Exact Match (EM) Accuracy 评估关键数值（如税额、罚款金额）的准确性。
   • 综合得分：对于复杂任务（如 TaxPlan），结合语义和数值得分进行加权平均。

3. 关键贡献 (Key Contributions)

1. 首个中文税务实践基准：TaxPraBen 是首个涵盖真实世界场景（风险防控、稽查分析、策略规划）的中文税务基准，填补了该领域高质量数据的空白。
2. 创新的评估框架：提出了“结构化解析—字段对齐—数值/文本匹配”的评估范式，不仅适用于税务，还可扩展至法律、医疗、金融等需要“解释性文本 + 关键数值”混合输出的专业领域。
3. 基于布鲁姆分类法的任务体系：系统性地评估了 LLM 在记忆、理解和应用三个层面的能力，揭示了模型在不同认知深度上的表现差异。
4. 大规模模型评测：对 19 个主流 LLM（包括闭源大模型、中文优化模型、税务微调模型）进行了全面评估，并开源了排行榜。

4. 实验结果 (Results)

对 19 个 LLM 的评测揭示了以下关键发现：

• 闭源大模型表现最优：ERNIE-3.5、GPT-4o、Grok3 和 ChatGPT 在零样本 (Zero-shot) 和单样本 (One-shot) 设置下均表现最佳，证明了大规模参数和领域知识增强的重要性。
• 中文模型优势：在开源模型中，基于中文语料预训练的模型（如 Qwen2.5, DeepSeek, GLM4）普遍优于多语言模型，表明中文税务术语和政策理解需要语言特定的优化。
• 领域微调的局限性：专门针对税务数据微调的模型 YaYi2 表现并不理想，甚至不如部分通用小模型。这表明仅靠有限的税务数据微调不足以解决复杂的推理和计算问题，且存在数据覆盖不足或任务不匹配的问题。
• 应用任务最具挑战性：
  • 知识记忆 (KM)：闭源模型表现较好，但受限于训练数据的时效性。
  • 知识理解 (KU)：模型在阅读理解上表现尚可，但在复杂语义理解上仍有差距。
  • 知识应用 (KA)：这是所有模型的短板。特别是涉及多步数值推理和复杂税务筹划的任务（如 TaxCalc, TaxPlan），即使是顶尖模型准确率也极低。
• One-shot 的副作用：部分模型在引入示例 (One-shot) 后性能反而下降，可能是因为过度依赖示例格式而忽略了任务本身的逻辑，或者提示词长度超出了注意力机制的限制。

5. 意义与影响 (Significance)

• 推动税务 AI 落地：TaxPraBen 提供了一个可靠的评估工具，帮助识别 LLM 在真实税务场景中的能力边界，促进开发更可靠的税务辅助系统（如智能申报、风险预警）。
• 重新定义专业领域评估：该研究证明了单纯依靠 NLP 任务（如分类、生成）无法全面评估专业领域的模型能力。提出的结构化评估方法为法律、医疗、金融等高风险领域的 LLM 评估提供了新的范式。
• 开源生态建设：通过开源数据集、评估代码和在线排行榜，促进了学术界和工业界在中文税务大模型领域的协作与进步。

总结：TaxPraBen 不仅是一个数据集，更是一套针对中国税务实践的深度评估体系。它揭示了当前 LLM 在复杂数值推理和结构化输出方面的不足，并为未来构建具备真正“税务专家”能力的 AI 系统指明了方向。