TaxPraBen: A Scalable Benchmark for Structured Evaluation of LLMs in Chinese Real-World Tax Practice

1. Problema y Motivación

A pesar del éxito de los Modelos de Lenguaje Grande (LLMs) en dominios generales, existe una brecha significativa en su aplicación al dominio fiscal chino, el cual es altamente especializado, intensivo en conocimiento y estrictamente regulado.

• Limitaciones de los benchmarks existentes: Benchmarks generales (como MMLU) o específicos de dominio (como FinBen o TaxBen) se centran principalmente en tareas de NLP aisladas (clasificación, generación de texto, razonamiento semántico simple).
• Falta de evaluación práctica: Estos enfoques ignoran la necesidad de los escenarios reales de auditoría y fiscalidad, que requieren una combinación de razonamiento semántico (interpretación de leyes) y razonamiento numérico (cálculos de impuestos, planificación estratégica).
• Inflación de resultados: Las métricas actuales a menudo sobreestiman las capacidades de los LLMs, ya que un modelo puede tener buen rendimiento en preguntas de opción múltiple pero fallar estrepitosamente al aplicar la ley en un caso práctico complejo que requiere cálculos precisos.

2. Metodología y Diseño de TaxPraBen

El equipo propone TaxPraBen, el primer benchmark dedicado específicamente a la práctica fiscal china, diseñado para evaluar capacidades prácticas de extremo a extremo.

A. Construcción del Dataset

• Escala: Compuesto por 14 conjuntos de datos con un total de 7.300 instancias.
• Fuentes de datos: Los datos no se extraen de repositorios públicos genéricos, sino que se recopilan manualmente de libros de texto de exámenes de agentes fiscales, documentos oficiales de la Administración Estatal de Impuestos, noticias fiscales y casos reales de auditoría.
• Proceso de anotación: Utiliza un enfoque híbrido donde ChatGPT asiste en la extracción y compresión de texto, seguido de una verificación manual rigurosa por expertos en impuestos y estudiantes de posgrado para garantizar la precisión factual y evitar alucinaciones.

B. Taxonomía de Tareas (Basada en la Taxonomía de Bloom)

Las tareas se dividen en tres niveles cognitivos para evaluar la profundidad del conocimiento:

1. Memorización de Conocimiento (KM): Recuperación exacta de leyes y regulaciones (ej. TaxRecite).
2. Comprensión del Conocimiento (KU): Comprensión de implicaciones políticas y resumen de noticias (ej. TaxSum, TaxRead).
3. Aplicación del Conocimiento (KA): La categoría más crítica, que incluye 10 tareas de escenarios reales:
   • Tareas tradicionales: Cálculo de impuestos (TaxCalc), preguntas de opción múltiple (TaxSCQ, TaxMCQ), Q&A (TaxQA).
   • Escenarios pioneros del mundo real: Prevención de riesgos fiscales (TaxRisk), análisis de inspecciones fiscales (TaxInspect) y planificación de estrategias fiscales (TaxPlan).

C. Paradigma de Evaluación Estructurada

Para abordar la dificultad de evaluar salidas que mezclan texto y números, TaxPraBen introduce un protocolo de salida unificado:

• Formato JSON: Se obliga a los modelos a generar respuestas estructuradas en JSON.
• Análisis de Campos: Se utiliza un modelo LLM (ChatGPT-3.5) como "parser" para normalizar las salidas desordenadas de los modelos de código abierto, extrayendo campos clave.
• Métricas Híbridas:
  • Para texto: BERTScore y BARTScore (similitud semántica).
  • Para números: Exact Match (EM) Accuracy (precisión numérica).
  • Puntuación Compuesta: Se promedian las métricas semánticas y numéricas (ej. PlanScore para planificación fiscal) para obtener una evaluación holística.

3. Resultados Clave

Se evaluaron 19 LLMs representativos (incluyendo modelos multilingües, modelos chinos y un modelo específico de impuestos) en configuraciones zero-shot y one-shot.

• Rendimiento General: Los modelos de código cerrado con grandes parámetros (como ERNIE-3.5, GPT-4o, Grok3) dominan el benchmark, destacando la importancia del tamaño del modelo y el conocimiento de dominio.
• Ventaja de los Modelos Chinos: Los LLMs orientados al chino (como Qwen2.5, GLM4) superan consistentemente a los modelos multilingües en tareas que requieren terminología regulatoria y contexto cultural chino.
• Debilidad en la Aplicación (KA): La aplicación práctica del conocimiento es significativamente más difícil que la memorización o la comprensión. Incluso los mejores modelos luchan con cálculos complejos y razonamiento lógico en escenarios fiscales.
• Fallo del Ajuste Fino Específico: El modelo YaYi2, que fue ajustado finamente con datos fiscales, no mostró una mejora significativa en comparación con modelos generales. Esto sugiere que la falta de diversidad en los datos de entrenamiento o la desalineación entre las tareas de ajuste y las de evaluación limita la eficacia del fine-tuning en este dominio.
• Limitaciones del One-Shot: Aunque algunos modelos mejoran con ejemplos, otros (como GLM4) ven un descenso en el rendimiento, indicando que los ejemplos pueden causar sobreajuste o interferir con la memoria intrínseca del modelo.

4. Contribuciones Principales

1. Primer Benchmark de Práctica Fiscal China: TaxPraBen es el primer recurso que integra escenarios reales (prevención de riesgos, inspección, planificación) más allá de tareas de NLP aisladas.
2. Datos de Alta Calidad: Llena el vacío de datos fiscales anotados manualmente y verificados por expertos, superando la dependencia de datos públicos o generados puramente por IA.
3. Marco de Evaluación Escalable: Propone un paradigma de evaluación estructurado ("análisis de campos alineados") que combina precisión semántica y numérica, aplicable no solo a impuestos, sino también a derecho, finanzas y medicina.
4. Análisis Exhaustivo: Proporciona una evaluación detallada de 19 modelos, revelando brechas críticas en las capacidades de razonamiento numérico y lógico de los LLMs actuales en contextos regulatorios.

5. Significado e Impacto

TaxPraBen representa un cambio de paradigma en la evaluación de LLMs para dominios profesionales:

• De la Tarea a la Capacidad: Cambia el enfoque de evaluar si un modelo puede responder una pregunta aislada a evaluar si puede resolver un problema profesional completo.
• Herramienta para la IA Regulatoria: Sirve como recurso vital para desarrollar sistemas de IA confiables para la administración tributaria, la auditoría y la planificación financiera, asegurando que los modelos no solo "hablen" bien, sino que "calculen" y "razonen" correctamente.
• Escalabilidad: Su metodología de evaluación estructurada ofrece una hoja de ruta para crear benchmarks en otros campos de alto riesgo donde la precisión numérica y la interpretación legal son críticas.

En resumen, el artículo demuestra que, aunque los LLMs han avanzado, aún tienen una capacidad limitada para operar de manera autónoma y precisa en el complejo ecosistema fiscal chino, y TaxPraBen proporciona la métrica necesaria para medir y mejorar este progreso.