FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

1. El Problema

La interpretación precisa de datos numéricos en informes financieros es crítica para reguladores y mercados. Aunque el lenguaje XBRL (eXtensible Business Reporting Language) estandariza el etiquetado de cifras financieras, el proceso manual de mapear miles de hechos a más de 17,000 conceptos de la US-GAAP (Principios de Contabilidad Generalmente Aceptados de EE. UU.) es costoso y propenso a errores.

Los desafíos principales identificados en el estado del arte son:

• Simplificación excesiva: Los benchmarks existentes (como FiNER o FNXL) reducen la tarea a una clasificación de extremo a extremo sobre subconjuntos truncados de conceptos, ignorando la semántica jerárquica de la taxonomía.
• Falta de estructura: La mayoría de los benchmarks omiten las tablas, que son el portador principal de la información numérica en los informes reales, evaluando solo texto plano.
• Limitaciones de los LLMs: Los modelos de lenguaje grandes (LLMs) actuales no han sido evaluados adecuadamente bajo condiciones realistas de etiquetado completo (todo el espectro de la taxonomía), y los enfoques de clasificación cerrada suelen fallar o generar etiquetas inválidas (alucinaciones) cuando la taxonomía es demasiado grande para el contexto.

2. Metodología: FinTagging

Los autores introducen FinTagging, el primer benchmark integral diseñado para evaluar la capacidad de los LLMs en el etiquetado XBRL completo, considerando tanto texto como tablas.

Formulación del Problema (Enfoque de Dos Etapas)

En lugar de tratar el etiquetado como una clasificación plana, FinTagging lo reformula como un proceso de "Extraer y Alinear" en dos subtasas:

1. FinNI (Financial Numeric Identification):

   • Objetivo: Identificar entidades numéricas en documentos heterogéneos (texto y tablas) y clasificarlas en uno de los 5 tipos de datos XBRL predefinidos (monetaryItemType, percentItemType, sharesItemType, perShareItemType, integerItemType).
   • Entrada: Fragmentos de texto o estructuras de tablas.
   • Salida: Tripletes {Hecho, Tipo}.

2. FinCL (Financial Concept Linking):

   • Objetivo: Vincular cada entidad numérica identificada con el concepto más específico de la taxonomía completa de US-GAAP (17,688 conceptos).
   • Mecanismo: Se formula como una tarea de recuperación y reordenamiento (retrieval-reranking). Primero, se recuperan los candidatos top-N (ej. top-200) basados en similitud semántica con las definiciones de la taxonomía. Luego, el LLM reordena estos candidatos utilizando el contexto estructural y narrativo para seleccionar la etiqueta final.

Recolección y Construcción de Datos

• Fuente: 142 informes anuales 10-K de la SEC (2023-2024) de empresas de EE. UU. y otros países, cubriendo 11 sectores industriales.
• Procesamiento: Se extrajeron 319,893 oraciones narrativas y 21,576 tablas financieras del formato iXBRL.
• Anotación: Se desarrolló un pipeline automatizado basado en reglas para reconstruir los enlaces semánticos entre los datos legibles y los metadatos XBRL.
• Control de Calidad: Se creó un conjunto de auditoría estratégica (muestreo greedy) de 928 oraciones y 1,021 tablas, verificado por analistas expertos, logrando un acuerdo de Cohen's $\kappa$ de 0.81.
• Datasets: Se liberaron dos conjuntos de evaluación: FinNI-eval (identificación de entidades) y FinCL-eval (enlazado de conceptos).

3. Contribuciones Clave

1. Nuevo Paradigma: La primera formulación de benchmark de "Extraer y Alinear" para XBRL que permite la evaluación de todo el espectro de la taxonomía US-GAAP (17k+ conceptos), superando las limitaciones de la clasificación de extremo a extremo.
2. Recursos de Alta Fidelidad: Liberación de dos conjuntos de datos verificados por expertos que incluyen estructuras tabulares complejas, permitiendo evaluar el razonamiento conjunto sobre modalidades estructuradas y no estructuradas.
3. Insights Diagnósticos: Identificación de una brecha crítica entre la extracción numérica y la alineación semántica, demostrando que los LLMs necesitan un marco de alineación para evitar el colapso del rendimiento en mapeos de taxonomía a gran escala.

4. Resultados Experimentales

Se evaluaron 13 LLMs de vanguardia (incluyendo GPT-4o, DeepSeek-V3, Llama-3/4, Qwen3, y modelos específicos de dominio como Fino1) en configuración zero-shot.

• Rendimiento General: Los LLMs grandes (como DeepSeek-V3 y GPT-4o) superaron a los modelos preentrenados tradicionales (BERT, FinBERT) y a los modelos de dominio más pequeños, mostrando una mejor generalización a conceptos de "cola larga" (raros).
• Subtarea FinNI (Extracción): Los modelos grandes lograron un buen rendimiento en la extracción de entidades y tipos (ej. DeepSeek-V3 alcanzó un F1 de ~0.69). Sin embargo, algunos modelos mostraron alta precisión pero muy bajo recall (extraen pocos hechos).
• Subtarea FinCL (Alineación): Esta es la tarea más difícil. Incluso los mejores modelos alcanzaron una precisión inferior al 19% en la selección final de la etiqueta.
  • Brecha de Extracción-Alineación: Aunque los modelos pueden extraer hechos numéricos con razonable precisión, la desambiguación fina de conceptos US-GAAP sigue siendo intrínsecamente difícil, especialmente para entidades originadas en tablas.
  • Impacto del Pipeline: La evaluación de extremo a extremo mostró un rendimiento significativamente menor que la evaluación de la sub-tarea FinCL con entidades "doradas" (perfectas), lo que indica que los errores de extracción se propagan y degradan el resultado final.
• Comparación con Clasificación Extrema: Cuando se forzó a los modelos a realizar una clasificación directa sobre toda la taxonomía (sin el paso de recuperación), el rendimiento colapsó a cero, validando la necesidad del enfoque de dos etapas.

5. Significado e Impacto

• Validación de Enfoques Híbridos: El trabajo demuestra que para tareas de estructuración financiera compleja, los enfoques puramente generativos o de clasificación directa son insuficientes. La combinación de recuperación semántica (para reducir el espacio de búsqueda) y razonamiento contextual (para la alineación fina) es esencial.
• Importancia de la Estructura: Se destaca que ignorar las tablas en los benchmarks financieros lleva a una evaluación incompleta, ya que la estructura tabular es vital para el contexto numérico.
• Futuro de la Regulación: FinTagging proporciona una base sólida para desarrollar herramientas automatizadas más fiables para el cumplimiento regulatorio (XBRL), reduciendo la carga manual y los errores en la presentación de informes financieros.
• Recurso Abierto: El código y los datos están disponibles públicamente, fomentando la investigación futura en razonamiento numérico financiero y alineación de taxonomías.

En resumen, FinTagging establece un nuevo estándar para evaluar la inteligencia artificial en finanzas, revelando que, si bien los LLMs son potentes extractores de información, aún requieren mejoras significativas en el razonamiento estructural y la alineación semántica precisa con estándares contables complejos.