FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

1. Problema e Contexto

A interpretação precisa de dados numéricos em relatórios financeiros é crucial para mercados e reguladores. O padrão XBRL (eXtensible Business Reporting Language) é utilizado globalmente para estruturar esses dados, exigindo que milhares de fatos financeiros sejam mapeados para mais de 17.000 conceitos da taxonomia US-GAAP (Princípios Contábeis Geralmente Aceitos nos EUA).

No entanto, o processo atual de tagging (etiquetagem) XBRL é:

• Manual e propenso a erros: Requer esforço humano intensivo.
• Complexo: Envolve raciocínio sobre evidências mistas (texto narrativo e tabelas estruturadas).
• Subavaliado por benchmarks existentes: As avaliações atuais simplificam excessivamente a tarefa, tratando-a como uma classificação plana em subconjuntos pequenos de conceitos, ignorando a hierarquia semântica da taxonomia e a estrutura dos documentos. Isso falha em avaliar a capacidade real dos Grandes Modelos de Linguagem (LLMs) em cenários de relatórios realistas.

2. Metodologia: O Benchmark FinTagging

Os autores introduzem o FinTagging, o primeiro benchmark abrangente e structure-aware (consciente da estrutura) para a tarefa de etiquetagem XBRL de escopo total.

Formulação da Tarefa

Em vez de tratar o tagging como uma classificação extrema de um único passo, o FinTagging reformula o problema em um processo de dois estágios ("Extract-and-Align"):

1. FinNI (Financial Numeric Identification):
   • Objetivo: Identificar valores numéricos em documentos financeiros (texto e tabelas) e classificar seu tipo de dado.
   • Saída: Extração de entidades numéricas e atribuição de um dos 5 tipos de dados: monetaryItemType, percentItemType, sharesItemType, perShareItemType, ou integerItemType.
2. FinCL (Financial Concept Linking):
   • Objetivo: Mapear cada entidade numérica extraída para o conceito correto na taxonomia completa US-GAAP.
   • Abordagem: Formulada como uma tarefa de recuperação e reclassificação (reranking). Primeiro, recupera-se os k candidatos mais próximos semanticamente da taxonomia; depois, o LLM usa raciocínio contextual para reclassificar e selecionar o tag final.

Construção do Dataset

• Fonte: 142 relatórios anuais 10-K de empresas listadas nos EUA (SEC), cobrindo 11 setores industriais.
• Processamento: Uso de um pipeline automatizado para extrair metadados iXBRL (Inline XBRL) e reconstruir links semânticos entre o texto/tabelas e a taxonomia.
• Controle de Qualidade: Um conjunto de auditoria estratégico foi criado usando um método de cobertura mínima gulosa para garantir diversidade de empresas e completude de conceitos. A validação humana (por analistas seniores e juniores) alcançou um acordo substancial (Cohen's $\kappa = 0.81$).
• Estatísticas: O dataset final contém ~261.000 instâncias (frases e tabelas) com 261.457 entidades numéricas ligadas a 3.953 conceitos únicos (dentro de uma taxonomia de 17.688 conceitos).

3. Principais Contribuições

1. Nova Formulação: O primeiro benchmark que reformula o tagging XBRL em um paradigma de duas etapas (Extração e Alinhamento), permitindo avaliação em todo o escopo de 17k+ conceitos, algo anteriormente intratável para LLMs zero-shot.
2. Recursos de Alta Fidelidade: Lançamento de dois conjuntos de dados verificados por especialistas (FinNI-eval e FinCL-eval) que incorporam estruturas tabulares complexas, avaliando o raciocínio conjunto sobre modalidades estruturadas e não estruturadas.
3. Insights Diagnósticos: Identificação de uma lacuna crítica entre extração e alinhamento, demonstrando que, embora os LLMs sejam bons em extrair números, eles lutam para alinhar esses fatos a conceitos específicos e granulares da US-GAAP sem um framework de alinhamento adequado.

4. Resultados Experimentais

O estudo avaliou 13 LLMs de ponta (incluindo GPT-4o, DeepSeek-V3, Llama-3/4, Qwen e modelos financeiros específicos como Fino1) em configurações zero-shot.

• Desempenho Geral:
  • Extração (FinNI): Os LLMs grandes (ex: DeepSeek-V3, GPT-4o) performaram bem, superando modelos pré-treinados tradicionais (PLMs) e modelos de domínio específico menores. O DeepSeek-V3 alcançou o melhor F1 (0.69) no FinNI.
  • Alinhamento (FinCL): A tarefa de ligação de conceitos mostrou-se significativamente mais difícil. Mesmo os melhores modelos tiveram precisão abaixo de 19% no cenário de reclassificação (com candidatos top-200).
• Comparação com Classificação Extrema:
  • Quando a tarefa foi formulada como classificação extrema direta (sem extração prévia), o desempenho de todos os modelos colapsou para zero, confirmando que a abordagem de dois estágios é essencial para viabilidade.
• Propagação de Erros:
  • A análise de erro mostrou que a precisão final do pipeline é limitada principalmente por erros na extração de entidades e na recuperação inicial de candidatos. Mesmo com entidades "douradas" (perfeitas), a precisão de alinhamento permanece baixa, indicando a dificuldade intrínseca da desambiguação semântica na US-GAAP.
• Modelos de Domínio vs. Gerais:
  • LLMs de propósito geral de grande porte superaram modelos financeiros especializados (como Fino1-8B) em extração numérica, sugerindo que o pré-treinamento em domínio não é suficiente para superar a capacidade de raciocínio de modelos maiores e mais instruídos.

5. Significado e Conclusão

O FinTagging estabelece um novo padrão para avaliar a capacidade de LLMs em tarefas financeiras estruturadas. Os resultados revelam que, embora os modelos atuais tenham avançado na extração de informações, ainda existe uma lacuna de conhecimento-alinhamento significativa para tarefas de regulamentação financeira de alta precisão.

O trabalho destaca que:

• A estrutura do documento (tabelas) é crítica e não pode ser ignorada.
• Abordagens de "extração seguida de alinhamento" são superiores à classificação direta para taxonomias grandes.
• Há uma necessidade urgente de desenvolver frameworks que melhorem o raciocínio estruturado e a desambiguação semântica para aplicações regulatórias reais.

O código e os dados estão disponíveis publicamente no GitHub e Hugging Face, incentivando pesquisas futuras em automação de relatórios financeiros e conformidade regulatória.