HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings

1. Problema e Motivação

O relatório financeiro corporativo, especialmente os arquivos de earnings (lucros) submetidos à SEC (Comissão de Valores Mobiliários dos EUA), é uma fonte crucial de dados para investidores e reguladores. Desde 2020, esses relatórios devem ser submetidos no formato iXBRL (inline eXtensible Business Reporting Language), que torna os dados legíveis por máquinas.

No entanto, o iXBRL apresenta desafios significativos para a Extração de Informação (IE) automatizada:

• Taxonomia Excessivamente Específica: O iXBRL possui até 198.000 rótulos únicos e altamente granulares. Muitas empresas criam tags específicas para si mesmas (ex: aapl:EquitySecurities...), dificultando a generalização entre empresas.
• Falta de Contexto Estruturado: Embora os dados estejam taggeados, a relação hierárquica entre as tags, períodos de tempo, moedas e valores numéricos muitas vezes não é explorada de forma unificada em conjuntos de dados existentes.
• Dificuldade de Generalização: Modelos treinados em conjuntos de dados anteriores (como FiNER-139) lidam com um conjunto de rótulos muito limitado (apenas 139 tags comuns), resultando em alta esparsidade (80% dos dados não taggeados) e incapacidade de lidar com a complexidade total dos relatórios financeiros.

2. Metodologia e Construção do Dataset

Os autores introduzem o HiFi-KPI, um novo recurso de grande escala projetado para superar essas limitações.

Coleta e Processamento de Dados

• Fonte: Coletaram 42.018 relatórios trimestrais (10-Q) e 14.389 anuais (10-K) entre 2017 e 2024.
• Processamento: Utilizaram BeautifulSoup e expressões regulares para extrair trechos de texto (parágrafos) associados a tags iXBRL, incluindo valores numéricos, moedas e períodos temporais.
• Limpeza: Realizaram uma verificação manual de qualidade em amostras aleatórias. Identificaram erros de "falso início" (início do texto incorreto) e inconsistências de data/moeda. Após filtragem, o dataset final contém 1,65 milhão de parágrafos e 4,5 milhões de entidades taggeadas.

Criação de Taxonomias Unificadas

Para resolver o problema da hiper-especificidade, os autores criaram duas taxonomias unificadas baseadas nas relações de pai-filho do iXBRL:

1. Taxonomia de Apresentação (.pre): Define a hierarquia visual e estrutural dos dados nos relatórios.
2. Taxonomia de Cálculo (.cal): Define as relações aritméticas entre os conceitos (ex: A + B = C).

• Algoritmo de Agregação Bottom-Up: Desenvolveram um algoritmo que mapeia iterativamente as tags "folha" (específicas) para seus pais imediatos. Isso permite aos pesquisadores selecionar o nível de granularidade desejado (ex: agrupar "Receita de Arrendamento" sob "Receitas"), reduzindo a esparsidade e melhorando a generalização.

HiFi-KPI-Lite

Para avaliação rápida e prototipagem, foi criado um subconjunto curado de 8.000 parágrafos.

• Mapeamento de Especialistas: Um especialista sênior em finanças mapeou tags iXBRL específicas para 4 conceitos financeiros gerais: Earnings (Lucros), EBIT, EPS (Lucro por Ação) e Revenues (Receitas).
• Contexto Rico: Cada entrada inclui não apenas o rótulo, mas também a data de início/fim do período, a moeda e o valor numérico.

3. Contribuições Principais

1. HiFi-KPI: O primeiro dataset de grande escala (1,65M de parágrafos) que utiliza o conjunto completo de rótulos iXBRL (198k tags) com contexto estruturado (tempo, moeda, valor), eliminando a esparsidade de datasets anteriores.
2. Taxonomias Unificadas e Método de Granularidade: Uma abordagem sistemática para unificar taxonomias de diferentes empresas e permitir a seleção de granularidade via agregação hierárquica, facilitando a transferência de aprendizado entre empresas.
3. Benchmarks Diversificados: Estabelecimento de baselines para três tarefas distintas:
   • Classificação de Texto.
   • Rotulagem de Sequência (Sequence Labeling).
   • Extração Estruturada com Grandes Modelos de Linguagem (LLMs).
4. HiFi-KPI-Lite: Um recurso de baixo custo computacional para avaliação rápida de modelos generativos e de extração de entidades.

4. Resultados e Análise

Os autores avaliaram modelos baseados em encoders (BERT, FLANG-BERT) e decoders (LLMs como Gemma, Qwen, Mistral, DeepSeek).

• Classificação de Texto:

  • Modelos baseados em embeddings (EmbeddingGemma) alcançaram >0,906 de Macro-F1 na tarefa de classificação.
  • A agregação bottom-up (redução de granularidade) melhorou consistentemente o desempenho, especialmente para tags menos frequentes. A taxonomia de Apresentação (.pre) mostrou-se mais eficaz que a de Cálculo (.cal) devido à sua profundidade hierárquica superior.

• Rotulagem de Sequência:

  • Modelos BERT e FLANG-BERT atingiram desempenho excepcional (Macro-F1 > 0,90) nas 1.000 tags mais frequentes.
  • A análise qualitativa mostrou que os modelos conseguem generalizar para tags mais abstratas quando a tag específica é muito rara, demonstrando robustez.

• Extração Estruturada com LLMs (HiFi-KPI-Lite):

  • O desempenho dos LLMs na extração completa de entidades (rótulo + data + moeda + valor) foi moderado, com F1 variando entre 0,35 e 0,44.
  • Principais Erros: Os modelos falharam frequentemente na normalização de valores e, crucialmente, na compreensão de períodos temporais (ex: confundir "três meses encerrados em 31 de março" com a data de início sendo igual à de fim).
  • DeepSeek-V3.1 mostrou a maior precisão (mais conservador), enquanto o Qwen3 teve maior recall (tendência a adivinhar rótulos).
  • Conclusão: Modelos encoders finamente ajustados superam os LLMs na classificação de rótulos, mas os LLMs mostram potencial para extração estruturada, embora ainda necessitem de melhorias na compreensão de contexto temporal e numérico.

5. Significado e Impacto

O HiFi-KPI representa um avanço significativo para o NLP financeiro:

• Viabilidade da Automação: Demonstra que é possível automatizar a extração de KPIs financeiros com alta precisão, cumprindo a promessa original do iXBRL de fornecer dados estruturados e analisáveis.
• Generalização Transversal: A abordagem de taxonomia unificada permite que modelos treinados em uma empresa sejam aplicados a outras, superando a barreira das tags proprietárias.
• Aplicações Práticas:
  • Investidores: Análise mais rápida e precisa de relatórios de lucros para retornos de curto prazo.
  • Conformidade Regulatória: Ferramentas mais eficientes para reguladores verificarem a precisão dos dados submetidos.
  • Pesquisa: Fornece um benchmark rigoroso para avaliar a capacidade de modelos de IA em tarefas de extração de informação complexas e hierárquicas.

O código e os dados estão disponíveis publicamente no repositório GitHub do projeto, incentivando a reprodutibilidade e o desenvolvimento futuro de métodos hierárquicos de classificação e extração.