Noise-Robust Financial Numerical Entity Attribute Tagging

Resumo Técnico: Rotulagem Robusta a Ruídos para Atributos Numéricos Ricos de Entidades Financeiras (NORA)

Definição do Problema
A compreensão de Entidades Numéricas Financeiras (FNE) envolve recuperar o significado semântico de menções numéricas em relatórios financeiros (por exemplo, 10-Ks e 10-Qs). Embora benchmarks existentes como FiNER-139 e FNXL tenham avançado o campo, eles sofrem de duas limitações críticas. Primeiro, eles dependem de rótulos derivados de arquivos XBRL inline (iXBRL), que são frequentemente preparados manualmente e inerentemente ruidosos, contendo erros como tags incompatíveis, elementos ausentes e sinais incorretos. Segundo, trabalhos anteriores reduzem amplamente a tarefa à previsão apenas do nome do conceito contábil (tag), negligenciando outros atributos cruciais necessários para a plena interpretabilidade: relações de tempo de relatório (por exemplo, instante versus duração, passado versus atual), escalas de medição e sinais contábeis. Essas lacunas resultam em modelos frágeis a ruídos de rótulos do mundo real e incapazes de capturar a riqueza semântica completa dos dados financeiros.

Metodologia
Os autores propõem NORA (Rotulagem Robusta a Ruídos para Atributos Numéricos Ricos de Entidades Financeiras), um framework projetado para modelar conjuntamente múltiplos atributos de FNE, mitigando o impacto de supervisão ruidosa.

1. Treinamento Robusto a Ruídos com Pesos Específicos por Instância:
   O NORA trata a compreensão de FNE como um problema de previsão multi-tarefa cobrindo quatro atributos: tag, relação de tempo, escala e sinal. Para lidar com rótulos ruidosos, o modelo emprega um mecanismo de ponderação específico por instância e consciente da tarefa.

   • O modelo estima um "portão de ruído" ($g_a$) para cada instância e cada tarefa $a$, utilizando uma camada densa compartilhada e uma camada sigmoide específica da tarefa aplicada à representação global [CLS].
   • Este portão, $g_a \in (0, 1)$, estima o nível de ruído da instância. Um valor próximo de 0 indica uma instância confiável, enquanto um valor próximo de 1 sugere ruído ou ambiguidade.
   • A função de perda é modulada por este portão: $\tilde{L}_a = (1 - g_a) \cdot L_a + \lambda_a \cdot g_a^2$. O primeiro termo reduz o peso da perda bruta para instâncias ruidosas, enquanto o segundo termo atua como um regularizador para impedir que o modelo ignore trivialmente todos os dados definindo $g_a \approx 1$.
   • Funções de perda específicas são adaptadas para cada tarefa: Entropia Cruzada Balanceada por Classe para tags (para lidar com distribuições de cauda longa), Entropia Cruzada padrão com pesos de classe para tempo e escala, e Focal Loss para sinal (para abordar o desequilíbrio severo de classes de sinais negativos).

2. Avaliação Robusta via Filtragem NPK:
   Reconhecendo que conjuntos de teste do mundo real também contêm ruído, os autores introduzem o método de filtragem KNN Ajustado por Priori de Vizinhança (NPK) para avaliação.

   • Este método baseia-se na suposição de consistência de vizinhança: rótulos corretos devem alinhar-se com a vizinhança semântica de uma instância.
   • Usando FAISS, o método recupera os $k$ vizinhos mais próximos para cada instância de teste no espaço de incorporação semântica.
   • Para corrigir o desequilíbrio de classes, uma pontuação de consistência ajustada por priori é calculada normalizando as contagens de vizinhos contra as prioridades globais de classe.
   • As instâncias são classificadas por esta pontuação de consistência, e o subconjunto com as maiores pontuações (por exemplo, os 90% superiores) é usado como um conjunto de avaliação com menor ruído para fornecer uma avaliação mais confiável do desempenho do modelo.

3. Construção do Conjunto de Dados:
   Os autores construíram o Conjunto de Dados NORA, um benchmark em grande escala compreendendo 6,6 milhões de instâncias narrativas alinhadas com fatos iXBRL de mais de 110.000 arquivos da SEC. Diferentemente de conjuntos de dados anteriores, ele inclui rótulos multi-atributo ricos (tag, tempo, escala, sinal) e metadados de documentos (empresa, período, ano fiscal) para suportar o aprendizado de relações temporais.

Principais Contribuições

• Formulação: O artigo formula a compreensão de FNE como uma tarefa conjunta de previsão multi-atributo, modelando explicitamente o nome do conceito, a relação de tempo de relatório, a escala de medição e o sinal contábil simultaneamente.
• Framework: Introduz o NORA, um framework de aprendizado robusto a ruídos que utiliza pesos específicos por instância aprendíveis para atenuar a influência de rótulos ruidosos durante o treinamento, superando baselines de estado da arte para rótulos ruidosos (Co-teaching, Mixup, SSR, SelfMix).
• Protocolo de Avaliação: Propõe o método de filtragem NPK, permitindo uma avaliação de modelo mais confiável em conjuntos de teste ruidosos do mundo real, identificando subconjuntos de alta confiança com base na consistência de vizinhança.
• Recurso: Disponibiliza o Conjunto de Dados NORA, um recurso significativamente maior e mais rico em atributos do que benchmarks existentes (FiNER-139, FNXL), projetado para fechar a lacuna entre benchmarks idealizados e ambientes realistas de relatórios financeiros.

Resultados
Experimentos conduzidos em conjuntos de teste não filtrados e filtrados por NPK demonstram a eficácia do NORA:

• Desempenho: O NORA alcança as melhores pontuações de Acurácia, Macro F1 e F1 Ponderado para as tarefas de previsão de Tag e Tempo. A melhoria é particularmente pronunciada na previsão de Tempo, onde o NORA supera a próxima melhor baseline em aproximadamente 19,8 pontos percentuais em Acurácia e 26,0 pontos percentuais em Macro F1 no conjunto não filtrado.
• Robustez: Embora o NORA seja altamente competitivo nas tarefas de Escala e Sinal (onde outros métodos como Mixup ou Co-teaching às vezes lideram ligeiramente), ele supera consistentemente as baselines nas tarefas semanticamente mais exigentes.
• Identificação de Ruído: A análise dos portões de ruído aprendidos ($g_a$) revela que instâncias com níveis de ruído estimados altos para as tarefas de Tag e Tempo exibem consistência de previsão significativamente menor. A inspeção manual por um Contador Público Certificado (CPA) confirmou que instâncias com portões altos frequentemente contêm erros de rótulo, validando a capacidade do modelo de identificar supervisão não confiável.

Significado
O artigo afirma que o NORA demonstra o valor de modelar conjuntamente atributos ricos de FNE, enquanto leva explicitamente em conta o ruído de rótulo inerente a arquivos financeiros do mundo real. Ao ir além da simples rotulagem de nomes de conceitos e abordar o problema do ruído por meio de ponderação específica por instância e protocolos de avaliação robustos, o NORA fornece uma abordagem mais confiável para aplicações financeiras downstream, como análise de risco, monitoramento de conformidade e análise de negócios. O trabalho destaca que ignorar o ruído de rótulo e a riqueza de atributos leva a modelos subótimos, enquanto uma abordagem multi-atributo consciente do ruído produz desempenho superior em ambientes realistas e ruidosos.