XBRLTagRec: Domain-Specific Fine-Tuning and Zero-Shot Re-Ranking with LLMs for Extreme Financial Numeral Labeling

1. O Problema

As empresas de capital aberto são obrigadas a divulgar informações financeiras padronizadas sob regulamentações como o GAAP (Princípios Contábeis Geralmente Aceitos) e a SEC (Comissão de Valores Mobiliários dos EUA). O XBRL (Extensible Business Reporting Language) é o padrão utilizado para tornar esses dados legíveis por máquinas. No entanto, a atribuição precisa de "tags" (etiquetas) conceituais do XBRL a números específicos em textos financeiros complexos permanece um desafio significativo.

Os principais obstáculos identificados são:

• Escala e Similaridade Semântica: As taxonomias do XBRL são vastas e contêm muitas etiquetas com definições semanticamente sobrepostas ou extremamente similares, dificultando a distinção automática.
• Limitações dos Métodos Atuais: Abordagens baseadas em NER (Reconhecimento de Entidades Nomeadas) ou classificação multi-rótulo extrema supervisionada falham em capturar a estrutura semântica completa das taxonomias e têm dificuldade em distinguir etiquetas altamente similares.
• Falta de Mecanismos de Reranking Robustos: Métodos generativos podem gerar candidatos, mas carecem de mecanismos eficientes para classificar e filtrar o resultado ideal entre muitas opções semelhantes.

2. Metodologia: O Framework XBRLTagRec

O artigo propõe o XBRLTagRec, um framework de ponta a ponta que combina geração, recuperação semântica e reclassificação (re-ranking) zero-shot. O sistema é composto por três módulos principais (ilustrados na Figura 2 do artigo):

A. Geração de Documentos de Etiqueta (Tag Document Generation)

• Modelo: Utiliza o FLAN-T5-Large ajustado com LoRA (Low-Rank Adaptation) para eficiência de parâmetros.
• Processo: Em vez de prever apenas o rótulo final, o modelo é instruído a gerar um documento de etiqueta semântico (uma descrição textual rica) baseado no texto financeiro, em um prompt de instrução e na pergunta sobre o numeral alvo.
• Vantagem: A geração de documentos completos fornece estrutura semântica mais rica do que apenas o nome da tag, facilitando a distinção entre conceitos similares.

B. Recuperação por Similaridade Semântica (Semantic Similarity Retrieval)

• Codificador: Utiliza o modelo Sentence-T5-XXL para criar vetores de incorporação (embeddings).
• Processo: O documento de etiqueta gerado e todos os documentos de etiqueta XBRL verdadeiros (ground-truth) são codificados. Calcula-se a similaridade de cosseno entre o documento gerado e o banco de dados de tags.
• Resultado: Seleciona-se o conjunto de Top-10 documentos de etiquetas XBRL mais relevantes para a próxima etapa.

C. Reclassificação Zero-Shot com LLM (LLM Zero-Shot Re-Ranking)

• Modelo: Utiliza o ChatGPT-3.5 (ou outros LLMs) como um "ranker" zero-shot.
• Estratégia Iterativa: Para mitigar vieses locais e explorar a diversidade semântica:
  1. Os Top-10 candidatos são divididos aleatoriamente em dois grupos (ou mantendo a ordem original, dependendo da estratégia).
  2. O LLM reclassifica os documentos de cada grupo com base na relevância para o documento gerado.
  3. O melhor candidato de cada grupo é selecionado e adicionado a um pool.
  4. Este processo é repetido por múltiplas iterações (ex: 1 a 13).
• Seleção Final: Aplica-se uma votação por frequência (most-frequent selection). O documento que aparece com maior frequência como o "Top-1" ao longo das iterações é escolhido como a previsão final.

3. Contribuições Principais

1. Framework End-to-End: Proposta de uma solução integrada que combina geração de documentos semânticos, recuperação vetorial e reclassificação iterativa por LLM, superando as limitações de métodos puramente classificatórios ou generativos diretos.
2. Mecanismo de Reclassificação Iterativa: Introdução de uma estratégia de filtragem e votação por frequência que utiliza a capacidade de raciocínio semântico do LLM para diferenciar etiquetas extremamente similares, melhorando a estabilidade e o alinhamento semântico.
3. Arquitetura Modular e Plugável: O design do framework permite a substituição flexível dos componentes (gerador, codificador, re-ranker), facilitando a integração de diferentes LLMs e estratégias de inferência sem reestruturar todo o sistema.

4. Resultados Experimentais

Os experimentos foram conduzidos no conjunto de dados FNXL (Financial Numeral Labeling Dataset), utilizando uma subamostra pública.

• Desempenho Geral: O XBRLTagRec superou todos os baselines de última geração, incluindo o FLAN-FinXC (o estado da arte anterior).
  • Melhoria no Hits@1: Aumento de 2,64% a 4,47% em comparação ao FLAN-FinXC (atingindo 0,8618 contra 0,8354).
  • Melhoria nas Métricas Macro: Aumento significativo em Macro-Precision, Macro-Recall e Macro-F1 (até 4,47% de melhoria no F1).
• Análise de Hiperparâmetros (RQ2):
  • Iterações: O desempenho atinge o pico entre 1 e 8 iterações; iterações excessivas (acima de 8) começam a degradar o F1 devido a informações redundantes.
  • Tamanho do Grupo: Um tamanho de grupo de 5 documentos (dividindo os 10 candidatos em dois grupos) mostrou o melhor equilíbrio entre desempenho e custo computacional.
  • Estratégia de Agrupamento: Manter a ordem original baseada na similaridade de cosseno (Order-Preserving) foi superior ao embaralhamento aleatório, indicando que a semântica inicial é crucial.
• Generalização (RQ3): O framework demonstrou robustez ao ser testado com diferentes LLMs no módulo de re-ranking (GPT-4, DeepSeek-V3, ERNIE-3.5, ChatGPT-3.5). Embora o GPT-4 tenha obtido os melhores resultados absolutos, o framework manteve desempenho estável e superior aos baselines mesmo com modelos menores, validando sua arquitetura modular.

5. Significado e Conclusão

O XBRLTagRec representa um avanço significativo na automação da anotação de dados financeiros. Ao tratar o problema não apenas como uma classificação, mas como um processo de geração semântica seguida de refinamento iterativo, o método resolve eficazmente a ambiguidade em sistemas de tags de grande escala.

A pesquisa demonstra que a combinação de modelos de linguagem ajustados (LoRA) para geração e modelos de linguagem grandes (LLMs) para raciocínio zero-shot em reclassificação é uma abordagem poderosa para tarefas de "extrema classificação" em domínios especializados. A solução oferece uma alternativa prática, robusta e escalável para a indústria financeira, reduzindo a dependência de anotação manual e melhorando a precisão na padronização de relatórios financeiros.

Limitações mencionadas: O custo computacional e de API das iterações com LLMs e a falta de investigação sobre o impacto de diferentes modelos de incorporação de rótulos são apontados como áreas para trabalho futuro.