Grounded Event Extraction from SEC 8-K Filings with a Fine-Grained Taxonomy

Resumo Técnico: Extração de Eventos com Fundamentação de Arquivos 8-K da SEC com uma Taxonomia de Grão Fino

Problema
Os formulários 8-K são o principal mecanismo para empresas públicas dos EUA divulgarem eventos corporativos relevantes. No entanto, os rótulos legíveis por máquina padrão para esses arquivos — 32 códigos de itens da SEC — são economicamente grosseiros. Um único código de item frequentemente aglutina eventos econômicos distintos (por exemplo, o Item 5.02 abrange tanto a saída de um Diretor Executivo quanto a aposentadoria rotineira de um diretor externo), enquanto muitas divulgações de alto impacto (como resultados de ensaios clínicos ou conclusões de fusões) caem no item "coringa" e pouco informativo Item 8.01 ("Outros Eventos"). Embora os Grandes Modelos de Linguagem (LLMs) ofereçam o potencial de atribuir rótulos de grão fino, motivados economicamente, em escala de corpus, o prompting genérico falha em atender a dois requisitos críticos para pesquisa e aplicação: restrição (as saídas devem mapear para um vocabulário fixo e confiável) e auditabilidade (cada rótulo deve ser rastreável ao texto de origem e avaliado quanto à confiabilidade sem a necessidade de reexecutar o modelo).

Metodologia
Os autores apresentam um sistema de extração de dois estágios projetado para etiquetar arquivos 8-K contra uma taxonomia de três níveis de 119 tipos de eventos (8 primários, 29 secundários, 119 terciários). O sistema prioriza a confiabilidade estrutural sobre a escala do modelo, utilizando um modelo de linguagem compacto e ajustado por instrução (instruction-tuned).

1. Construção da Taxonomia: A taxonomia é organizada por tipo de evento econômico em vez de número de item da SEC. Inclui definições específicas para cada tipo terciário (por exemplo, distinguindo a saída de um CEO da saída de um CFO, ou um acordo de fusão da conclusão de uma fusão).
2. Estágio 1: Extração com Restrição:
   • Validação de Esquema: O modelo é orientado pelo esquema completo da taxonomia. A saída é verificada contra um esquema estrito; qualquer tag que não corresponda exatamente a uma entrada da taxonomia é rejeitada, disparando uma tentativa de autocorreção (até três vezes).
   • Fundamentação por Citação Verbatim: Toda tag extraída deve citar uma citação de suporte do arquivo. Um validador verifica esta citação usando correspondência de n-gramas difusa (sequências de 4 palavras). A citação é aceita apenas se pelo menos 40% de suas corridas de 4 palavras sobrepostas aparecerem verbatim no texto do arquivo. Isso evita que o modelo fabrique evidências.
3. Estágio 2: Pontuação Dedicada (Re-graduação):
   • Ao contrário das abordagens padrão onde o modelo de extração avalia sua própria saída de forma integrada (inline), este sistema emprega um modelo "avaliador" separado.
   • O avaliador recebe apenas a citação citada e a definição da categoria (não o arquivo completo). Ele atribui uma pontuação de qualidade de 1 a 5 baseada em quão bem a citação sozinha estabelece o evento e se ajusta à categoria.
   • Esta passagem dedicada transforma a pontuação em um controle de confiabilidade calibrado, evitando a autoconfiança observada quando modelos realizam a autoavaliação durante a geração.

Principais Contribuições

1. Receita de Extração Verificável: Um sistema onde a confiabilidade é imposta através de restrições de esquema e fundamentação por citação verbatim, em vez de depender do julgamento interno do modelo.
2. Pontuação de Qualidade Calibrada: A demonstração de que uma segunda passagem dedicada para pontuação é essencial. Os autores mostram que a pontuação inline satura (colocando ~75% das tags no topo da pontuação), enquanto a re-graduação de segundo estágio distribui as tags por toda a faixa de 1 a 5, criando um filtro utilizável.
3. Validação Econômica da Grosseria: Um estudo de eventos provando que os códigos de itens da SEC são economicamente grosseiros e que as tags da taxonomia de grão fino capturam informações que os códigos de itens não capturam, sem utilizar modelos de linguagem para a análise de mercado em si.
4. Lançamento de Dataset: O lançamento de 601.088 tags de eventos fundamentadas e com pontuação de qualidade através de 292.984 arquivos (2022–2026).

Resultos

• Avaliação Intrínseca (LLM-as-Judge): Usando um LLM mais forte (Opus 4.8) para julgar 5.125 tags estratificadas, o estudo descobriu que a precisão aumenta monotonicamente com a pontuação de qualidade.
  • Pontuação 1: 12,3% de precisão, 8,0% de taxa não suportada (alucinada).
  • Pontuação 5: 96,4% de precisão, 0,0% de taxa não suportada.
  • Filtrar para pontuações 4 e acima retém 55% das tags com 92,7% de precisão e uma taxa não suportada de 0,1%.
• Estudo de Ablação: O efeito de "controle" (dial) é perdido se a pontuação for feita de forma inline. A pontuação inline comporta-se como uma flag binária, retendo 73% das tags com apenas 87,5% de precisão, sendo incapaz de atingir os níveis de precisão mais elevados alcançáveis pelo método de dois estágios.
• Avaliação Econômica (Estudo de Eventos): Analisando 182.174 eventos de arquivos usando retornos anormais não assinados e padronizados por variância (SAR):
  • Grosseria do Código de Item: Dentro do Item 5.02, as saídas de CEO mostram reações de mercado significativamente maiores (17,2% dos arquivos movem >2 desvios padrão) comparadas a nomeações rotineiras de executivos (9,7%).
  • Valor da Taxonomia: As tags mais reativas (ex: resultados de ensaios clínicos, conclusões de fusões) são predominantemente registradas sob o Item 8.01.
  • Explicação de Variância: Adicionar as tags da taxonomia aos códigos de itens aumenta a variância explicada na magnitude da reação em 1,30 ponto percentual, enquanto adicionar os códigos de itens às tags aumenta-a em apenas 0,41 pontos.
  • Robustez: Filtrar para tags de alta confiança (pontuação ≥4) não altera os rankings econômicos, confirmando que a pontuação filtra efetivamente o ruído sem descartar sinais economicamente significativos.
• Validade Descritiva: O corpus etiquetado rastreia com sucesso mudanças regulatórias (ex: a regra de cibersegurança de 2023, onde ~2/3 dos incidentes etiquetados ainda apareciam sob o Item 8.01 em vez do novo Item 1.05), tendências macroeconômicas (tags de dificuldade financeira subindo com as taxas de juros) e coerência transversal (tags de ensaios clínicos concentradas em farmacêuticas/biotecnologia).

Significância e Alegações
O artigo afirma fornecer um método para extrair eventos financeiros de grão fino que seja ao mesmo tempo escalável e auditável. Sua principal significância reside em provar que:

1. A confiabilidade requer restrições estruturais: A fundamentação por citação verbatim e a validação de esquema são necessárias para evitar alucinações e garantir que as saídas mapeiem para um vocabulário fixo.
2. A pontuação requer separação: Uma passagem de re-graduação dedicada é metodologicamente superior à pontuação inline para produzir uma métrica de confiabilidade calibrada e ajustável.
3. Os códigos de itens são insuficientes: Os códigos de itens da SEC falham em capturar eventos economicamente distintos, particularmente os eventos na categoria "Outros Eventos". As tags de grão fino derivadas via este sistema fornecem poder explicativo adicional significativo para as reações do mercado.
4. Validação Externa: As pontuações de qualidade do sistema correlacionam-se com a realidade econômica; pontuações baixas correspondem a rótulos de baixa precisão e não impulsionam reações de mercado, enquanto tags de alta pontuação isolam sinais econômicos distintos.

Os autores concluem que, embora a fundamentação por citação evite evidências fabricadas, ela não pode impedir totalmente a inferência fabricada (embora este resíduo seja pequeno em pontuações de alta confiança). A metodologia é apresentada como transferível para outras divulgações financeiras e tarefas de processamento de documentos.