💬 NLP

Taxonomy-Aligned Risk Extraction from 10-K Filings with Autonomous Improvement Using LLMs

Este artigo apresenta um pipeline de três estágios baseado em LLM para extrair fatores de risco estruturados de relatórios 10-K que se alinha a uma taxonomia predefinida e conta com um agente autônomo para o refinamento contínuo da taxonomia, demonstrando tanto alta precisão de extração quanto a capacidade de capturar perfis de risco específicos da indústria economicamente significativos.

Autores originais: Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Publicado 2026-01-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive financeiro tentando entender por que milhares de empresas diferentes podem falhar. Você tem uma biblioteca enorme de relatórios anuais (chamados de "arquivos 10-K"), mas a seção "Fatores de Risco" em cada um deles é escrita em uma linguagem humana desordenada e única. Uma empresa pode dizer: "Nos preocupamos com o fortalecimento do dólar", enquanto outra diz: "Oscilações cambiais podem nos prejudicar". Elas significam a mesma coisa, mas um computador vê esses problemas como totalmente diferentes.

Se você apenas deixasse uma IA inteligente (um Modelo de Linguagem Grande, ou LLM) ler esses relatórios e listar os riscos, você obteria uma lista caótica de rótulos diferentes. É como pedir a cem pessoas para separar uma pilha de brinquedos misturados em caixas, mas cada uma usa seus próprios nomes para as caixas. Você acaba com "Rodas giratórias", "Coisas redondas" e "Peças de carro" em vez de uma categoria limpa de "Rodas".

Este artigo apresenta um sistema de três etapas para consertar essa bagunça e organizar os riscos em uma lista limpa e consistente, ao mesmo tempo em que ensina o sistema a melhorar por conta própria.

O Pipeline de Três Etapas

Pense neste processo como uma linha de controle de qualidade de alto nível em uma fábrica:

1. O Leitor Especialista (Extração)
Primeiro, uma IA lê o texto desordenado e extrai cada risco que encontrar. Crucialmente, ela não tenta forçar o risco em uma caixa ainda. Em vez disso, ela age como um advogado: ela encontra o risco e copia a frase exata do relatório que prova que o risco existe.

Analogia: Imagine um detetive anotando cada pista e a página exata onde a encontrou, sem se preocupar ainda com a qual "arquivo de caso" ela pertence.

2. O Combinador Semântico (Mapeamento)
Em seguida, o sistema usa um "mapa semântico" (um tipo de IA que entende o significado, não apenas palavras-chave) para comparar as pistas do detetive contra uma lista pré-definida de categorias de risco oficiais (uma Taxonomia). Esta lista possui 140 categorias específicas, como "Risco de Taxa de Juros" ou "Risco de Cibersegurança".

Analogia: O sistema olha para a pista e pergunta: "Isso soa mais como o arquivo 'Clima' ou o arquivo 'Jurídico'?". Ele usa matemática para encontrar a correspondência mais próxima.
O Problema: Às vezes, a matemática erra. Pode forçar uma pista para dentro de uma caixa apenas porque é a "menos pior" opção, mesmo que ela não pertença realmente ali.

3. O Juiz Rigoroso (Validação)
Esta é a etapa mais importante. Uma segunda IA atua como um "Juiz". Ela olha para a pista, para a caixa proposta e para a descrição oficial dessa caixa. Ela dá à correspondência uma pontuação de 1 a 5.

Analogia: Imagine um professor rigoroso corrigindo o dever de casa de um aluno. Se o aluno tentar colocar um problema de matemática na pasta de "História", o professor diz: "Não, isso é um 1/5. Isso não pertence aqui".
O Resultado: O sistema descarta quaisquer correspondências de baixa pontuação (os encaixes ruins) e mantém apenas as de alta qualidade. Isso garante que a lista final seja precisa.

O Recurso de "Autoaperfeiçoamento"

O artigo introduz um recurso novo e interessante: Melhoria Autônoma.

Normalmente, se uma categoria na lista for confusa, um humano precisa encontrar o erro e corrigi-lo. Aqui, o próprio sistema faz isso.

Como funciona: A IA "Juiz" mantém um registro de cada vez que deu uma pontuação baixa. Um agente automatizado (um robô assistente) analisa esses registros, encontra padrões e descobre por que o sistema está confuso.
A Correção: O agente reescreve a descrição da categoria confusa para torná-la mais clara.
Exemplo Real: O artigo testou isso em uma categoria chamada "Aprovação Farmacêutica". O sistema estava se confundindo entre as regras dos EUA (FDA) e as regras da Europa (EMA). O agente notou esse padrão, percebeu que a descrição era focada demais nos EUA e a reescreveu para incluir "agências internacionais".
O Resultado: Essa autocorreção fez com que a capacidade do sistema de distinguir entre correspondências corretas e incorretas melhorasse em 104,7%. O sistema literalmente ensinou a si mesmo a ser melhor em classificar.

Isso Realmente Funciona? (A Prova)

Para provar que seu sistema não está apenas inventando coisas, os autores o testaram em 500 grandes empresas dos EUA (o S&P 500). Eles fizeram uma pergunta simples: "Empresas do mesmo setor acabam tendo perfis de risco semelhantes?"

O Teste: Eles pegaram as listas de riscos limpas e as compararam. Eles não disseram ao computador quais empresas eram bancos ou quais eram fabricantes de remédios. Eles apenas deixaram o computador olhar para os riscos.
A Descoberta: O computador agrupou naturalmente os bancos juntos e as farmacêuticas juntas.
- Empresas do mesmo setor tiveram 63% mais perfis de risco semelhantes do que empresas de setores diferentes.
- Por exemplo, 83% dos bancos foram sinalizados para "Risco de Taxa de Juros", enquanto apenas 22% de todas as outras empresas foram. Enquanto isso, os bancos raramente apresentavam riscos sobre "Matérias-Primas", que é uma grande preocupação para fábricas.
A Conclusão: O sistema extraiu com sucesso verdades econômicas reais sobre essas empresas sem ser explicitamente informado sobre o setor em que atuavam.

Resumo

Este artigo descreve um método para transformar textos financeiros desestruturados e desordenados em uma lista limpa e organizada de riscos. Ele utiliza uma equipe de três etapas (Leitor, Combinador, Juiz) para garantir a precisão e inclui um robô de "autocorreção" que conserta seus próprios erros ao longo do tempo. O resultado é um sistema que pode entender automaticamente os perigos específicos que enfrentam diferentes tipos de negócios, tal como um especialista humano faria, mas com a velocidade de um computador.

Resumo Técnico: Extração de Riscos Alinhada à Taxonomia de Arquivos 10-K com Melhoria Autônoma Usando LLMs

Declaração do Problema

Os arquivos 10-K corporativos contêm uma seção de "Fatores de Risco" (Item 1A) que oferece insights críticos sobre as incertezas enfrentadas pelas empresas públicas. No entanto, a natureza não estruturada e a extensão substancial desses documentos tornam a análise manual e sistemática em escala impraticável. Embora os Modelos de Linguagem de Grande Escala (LLMs) possam extrair informações de risco, uma abordagem ingênua resulta em rótulos idiossincráticos e inconsistentes (ex: "risco de flutuação cambial" vs. "exposição a câmbio estrangeiro") que impedem a comparação sistemática. O desafio central é extrair fatores de risco estruturados a partir de texto livre enquanto se adere estritamente a uma taxonomia pré-definida e hierárquica, garantindo que os mapeamentos sejam tanto semanticamente precisos quanto livres de atribuições espúrias.

Metodologia

Os autores propõem um pipeline de três estágios que combina os pontos fortes de LLMs, embeddings semânticos e validação baseada em LLM para alcançar uma extração robusta e alinhada à taxonomia.

1. Taxonomia de Risco de Três Níveis

O sistema utiliza uma taxonomia hierárquica personalizada projetada especificamente para análise de investimentos, composta por:

7 Categorias Primárias (ex: Estratégico e Competitivo, Financeiro e de Mercado).
28 Categorias Secundárias.
140 Categorias Terciárias (classificações de nível folha).
Ao contrário das taxonomias existentes que podem subdividir excessivamente os riscos (ex: separando tipos de tempestades), esta taxonomia equilibra abrangência com a granularidade necessária para a tomada de decisão financeira.

2. O Pipeline de Três Estágios

Estágio 1: Extração de Risco Baseada em LLM

Entrada: Texto bruto do Item 1A de arquivos 10-K.
Processo: Um LLM (Claude 4.5 Sonnet) extrai uma lista abrangente de fatores de risco sem restrições para corresponder à taxonomia.
Saída: Uma lista de tuplas contendo uma tag de risco de texto livre e uma citação de apoio do texto original. Esta abordagem de "cadeia de pensamento" (chain-of-thought) garante a extração fundamentada e fornece os trechos de texto necessários para o subsequente correspondimento semântico.

Estágio 2: Mapeamento de Taxonomia Baseado em Embedding

Processo: Cada citação de apoio extraída é convertida em embedding usando o modelo Qwen3 Embedding 0.6B, guiado por uma instrução específica para a tarefa ("Classificar texto de fator de risco..."). Estes são mapeados para os embeddings pré-computados das descrições das 140 categorias terciárias.
Mecanismo: O correspondimento de vizinho mais próximo (produto escalar) atribui cada risco à categoria semanticamente mais semelhante.
Limitação: Este estágio garante um mapeamento para cada risco, mesmo que não exista uma categoria apropriada, podendo levar a atribuições espúrias.

Estágio 3: Validação por LLM-como-Juiz (LLM-as-a-Judge)

Processo: Uma instância separada de LLM atua como juiz para avaliar a qualidade de cada mapeamento proposto (citação para categoria).
Pontuação: O juiz avalia o ajuste em uma escala de 1 a 5 (1 = Muito ruim, 5 = Excelente) e fornece um raciocínio conciso.
Filtragem: Apenas mapeamentos com pontuação $\ge$ 4 são retidos para a saída final. Mapeamentos com pontuações menores são registrados com seu raciocínio para informar o refinamento da taxonomia.
Deduplicação: A saída final retém apenas o mapeamento de maior qualidade para cada categoria da taxonomia por arquivo.

3. Refinamento Autônomo da Taxonomia

Uma contribuição distinta do artigo é um fluxo de trabalho autônomo para a melhoria contínua da taxonomia:

Ciclo de Feedback: Um agente de IA analisa os mapeamentos de baixa qualidade registrados (pontuações < 4) para identificar categorias problemáticas.
Diagnóstico: O agente agrega padrões de falha (ex: confusão de escopo geográfico, desalinhamento entre pré-mercado e pós-mercado) com base no raciocínio do juiz.
Refinamento e Teste: O agente propõe refinamentos de descrição candidatos e os valida usando uma metodologia de teste baseada em embedding. Isso envolve medir a "separação de embedding" (a diferença nas pontuações de similaridade média entre casos de teste de verdadeiros positivos e falsos positivos) para garantir que a nova descrição melhore a discriminação semântica.

Principais Contribuições

Metodologia de Extração Robusta: Um pipeline híbrido que combina extração por LLM, similaridade baseada em embedding e validação por LLM para mapear de forma confiável texto livre a uma taxonomia fixa, filtrando falsos positivos.
Taxonomia Específica para Investimentos: Uma hierarquia de três níveis adaptada para análise de investimentos, equilibrando cobertura com utilidade prática.
Manutenção Autônoma: Um método sistemático onde um agente de IA usa o feedback de avaliação para identificar, diagnostar e refinar autonomamente as categorias da taxonomia, criando um ciclo de melhoria contínua.
Validação Empírica: Avaliação extensiva em arquivos 10-K de 2024 de 500 empresas do S&P 500, extraindo 10.688 fatores de risco validados.

Resultados e Avaliação

A metodologia foi avaliada em arquivos 10-K de 2024 de 500 empresas do S&P 500, extraindo 10.688 fatores de risco validados.

Estudo de Caso de Refinamento Autônomo

Em um estudo de caso envolvendo a categoria "Aprovação de produtos farmacêuticos e dispositivos médicos", o agente autônomo identificou que a descrição original causava confusão em relação ao escopo geográfico (FDA vs. EMA) e ao tempo (pré-mercado vs. pós-mercado).

Resultado: O agente gerou uma descrição refinada que listava explicitamente múltiplas autoridades de saúde e enfatizava a aprovação pré-mercado.
Métrica: Este refinamento resultou em uma melhoria de 104,7% na separação de embedding (de 0,064 para 0,132), reduzindo significativamente os falsos positivos.

Validação de Agrupamento por Indústria

Para testar se os riscos extraídos capturam uma estrutura econômica genuína, os autores analisaram a similaridade do perfil de risco entre indústrias sem utilizar códigos industriais durante o mapeamento.

Similaridade: Empresas na mesma indústria exibiram 63% de maior similaridade de perfil de risco do que pares de indústrias diferentes.
Significância Estatística: A diferença foi altamente significativa ( $p < 0,001$ ) com um grande tamanho de efeito (Cohen's $d = 1,06$ ).
Poder Preditivo: O uso da similaridade de risco para prever a participação na indústria resultou em um AUC de 0,733 para setores SIC de 2 dígitos amplos e 0,822 para indústrias específicas de 4 dígitos.
Granularidade: O sinal fortaleceu-se com definições de indústria mais finas, confirmando que a taxonomia captura características específicas da indústria, em vez de clichês genéricos.

Padrões Específicos por Setor

A análise do setor de "Instituições Depositárias" (SIC 60) revelou padrões intuitivos:

O risco de taxa de juros apareceu em 83% dos bancos vs. 22% de todas as empresas.
Requisitos de capital e liquidez apareceram em 67% dos bancos vs. 3% no geral.
Por outro lado, riscos relacionados à manufatura (ex: disponibilidade de matéria-prima) foram significativamente reduzidos no setor bancário.

Significância e Alegações

O artigo afirma fornecer um framework geral para extrair informações estruturadas de texto não estruturado enquanto mantém a adesão a sistemas categóricos pré-definidos. A significância reside em:

Resolvendo a Armadilha "Não Estruturado-para-Não Estruturado": Indo além da simples extração por LLM que produz tags inconsistentes para um sistema que impõe uma taxonomia consistente e curada.
Melhoria Contínua: Mudando o desenvolvimento da taxonomia de um problema de design estático para um sistema que melhora iterativamente conforme mais documentos são processados, reduzindo a carga de manutenção humana.
Validade Econômica: Demonstrando que os dados extraídos não são meramente linguísticos, mas capturam dimensões de risco econômico genuínas, como evidenciado pela forte correlação entre perfis de risco e setores industriais.

Os autores observam que, embora a implementação atual se concentre em arquivos 10-K em inglês, a metodologia é agnóstica à linguagem e aplicável a outros domínios que exigem extração alinhada à taxonomia. As limitações incluem os custos de API e a latência dos LLMs, embora estes sejam mitigados pelo processamento em lote e cache.