💬 NLP

LLM-based Triplet Extraction from Financial Reports

Este artigo apresenta um pipeline semiautomático para extração de tripletas de relatórios financeiros que utiliza ontologias orientadas por dados e métricas de conformidade, demonstrando que a indução automática de ontologias supera abordagens manuais e que uma estratégia híbrida de verificação reduz drasticamente as alucinações de sujeitos.

Autores originais: Dante Wesslund, Ville Stenström, Pontus Linde, Alexander Holmberg

Publicado 2026-02-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dante Wesslund, Ville Stenström, Pontus Linde, Alexander Holmberg

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os relatórios financeiros de grandes empresas são como bibliotecas gigantescas e bagunçadas, cheias de livros escritos em uma linguagem complexa, cheia de frases passivas e tabelas confusas. O objetivo dos pesquisadores deste trabalho era criar um "robô inteligente" (baseado em Inteligência Artificial) capaz de ler esses livros e extrair fatos importantes, organizando-os em um Mapa do Tesouro (chamado de Knowledge Graph ou Grafo de Conhecimento).

O problema é que, no mundo financeiro, você não pode errar. Se o robô inventar um número ou uma empresa que não existe, isso é um desastre. Mas como saber se o robô está mentindo se não temos um "gabarito" (uma lista de respostas certas) para comparar? É aqui que entra a criatividade deste estudo.

Aqui está a explicação do trabalho, traduzida para o dia a dia:

1. O Grande Desafio: O Robô Alucinando

Normalmente, para treinar um robô, você mostra a ele 1.000 perguntas e respostas corretas. Mas em relatórios financeiros novos, ninguém tem tempo de criar esse gabarito.

O Perigo: Os modelos de IA (LLMs) são ótimos em escrever, mas às vezes eles "alucinam". É como um aluno que, ao invés de responder a pergunta do livro, inventa uma história que soa plausível, mas é falsa.
A Solução: Em vez de usar um gabarito, os pesquisadores criaram duas regras de ouro para testar o robô:
1. Conformidade: O robô só pode usar as "peças de Lego" permitidas (ex: só pode dizer "Empresa X comprou Empresa Y", não pode inventar "Empresa X dançou com Empresa Y").
2. Fidelidade: Tudo o que o robô diz deve estar escrito, de alguma forma, no texto original. Nada de inventar.

2. A Batalha dos "Arquitetos": Manual vs. Automático

Os pesquisadores testaram duas formas de criar as regras (a "Ontologia") para o robô seguir:

O Arquiteto Manual (O Manual): Um humano criou um conjunto de regras fixo e rígido baseado em um relatório da Volvo. Depois, tentaram usar essas mesmas regras rígidas em outro relatório (da Elekta).
- O Problema: Foi como tentar usar um molde de bolo de chocolate para fazer um bolo de cenoura. O robô ficou confuso, quebrou as regras e começou a inventar coisas porque o molde não se encaixava no novo texto.
O Arquiteto Automático (O Auto): Aqui, o robô leu o relatório e, antes de extrair os dados, criou suas próprias regras específicas para aquele documento.
- O Resultado: Foi como se o robô tivesse um kit de ferramentas que ele mesmo montou para a tarefa. O resultado foi perfeito: 100% de conformidade. O robô não se perdeu porque as regras foram feitas sob medida para o texto que ele estava lendo.

3. O Detetive Híbrido: Ajudando a não Julgar Falsamente

Uma descoberta muito interessante foi sobre como medir os erros.

O Detetive Rígido (Regex): Eles primeiro usaram um método simples: "Se a palavra exata não aparecer no texto, é erro!". Isso gerou um alarme falso enorme. O robô dizia "O Grupo" (referindo-se à empresa), mas o texto dizia "Nós". O detetive rígido gritou: "Mentira! A palavra 'Grupo' não está aqui!".
O Detetive Híbrido (Regex + Juiz IA): Eles adicionaram um "Juiz" (outra IA) para olhar com mais cuidado. O Juiz disse: "Espere, 'O Grupo' e 'Nós' são a mesma coisa aqui. Não é mentira, é apenas uma forma diferente de falar".
O Milagre: Ao usar o Juiz, os erros aparentes caíram de 65% para apenas 1,6%. Isso mostrou que muitos "erros" eram apenas o robô entendendo o contexto, não inventando fatos.

4. A Assimetria: Quem é o "Vilão" das Mentiras?

Os pesquisadores notaram algo curioso sobre o que o robô inventava:

O Objeto (O "O quê"): É fácil. Se o texto diz "lucro de 10 milhões", o robô copia "10 milhões". É difícil errar aqui.
O Sujeito (O "Quem"): É difícil. Relatórios financeiros usam muito a voz passiva ("O lucro foi gerado..."). O robô precisa adivinhar quem gerou o lucro. Como o texto não diz explicitamente, o robô tende a inventar o "quem" (o sujeito) com mais frequência do que inventa o "o quê". É como tentar adivinhar quem bateu na porta quando você só ouviu o barulho.

Resumo da Ópera

Este trabalho nos ensina três lições principais para o futuro:

Não use regras engessadas para textos dinâmicos: Deixar a IA criar as regras específicas para cada documento funciona muito melhor do que tentar forçar um modelo antigo em um texto novo.
Cuidado com o "Detetive Rígido": Para saber se uma IA está mentindo, você precisa de um juiz inteligente que entenda o contexto, não apenas um robô que busca palavras exatas.
Onde está o perigo: Em finanças, o maior risco de "alucinação" não está nos números (que são fáceis de copiar), mas em tentar adivinhar quem fez o quê quando o texto é vago.

Em suma, eles criaram um sistema mais inteligente e seguro para transformar o caos dos relatórios financeiros em mapas de dados confiáveis, sem precisar de um time gigante de humanos para corrigir cada erro.

1. Problema e Contexto

O artigo aborda o desafio de extrair conhecimento estruturado (na forma de triplas Sujeito-Predicado-Objeto) de relatórios financeiros corporativos para a construção de Grafos de Conhecimento (KGs).

Desafio Principal: A falta de conjuntos de dados de "verdade fundamental" (ground truth) anotados manualmente neste domínio torna a avaliação tradicional (precisão e recall) inviável.
Risco de Alucinação: Modelos de Linguagem de Grande Escala (LLMs) são propensos a alucinar (gerar conteúdo não fiel ao texto), o que é inaceitável no setor financeiro, onde a aderência factual estrita é crucial.
Limitações Atuais: Abordagens supervisionadas tradicionais dependem de dados rotulados caros e difíceis de manter em domínios dinâmicos. Além disso, a avaliação baseada apenas em correspondência de strings exata (regex) tende a superestimar falsos positivos devido a variações morfológicas e resolução de coreferência.

2. Metodologia

Os autores propõem um pipeline semi-automático para extração de triplas que não depende de ground truth pré-anotado, utilizando métricas orientadas por ontologia como substitutas.

2.1. Métricas de Avaliação (Sem Ground Truth)

Em vez de comparar com um grafo de referência, a qualidade é medida por dois objetivos proxy:

Conformidade com a Ontologia (OC - Ontology Conformance): Garante que os predicados extraídos pertençam estritamente a um conjunto de relações predefinido.
Fidelidade (Faithfulness): Garante que cada componente da tripla (Sujeito, Objeto) esteja ancorado no texto fonte. Para medir isso, são usadas métricas de alucinação:
- SH (Subject Hallucination): O sujeito não está no texto.
- OH (Object Hallucination): O objeto não está no texto.
- RH (Relation Hallucination): O predicado não está na ontologia.

2.2. Estratégias de Ontologia

O estudo compara duas abordagens para definir a ontologia $O$ :

Ontologia Manual ( $O_{Manual}$ ): Uma ontologia estática, engenheirada manualmente a partir de um relatório (Volvo), aplicada a todos os documentos (testando generalização de domínio).
Ontologia Automática ( $O_{Auto}$ ): Um processo de indução totalmente automatizado e específico do documento. Um LLM gera uma ontologia ad-hoc para cada relatório, adicionando apenas entidades e relações necessárias para descrever os trechos (chunks) do texto.

2.3. Estratégia de Verificação Híbrida

Para resolver o problema da avaliação de fidelidade sem ground truth, os autores propõem uma verificação híbrida:

Regex (Baseline): Busca exata da string no texto.
LLM-as-a-Judge: Se o regex falhar, um LLM atua como juiz para determinar se a entidade existe semanticamente no texto, mesmo que a forma superficial (string) seja diferente (ex: resolução de coreferência, como substituir "o grupo" por "Volvo").

2.4. Configuração Experimental

Modelos: Gemini-2.5 Flash (M1) e Llama 4 Maverick (M2).
Corpus: Relatórios anuais da Volvo (2024) e Elekta (2022/2023).
Pré-processamento: Segmentação do texto em chunks de 5 frases para mitigar o fenômeno "lost-in-the-middle".

3. Principais Contribuições

Análise Comparativa de Ontologias: Demonstração de que a indução de ontologia específica do documento supera a abordagem estática manual em termos de aderência ao esquema e redução de alucinações.
Avaliação de Arquiteturas de LLM: Identificação de como diferentes modelos lidam com restrições de esquema, mostrando que alguns são mais propensos a "deriva de ontologia" (ontology drift) quando o esquema não é adaptado.
Estratégia de Verificação Híbrida: Validação de que combinar Regex com um verificador LLM reduz drasticamente as taxas de falsos positivos na detecção de alucinações, permitindo uma avaliação de fidelidade robusta sem dados anotados.

4. Resultados Chave

Os resultados são apresentados na Tabela 2 do artigo e destacam:

Desempenho da Ontologia Automática ( $O_{Auto}$ ):
- Alcançou 100% de Conformidade com a Ontologia (OC) em todas as configurações (ambos os modelos e relatórios).
- Eliminou completamente a deriva de ontologia observada na abordagem manual.
- Reduziu as taxas de alucinação de Sujeito (SH) e Objeto (OH) para 0% ou valores insignificantes.
- Motivo: A ontologia automática é mais compacta e específica, reduzindo o espaço de busca e a ambiguidade para o LLM.
Desempenho dos Modelos (M1 vs. M2):
- M1 (Gemini): Mostrou comportamento estritamente conservador, mantendo 100% de OC e 0% de alucinação de Relação (RH) em todas as configurações.
- M2 (Llama): Sob a ontologia manual, apresentou deriva de ontologia (até 10.6% de RH no relatório Elekta), gerando predicados não autorizados. No entanto, com a ontologia automática, seu desempenho melhorou drasticamente, atingindo 100% de OC.
Validação da Verificação Híbrida:
- A taxa de alucinação de Sujeito (SH) caiu de 65.2% (apenas Regex) para 1.6% (Híbrido).
- Isso confirma que a maioria das "alucinações" detectadas pelo regex eram, na verdade, resoluções de coreferência legítimas (ex: o modelo inferiu "O Grupo" corretamente, mas a string exata não estava no chunk).
Assimetria de Alucinação:
- Observou-se que as alucinações de Sujeito (SH) são mais frequentes e complexas que as de Objeto (OH).
- Causa: Relatórios financeiros usam frequentemente voz passiva e agentes omitidos, forçando o modelo a inferir sujeitos que não estão explicitamente no texto, enquanto objetos (números, datas) são mais fáceis de copiar literalmente.

5. Significado e Conclusão

O trabalho demonstra que é possível construir pipelines de extração de conhecimento financeiro robustos e avaliáveis sem a necessidade de conjuntos de dados de treinamento anotados.

Adaptação Dinâmica: A indução de ontologia específica do documento é superior à engenharia manual estática, pois elimina a deriva semântica e melhora a precisão, especialmente em modelos que tendem a ser criativos.
Avaliação Realista: A estratégia de verificação híbrida é essencial para evitar penalizar modelos por inferências semânticas corretas que falham em correspondências de strings exatas.
Implicações Práticas: Para aplicações financeiras, a escolha do modelo e a adaptação do esquema à estrutura do documento são fatores críticos para garantir a fidelidade dos dados extraídos.

O estudo conclui que a combinação de ontologias induzidas dinamicamente com verificação semântica híbrida oferece um caminho viável para a automação escalável da construção de Grafos de Conhecimento a partir de relatórios financeiros complexos.