💻 computer science

Lightweight Semantic Embeddings Enable Redundancy-Sensitive Knowledge Graph Construction for LLM-Based Document Processing

Este artigo apresenta o AMODD, um pipeline aumentado por ML que utiliza embeddings semânticos leves para desduplicar seções redundantes de documentos e agrupar entidades de grafos, reduzindo significativamente o consumo de tokens e a latência de LLMs para a construção de grafos de conhecimento, mantendo uma alta qualidade de recuperação.

Autores originais: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Publicado 2026-09-11

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Sedar Olmez, Maxim Smilovitskiy, Koichi Yokota

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe uma tensão crescente entre o desejo de compreender vastas quantidades de informação e os limites práticos do poder computacional. Os grandes modelos de linguagem, o software sofisticado que pode ler e escrever a linguagem humana, são frequentemente usados para transformar documentos desestruturados e desorganizados em grafos de conhecimento estruturados. Pense em um grafo de conhecimento como um mapa estruturado de fatos, onde peças específicas de informação são interligadas para mostrar como se relacionam. Isso é incrivelmente útil para setores como o de energia ou o jurídico, onde regulamentações e padrões técnicos podem abranger centenas de páginas. No entanto, um problema significativo surge quando esses documentos contêm repetição. Manuais técnicos e códigos jurídicos frequentemente reafirmam as mesmas regras ou definições usando palavras ligeiramente diferentes em várias seções. Quando um computador tenta processar tal documento, ele frequentemente trata cada seção como um quebra-cabeça único, pedindo à IA cara para analisar a mesma ideia central repetidamente. Essa abordagem não é apenas lenta, mas também financeiramente desgastante, pois o custo de usar esses sistemas de IA está diretamente ligado ao volume de texto que eles processam.

Pesquisadores da Fujitsu Research of Europe propuseram-se a resolver essa ineficiência criando uma maneira mais inteligente de construir esses mapas de conhecimento. Eles desenvolveram um sistema chamado AMODD, que significa Mapeamento Automatizado de Definições de Dados (Automated Mapping of Data Definitions), e adicionaram uma nova camada de inteligência a ele. Em vez de processar cegamente cada página de um documento, este sistema aprimorado primeiro utiliza uma ferramenta leve para ler o texto e compreender seu significado. Esta ferramenta atua como um scanner rápido que pode reconhecer quando duas seções diferentes de um documento estão, na verdade, dizendo a mesma coisa, mesmo que utilizem palavras diferentes. Ao identificar esses duplicados próximos antes que a IA principal sequer veja o conteúdo, o sistema pode pular o trabalho redundante inteiramente. Ele então processa apenas as seções únicas, extrai os fatos e agrupa quaisquer fatos semelhantes que possam ter sido fraseados de forma distinta. Finalmente, quando um humano faz uma pergunta sobre o documento, o sistema busca respostas baseando-se no significado das palavras, em vez de apenas corresponder a palavras-chave exatas.

Para testar se essa abordagem realmente funcionava, a equipe criou uma série de documentos sintéticos relacionados a regulamentações de energia de hidrogênio. Eles projetaram três versões desses documentos: um curto com quase nenhuma repetição, um de comprimento médio com algumas seções repetidas e um longo repleto de redundância pesada. Em seguida, rodaram os mesmos documentos através de dois pipelines diferentes. O primeiro era o método padrão, que processava cada seção de forma independente. O segundo era o seu novo método aprimorado, equipado com a camada de escaneamento de significado. Os resultados mostraram um padrão claro que dependia inteiramente de quanta repetição havia no documento. Para o documento curto e não repetitivo, o novo sistema foi ligeiramente mais lento porque teve que realizar a etapa extra de escanear por duplicatas que não existiam. No entanto, conforme os documentos se tornavam mais repetitivos, o novo sistema começava a brilhar. No documento de comprimento médio com repetição moderada, o novo método reduziu o número de vezes que a IA precisava ser chamada em quase 58 por cento e cortou o volume total de texto processado pela IA em 56,7 por cento. No documento longo e altamente redundante, as economias foram ainda mais dramáticas, reduzindo as chamadas de IA em 85,4 por cento e o volume de texto processado em 84,9 por cento.

Além de apenas economizar dinheiro e tempo, os pesquisadores foram cuidadosos para garantir que essa eficiência não viesse ao custo de perder informações importantes. Eles mediram o número final de fatos, ou "triplas", que terminaram no grafo de conhecimento. Descobriram que, embora o novo sistema produzisse um grafo menor nos documentos repetitivos, isso não ocorria porque ele estava descartando fatos únicos. Em vez disso, o tamanho menor era um resultado direto da remoção das cópias duplicadas dos mesmos fatos que o sistema antigo mantinha. O novo sistema preservou com sucesso o conhecimento central enquanto eliminava o ruído. Além disso, quando testaram o quão bem o sistema conseguia responder a perguntas, o novo método provou ser superior. Ao serem questionados com uma pergunta ampla como "Sobre o que é este documento?", o novo sistema, usando sua compreensão de significado, foi capaz de recuperar fatos relevantes de forma muito mais eficaz do que o sistema antigo, que tinha dificuldades quando a pergunta não utilizava exatamente as mesmas palavras do texto.

O estudo conclui que esta adição leve transforma a forma como esses sistemas lidam com documentos. Em vez de o custo e o tempo aumentarem linearmente com o comprimento total de um documento, a nova abordagem escala com a quantidade de informação única dentro dele. Se um documento está cheio de cláusulas repetidas, o sistema reconhece isso e para de desperdiçar recursos nelas. Os pesquisadores observaram que este método não é uma solução mágica para todas as situações; ele não oferece benefício para documentos curtos e únicos onde não há nada para pular. No entanto, para os textos técnicos e regulatórios longos e repetitivos que são comuns em muitos setores, esta abordagem oferece uma maneira prática de tornar a inteligência artificial mais eficiente e acessível sem sacrificar a qualidade do mapa de conhecimento final.

Resumo Técnico: Embeddings Semânticos Leves para Construção de Grafos de Conhecimento Sensíveis à Redundância

Definição do Problema
A construção de grafos de conhecimento (KGs) a partir de documentos técnicos longos, heterogêneos e parcialmente redundantes utilizando Grandes Modelos de Linguagem (LLMs) apresenta um desafio significativo de custo operacional. Pipelines convencionais, como o Mapeamento Automatizado de Definições de Dados (AMODD), tipicamente processam seções de documentos de forma independente. Este design faz com que os custos computacionais (consumo de tokens, contagem de chamadas de LLM e latência) escalem linearmente com o comprimento do documento, em vez de escalar com o volume de conteúdo semântico único. Em domínos como conformidade regulatória e padronização técnica, onde cláusulas e requisitos são frequentemente repetidos ou parafraseados, essa abordagem leva à extração redundante de fatos idênticos, incorrendo em despesas financeiras e computacionais desnecessárias sem melhorar a qualidade do grafo resultante.

Metodologia
O artigo propõe uma extensão do pipeline AMODD aumentada por ML que integra uma Camada de Embedding Semântico Leve para tornar a construção do KG "sensível à redundância" em vez de "sensível ao comprimento do documento". Esta camada utiliza um modelo sentence-transformer compacto e implantado localmente (all-MiniLM-L6-v2) para mapear o texto em um espaço vetorial denso compartilhado. A metodologia opera através de três mecanismos distintos:

Deduplicação de Seções Pré-LLM: Antes de qualquer invocação de LLM, o sistema computa um lote de embeddings para todas as seções do documento e calcula uma matriz de similaridade de cosseno $n \times n$ . Uma passagem gulosa (greedy), seguindo a ordem do documento, identifica seções quase duplicadas com base em um limiar ( $\tau_{sec}$ ). Seções redundantes são totalmente ignoradas; seus tópicos e triplas são herdados da seção canônica correspondente, com a proveniência da página atualizada para refletir o local original. Isso suprime tanto a identificação de tópicos quanto as chamadas de LLM para extração de triplas para o conteúdo redundante.
Agrupamento de Triplas Pós-LLM: Após a extração, o pipeline realiza o embedding dos componentes textuais das triplas extraídas (sujeito, relação, objeto). Entidades e relações semanticamente equivalentes são mescladas se sua similaridade vetorial exceder um limiar ( $\tau_{triple}$ ). Um representante canônico (a forma de superfície mais curta) é selecionado para cada cluster, reduzendo a proliferação de sinônimos que a correspondência de strings lexicais frequentemente ignora.
Recuperação Semântica RAG: Para a geração aumentada por recuperação (RAG) a jusante, o sistema substitui a pontuação de sobreposição de palavras-chave pelo ranking de similaridade de cosseno sobre um índice pré-construído de embeddings de triplas. Isso permite a recuperação de triplas semanticamente relevantes mesmo quando o vocabulário da consulta diverge do texto extraído, com um aumento (boost) aditivo aplicado com base no rótulo de importância da tripla.

Principais Contribuições
A principal contribuição é um design de nível de pipeline que utiliza embeddings leves como uma camada de controle operacional em torno das chamadas de LLM, em vez de apenas como um mecanismo de recuperação. O estudo demonstra que:

Embeddings podem servir como um mecanismo de controle de custo ao prevenir invocações redundantes de LLM.
A mesma camada de embedding pode simultaneamente refinar a estrutura do grafo (via agrupamento) e melhorar a fidelidade da recuperação (via correspondência semântica).
A abordagem transforma o comportamento de escala da construção de KG de ser dependente do número total de seções para ser dependente do número de seções semanticamente distintas.

Resultados Experimentais
Os autores conduziram um experimento controlado A/B utilizando documentos regulatórios sintéticos do setor de hidrogênio com três níveis de redundância: baixa (D1), moderada (D2) e alta (D3).

Eficiência (RQ1):
- Não redundante (D1): A camada de embedding introduziu um overhead de 6–10% em tokens, chamadas e latência, confirmando que não oferece benefício quando não há redundância.
- Moderadamente Redundante (D2): O pipeline aumentado por ML reduziu o consumo de tokens em 56,7%, as chamadas de LLM em 57,7% e a latência de tempo de execução (wall-clock) em 29,9%.
- Altamente Redundante (D3): As reduções foram ainda mais pronunciadas: 84,9% menos tokens, 85,4% menos chamadas e 58,1% de menor latência.
- Escalabilidade: Enquanto a contagem de chamadas de LLM da linha de base aumentou de ~~69 (D2) para ~205 (D3), o pipeline aumentado por ML permaneceu quase constante (~~29 chamadas), demonstrando independência do comprimento total do documento.
Qualidade e Retenção (RQ2):
- Tamanho do Grafo: A contagem final de triplas na condição de ML permaneceu acima de um limite inferior ajustado pela redundância (Contagem de Triplas da Linha de Base $\times$ (1 - Taxa de Pulo)) para todos os documentos. Para D3, o pipeline de ML reteve 46,8 triplas, mais do que o dobro do limite inferior teórico de 21,8, indicando que o conteúdo semântico único foi preservado apesar da deduplicação agressiva.
- Cobertura de Recuperação: A recuperação semântica superou significativamente a recuperação por sobreposição de palavras-chave para consultas amplas (ex: "Sobre o que este documento trata?"). As melhorias de cobertura variaram de +0,481 (D1) a +0,553 (D3), demonstrando que a correspondência semântica compensa efetivamente a redução do tamanho do grafo ao recuperar triplas relevantes que carecem de sobreposição lexical exata.

Significância e Alegações
O artigo afirma que embeddings semânticos leves podem tornar a construção de grafos de conhecimento baseada em LLM sensível à redundância. A significância reside na mudança do modelo de custo: em vez de pagar por cada seção de um documento, o sistema paga principalmente pelo conteúdo semântico único. Os autores enfatem que isso não é um novo modelo de embedding ou um substituto para a extração por LLM, mas um design prático de nível de pipeline que reduz os custos de construção enquanto mantém ou melhora a cobertura de recuperação. O estudo conclui que esta abordagem é mais benéfica para coleções de documentos longos ou repetitivos, oferecendo economias substanciais de custo (ex: ~$4.780 por 1.000 documentos do tipo D3) sem perda desproporcional de conhecimento único.

Mais como este