🤖 AI

Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

Este artigo apresenta um framework agêntico que constrói grafos de conhecimento a partir de documentos de políticas de IA para aprimorar o raciocínio baseado em LLM e a verificação de conformidade, demonstrando que o aumento com grafos de conhecimento melhora o desempenho em várias tarefas de raciocínio e que esquemas descobertos por LLM podem igualar ou superar ontologias formais.

Autores originais: Wilder Baldwin, Sepideh Ghanavati

Publicado 2026-05-01

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wilder Baldwin, Sepideh Ghanavati

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando resolver um quebra-cabeça massivo e confuso, onde as peças são regras escritas em três idiomas diferentes (o Ato de IA da UE, as diretrizes do NIST e os padrões da OWASP). Você tem um assistente muito inteligente (um Modelo de Linguagem de Grande Escala, ou LLM) que leu muitos livros, mas não memorizou perfeitamente esses manuais de regras específicos. Se você fizer uma pergunta ao assistente, ele pode tentar adivinhar a resposta com base no que "acha" que sabe, mas pode errar os detalhes ou inventar coisas (alucinar).

Este artigo apresenta uma nova maneira de ajudar esse assistente inteligente. Em vez de apenas pedir ao assistente para memorizar, os pesquisadores construíram um arquivo digital (um Grafo de Conhecimento) especificamente para essas regras de IA.

Veja como o sistema funciona, dividido em etapas simples:

1. A Equipe "Digitalizar e Organizar" (Construção)

Primeiro, o sistema pega os longos e tediosos documentos de políticas e os divide em pequenos pedaços gerenciáveis. Em seguida, usa um agente de IA para ler cada pedaço e extrair os "fatos" importantes (como riscos específicos, regras ou obrigações) e as conexões entre eles.

Pense nisso como um bibliotecário que lê um manual de regras de 500 páginas e cria um conjunto de fichas de índice.

O Bibliotecário "Rígido" (Esquema AIRO): Este bibliotecário segue uma lista pré-fabricada muito rigorosa de categorias (como "Risco", "Ameaça", "Consequência"). Ele força cada fato a entrar nessas caixas específicas.
O Bibliotecário "Criativo" (Esquema Aberto): Este bibliotecário não usa uma lista pré-fabricada. Em vez disso, ele olha para o texto e cria seus próprios rótulos descritivos (como "Risco de Envenenamento de Dados" ou "Regra de Transparência") que se encaixam melhor no conteúdo.

2. O "Detetive" (Recuperação)

Quando você faz uma pergunta (por exemplo, "Este código viola o Ato de IA da UE?"), o sistema não pede apenas ao assistente para adivinhar. Ele age como um detetive:

O Caminho Direto: Para perguntas simples (como "O que é um sistema de IA de alto risco?"), o detetive encontra rapidamente a ficha de índice exata e lê a citação.
O Caminho do Agente: Para perguntas complexas (como "Como as regras da UE e as regras do NIST funcionam juntas?"), o detetive percorre o arquivo, seguindo as conexões entre as fichas para reunir todas as evidências necessárias para construir uma resposta completa.

3. O "Juiz" (Avaliação)

Os pesquisadores testaram este sistema com cinco modelos de IA diferentes (desde os mais poderosos até os menores e mais baratos). Eles fizeram 42 tipos diferentes de perguntas, variando de consultas simples a raciocínio complexo entre regras.

Eles compararam três cenários:

Sem Ajuda: A IA responde a partir de sua própria memória.
Arquivo Rígido: A IA usa as fichas do bibliotecário "Rígido".
Arquivo Criativo: A IA usa as fichas do bibliotecário "Criativo".

O Que Eles Encontraram (Os Resultados)

O Arquivo Sempre Ajuda: Adicionar o grafo de conhecimento melhorou as respostas de todos os modelos de IA testados. A IA tornou-se mais precisa e, crucialmente, pôde fornecer citações exatas das regras para provar sua resposta, em vez de apenas adivinhar.
O Bibliotecário "Criativo" Foi Surpreendentemente Bom: Você poderia pensar que uma lista pré-fabricada e rígida (a ontologia formal) seria melhor. No entanto, o bibliotecário "Criativo", que criou seus próprios rótulos na hora, performou tão bem quanto, e às vezes até melhor, que o rígido. Isso sugere que deixar a IA descrever as coisas com suas próprias palavras pode ser mais eficaz do que forçá-la a entrar em caixas rígidas.
O Tamanho Importa (Para o Detetive): O sistema funcionou muito bem para os modelos de IA de "grande cérebro". No entanto, para os modelos menores e menos poderosos, o "Caminho do Agente" (onde o detetive percorre o grafo) na verdade piorou as coisas. Foi como dar um mapa complexo a uma criança que não sabe ler; ela se perdeu. Para modelos menores, era melhor apenas dar a resposta direta sem a etapa complexa de "andar por aí".

A Grande Conclusão

O artigo prova que, se você quer que uma IA siga regras complexas de segurança, não deve confiar apenas em sua memória. Você precisa dar a ela um mapa estruturado e pesquisável dessas regras. Curiosamente, você não precisa de um mapa perfeitamente pré-planejado; um mapa que a IA constrói com base no texto funciona tão bem quanto. No entanto, você deve combinar a complexidade da tarefa de leitura do mapa com a inteligência da IA que está fazendo a leitura.

1. Declaração do Problema

À medida que recursos de IA são rapidamente integrados ao software, estruturas regulatórias (por exemplo, Lei de IA da UE, NIST AI RMF, OWASP Top 10) impõem requisitos de conformidade complexos, sobrepostos e em evolução. Os profissionais têm dificuldade em navegar manualmente nessas obrigações de referência cruzada. Embora os Modelos de Linguagem de Grande Porte (LLMs) sejam cada vez mais utilizados para tarefas de conformidade, eles sofrem com:

Alucinações: Incapacidade de citar com confiabilidade cláusulas específicas de políticas.
Conhecimento Desatualizado: O conhecimento paramétrico frequentemente fica atrás de novas regulamentações.
Limitações de Raciocínio: Dificuldade em realizar raciocínio multi-hop ou inferência entre políticas.

O artigo aborda a necessidade de um sistema automatizado que possa fundamentar o raciocínio de LLMs em texto de política autoritativo usando Grafos de Conhecimento (KGs) para melhorar a precisão, a rastreabilidade e a verificação de conformidade.

2. Metodologia

Os autores propõem uma estrutura agêntica que constrói KGs a partir de documentos de política de IA e usa recuperação adaptativa para responder a perguntas. O sistema opera como um servidor Modelo-Contexto-Protocolo (MCP) com um pipeline de quatro etapas:

A. Fragmentação de Documentos (Scan-and-Review)

Em vez de contagens fixas de tokens, um agente de fragmentação usa um processo de duas fases para segmentar o texto da política, preservando a estrutura lógica:

Scan: Uma janela deslizante solicita a um LLM que identifique limites naturais de divisão (por exemplo, fim de um Artigo).
Review: O plano é verificado; se os fragmentos forem muito grandes (>4.000 caracteres), o agente propõe divisões adicionais.

B. Extração de Grafo de Conhecimento

Um agente de extração processa fragmentos para gerar entidades e relações tipadas. O estudo compara dois esquemas de ontologia:

Esquema Fechado (AIRO): Fundamentado na Ontologia de Risco de IA (AIRO) formal. Usa um vocabulário predefinido (7 tipos de entidades, 6 tipos de relações) derivado da Lei de IA da UE e padrões ISO.
Esquema Aberto (Emergente): O LLM atribui rótulos descritivos em snake-case (por exemplo, technical_risk, regulatory_obligation) sem um vocabulário predefinido, normalizando-os pós-extração.

Alinhamento entre Políticas: Entidades de diferentes fontes (UE, NIST, OWASP) são vinculadas por meio de arestas Corresponds To usando similaridade de incorporação (cosseno $\ge$ 0,70) e similaridade de strings.

C. Recuperação Adaptativa e Síntese de Resposta

Um agente de roteamento classifica perguntas como "Diretas" ou "Agênticas" com base na complexidade:

Caminho Direto (Tarefas Simples): Incorpora a pergunta, recupera as 5 principais entidades, expande vizinhos de 1-hop e sintetiza uma resposta.
Caminho Agêntico (Tarefas Complexas): Usa um loop ReAct (máximo de 7 etapas) com ferramentas para busca por palavra-chave, busca semântica, expansão de vizinhos e descoberta de caminhos para percorrer o grafo para raciocínio multi-hop.
Síntese: A chamada final do LLM recebe entidades de evidência (serializadas como relações), texto bruto do fragmento, exemplos de aprendizado em contexto (ICL) e instruções específicas da tarefa.

D. Configuração de Avaliação

Conjuntos de Dados: 42 tarefas de QA de política em três estruturas (Lei de IA da UE, NIST AI RMF, OWASP Top 10).
Tipos de Tarefa: Seis categorias que variam de T1 (Consulta de Entidade) a T6 (Raciocínio entre Políticas).
Modelos: Cinco LLMs em três níveis (Fronteira: gpt-5-mini, gpt-4.1-mini; Média: nemotron:30b, gpt-oss:20b; Pequena: granite4:micro).
Métricas: Pontuação heurística (sobreposição de palavras, correspondência de conjuntos) e um LLM-as-Judge (gpt-4.1-mini) avaliando precisão, completude e relevância.

3. Principais Contribuições

Estrutura Agêntica de Políticas: Um pipeline completo de ponta a ponta para construção e consulta de KGs derivados de políticas, exposto como um servidor MCP para integração.
Comparação de Ontologia: Uma comparação empírica rigorosa entre uma ontologia formal derivada de padrões (AIRO) e um esquema aberto descoberto por LLM.
Benchmark de Raciocínio entre Políticas: Introdução do Tipo de Tarefa T6, desafiando modelos a mapear conceitos entre estruturas independentemente autoradas (por exemplo, vincular riscos do OWASP a requisitos da Lei de IA da UE).
Limites de Capacidade do Modelo: Identificação de um limite onde a travessia de grafo agêntica beneficia modelos maiores, mas degrada o desempenho de modelos menores.

4. Principais Resultados

Aumento de KG Melhora o Desempenho: LLMs aumentados com KG superaram a linha de base "Sem Contexto" em todos os cinco modelos.
- Ganhos na Pontuação do Juiz: As melhorias variaram de +0,17 a +0,55.
- Melhor Desempenho: gpt-oss:20b teve a maior melhoria no juiz (+0,55 com KG Aberto).
Desempenho do Esquema:
- O Esquema Aberto (Emergente) igualou ou superou o esquema formal AIRO nas pontuações do juiz para 3 dos 5 modelos.
- A flexibilidade do esquema aberto permitiu nomes de entidades mais ricos e descritivos que se alinharam melhor aos vocabulários de respostas esperados.
Insights Específicos da Tarefa:
- T1/T3 (Consulta/Atributos): Mostraram os maiores ganhos (+0,11 a +0,40) porque os KGs forneceram citações literais de políticas que LLMs não podem gerar apenas a partir da memória paramétrica.
- T5 (Verificação de Conformidade): KGs transformaram respostas de hesitação ("Parcialmente conforme") para julgamentos definitivos e citados ("Sim, citando o Artigo 50").
- T6 (Entre Políticas): Mostrou os menores ganhos. O sucesso dependeu fortemente da sobreposição de vocabulário entre políticas; os modelos tiveram dificuldade quando os termos diferiam (por exemplo, "envenenamento de dados" vs. "viés nos dados de treinamento").
Limite de Capacidade do Modelo:
- Modelos Grandes: Beneficiaram-se do Caminho Agêntico (travessia multi-hop), melhorando o raciocínio complexo.
- Modelos Pequenos (por exemplo, granite4:micro): Sofreram em tarefas complexas (T4, T6) ao usar o caminho agêntico, mostrando regressão de desempenho. Eles tiveram o melhor desempenho apenas com o Caminho Direto.

5. Significado e Trabalho Futuro

Utilidade Prática: O estudo demonstra que fundamentar LLMs em KGs é essencial para conformidade regulatória, particularmente para fornecer evidências citáveis e reduzir alucinações.
Flexibilidade da Ontologia: Contrariamente à suposição de que ontologias formais são superiores, um esquema descoberto por LLM pode ser igualmente ou mais eficaz para tarefas de QA devido a um melhor alinhamento semântico com consultas em linguagem natural.
Recuperação Estratégica: As descobertas sugerem que as estratégias de recuperação devem ser condicionadas à capacidade do modelo. Modelos menores devem contornar loops agênticos complexos em favor da recuperação direta para evitar degradação.
Direções Futuras: Os autores planejam estender o pipeline para análise de código-fonte (travessia de grafos de código junto com KGs de política) e explorar métodos avançados de alinhamento de entidades (além da similaridade de incorporação) para resolver o gargalo de incompatibilidade de vocabulário entre políticas.

Limitações: A avaliação é limitada a estruturas ocidentais em língua inglesa, usa um pequeno conjunto de perguntas (42 itens) e depende de pontuação automatizada sem estudos de usuários com desenvolvedores humanos.