🤖 AI

Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

Este artículo presenta un marco agente que construye grafos de conocimiento a partir de documentos de políticas de IA para mejorar el razonamiento y la verificación de cumplimiento basados en LLM, demostrando que la augmentación con grafos de conocimiento mejora el rendimiento en diversas tareas de razonamiento y que los esquemas descubiertos por LLM pueden igualar o superar las ontologías formales.

Autores originales: Wilder Baldwin, Sepideh Ghanavati

Publicado 2026-05-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wilder Baldwin, Sepideh Ghanavati

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas masivo y confuso donde las piezas son reglas escritas en tres idiomas diferentes (la Ley de IA de la UE, las directrices del NIST y los estándares de OWASP). Tienes un asistente muy inteligente (un Modelo de Lenguaje Grande, o LLM) que ha leído muchos libros pero no tiene estos manuales de reglas memorizados perfectamente. Si le haces una pregunta al asistente, podría adivinar la respuesta basándose en lo que "cree" que sabe, pero podría equivocarse en los detalles o inventar cosas (alucinar).

Este artículo presenta una nueva forma de ayudar a ese asistente inteligente. En lugar de simplemente pedirle al asistente que recuerde, los investigadores construyeron un archivador digital (un Grafo de Conocimiento) específicamente para estas reglas de IA.

Así es como funciona el sistema, desglosado en pasos simples:

1. El equipo de "Escaneo y Clasificación" (Construcción)

Primero, el sistema toma los largos y aburridos documentos de políticas y los divide en fragmentos pequeños y manejables. Luego, utiliza un agente de IA para leer cada fragmento y extraer los "hechos" importantes (como riesgos específicos, reglas u obligaciones) y las conexiones entre ellos.

Piensa en esto como un bibliotecario que lee un manual de reglas de 500 páginas y crea un conjunto de tarjetas de índice.

El bibliotecario "estricto" (Esquema AIRO): Este bibliotecario sigue una lista predefinida y muy estricta de categorías (como "Riesgo", "Amenaza", "Consecuencia"). Obliga a cada hecho a encajar en estas cajas específicas.
El bibliotecario "creativo" (Esquema Abierto): Este bibliotecario no utiliza una lista predefinida. En su lugar, observa el texto y crea sus propias etiquetas descriptivas (como "Riesgo de Envenenamiento de Datos" o "Regla de Transparencia") que se ajustan mejor al contenido.

2. El "Detective" (Recuperación)

Cuando haces una pregunta (por ejemplo, "¿Este código viola la Ley de IA de la UE?"), el sistema no se limita a pedirle al asistente que adivine. Actúa como un detective:

La ruta directa: Para preguntas simples (como "¿Qué es un sistema de IA de alto riesgo?"), el detective encuentra rápidamente la tarjeta de índice exacta y lee la cita.
La ruta del agente: Para preguntas complejas (como "¿Cómo funcionan juntas las reglas de la UE y las reglas del NIST?"), el detective recorre el archivador, siguiendo las conexiones entre las tarjetas para reunir toda la evidencia necesaria para construir una respuesta completa.

3. El "Juez" (Evaluación)

Los investigadores probaron este sistema con cinco modelos de IA diferentes (desde los más potentes hasta los más pequeños y económicos). Plantearon 42 tipos diferentes de preguntas, que iban desde búsquedas simples hasta razonamiento complejo entre reglas.

Compararon tres escenarios:

Sin ayuda: La IA responde desde su propia memoria.
Archivador estricto: La IA utiliza las tarjetas del bibliotecario "estricto".
Archivador creativo: La IA utiliza las tarjetas del bibliotecario "creativo".

Lo que descubrieron (Los resultados)

El archivador siempre ayuda: Añadir el grafo de conocimiento mejoró las respuestas de cada modelo de IA probado. La IA se volvió más precisa y, crucialmente, pudo proporcionar citas exactas de las reglas para probar su respuesta, en lugar de simplemente adivinar.
El bibliotecario "creativo" fue sorprendentemente bueno: Podrías pensar que una lista estricta y predefinida (la ontología formal) sería mejor. Sin embargo, el bibliotecario "creativo", que inventó sus propias etiquetas sobre la marcha, funcionó tan bien, y a veces incluso mejor, que el estricto. Esto sugiere que permitir que la IA describa las cosas con sus propias palabras puede ser más efectivo que forzarla a encajar en cajas rígidas.
El tamaño importa (para el detective): El sistema funcionó muy bien para los modelos de IA de "gran cerebro". Sin embargo, para los modelos más pequeños y menos potentes, la "ruta del agente" (donde el detective recorre el grafo) en realidad empeoró las cosas. Fue como darle un mapa complejo a un niño que no sabe leer; se perdió. Para los modelos más pequeños, era mejor simplemente darles la respuesta directa sin el paso complejo de caminar alrededor.

La gran conclusión

El artículo demuestra que si quieres que una IA siga reglas de seguridad complejas, no debes confiar solo en su memoria. Necesitas darle un mapa estructurado y buscable de esas reglas. Curiosamente, no necesitas un mapa perfectamente planificado de antemano; un mapa que la IA construye ella misma basándose en el texto funciona igual de bien. Sin embargo, debes ajustar la complejidad de la tarea de lectura del mapa a la inteligencia de la IA que realiza la lectura.

A continuación se presenta un resumen técnico detallado del artículo "Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning" de Wilder Baldwin y Sepideh Ghanavati.

1. Planteamiento del Problema

A medida que las funciones de IA se integran rápidamente en el software, los marcos regulatorios (por ejemplo, la Ley de IA de la UE, el Marco de Gestión de Riesgos de IA del NIST, los Top 10 de OWASP) imponen requisitos de cumplimiento complejos, superpuestos y en evolución. Los profesionales luchan por navegar manualmente por estas obligaciones de referencia cruzada. Aunque los Modelos de Lenguaje Grande (LLM) se utilizan cada vez más para tareas de cumplimiento, adolecen de:

Alucinaciones: Incapacidad para citar de manera fiable cláusulas específicas de las políticas.
Conocimiento desactualizado: El conocimiento paramétrico a menudo se queda atrás respecto a las nuevas regulaciones.
Limitaciones de razonamiento: Dificultad para realizar razonamientos de múltiples saltos o inferencias entre políticas.

El artículo aborda la necesidad de un sistema automatizado que pueda fundamentar el razonamiento de los LLM en textos de políticas autorizados mediante el uso de Grafos de Conocimiento (KG) para mejorar la precisión, la trazabilidad y la verificación del cumplimiento.

2. Metodología

Los autores proponen un marco de agentes que construye KG a partir de documentos de políticas de IA y utiliza recuperación adaptativa para responder preguntas. El sistema opera como un servidor de Modelo-Contexto-Protocolo (MCP) con un pipeline de cuatro etapas:

A. Fragmentación de Documentos (Escaneo y Revisión)

En lugar de contar tokens fijos, un agente de fragmentación utiliza un proceso de dos fases para segmentar el texto de la política preservando la estructura lógica:

Escaneo: Una ventana deslizante solicita a un LLM que identifique límites de división naturales (por ejemplo, el final de un Artículo).
Revisión: Se verifica el plan; si los fragmentos son demasiado grandes (>4.000 caracteres), el agente propone divisiones adicionales.

B. Extracción de Grafos de Conocimiento

Un agente de extracción procesa los fragmentos para generar entidades y relaciones tipadas. El estudio compara dos esquemas de ontología:

Esquema Cerrado (AIRO): Fundamentado en la Ontología de Riesgos de IA (AIRO) formal. Utiliza un vocabulario predefinido (7 tipos de entidades, 6 tipos de relaciones) derivado de la Ley de IA de la UE y las normas ISO.
Esquema Abierto (Emergente): El LLM asigna etiquetas descriptivas en formato snake-case (por ejemplo, technical_risk, regulatory_obligation) sin un vocabulario predefinido, normalizándolas tras la extracción.

Alineación entre Políticas: Las entidades de diferentes fuentes (UE, NIST, OWASP) se vinculan mediante aristas Corresponds To utilizando similitud de incrustaciones (coseno $\ge$ 0,70) y similitud de cadenas.

C. Recuperación Adaptativa y Síntesis de Respuestas

Un agente de enrutamiento clasifica las preguntas como "Directas" o de "Agente" según su complejidad:

Ruta Directa (Tareas Simples): Incrusta la pregunta, recupera las 5 entidades principales, expande los vecinos de 1 salto y sintetiza una respuesta.
Ruta de Agente (Tareas Complejas): Utiliza un bucle ReAct (máximo 7 pasos) con herramientas para búsqueda por palabras clave, búsqueda semántica, expansión de vecinos y búsqueda de caminos para recorrer el gráfico en razonamientos de múltiples saltos.
Síntesis: La llamada final al LLM recibe entidades de evidencia (serializadas como relaciones), texto crudo de fragmentos, ejemplos de aprendizaje en contexto (ICL) e instrucciones específicas de la tarea.

D. Configuración de Evaluación

Conjuntos de Datos: 42 tareas de preguntas y respuestas sobre políticas en tres marcos (Ley de IA de la UE, Marco de Gestión de Riesgos de IA del NIST, Top 10 de OWASP).
Tipos de Tarea: Seis categorías que van desde T1 (Búsqueda de Entidades) hasta T6 (Razonamiento entre Políticas).
Modelos: Cinco LLM en tres niveles (Frontera: gpt-5-mini, gpt-4.1-mini; Rango medio: nemotron:30b, gpt-oss:20b; Pequeño: granite4:micro).
Métricas: Puntuación heurística (superposición de palabras, coincidencia de conjuntos) y un LLM como Juez (gpt-4.1-mini) que evalúa precisión, completitud y relevancia.

3. Contribuciones Clave

Marco de Políticas de Agentes: Un pipeline completo de extremo a extremo para construir y consultar KG derivados de políticas, expuesto como un servidor MCP para su integración.
Comparación de Ontologías: Una comparación empírica rigurosa entre una ontología formal derivada de estándares (AIRO) y un esquema abierto descubierto por LLM.
Benchmark de Razonamiento entre Políticas: Introducción de la Tarea Tipo T6, que desafía a los modelos a mapear conceptos entre marcos redactados independientemente (por ejemplo, vincular riesgos de OWASP con requisitos de la Ley de IA de la UE).
Umbral de Capacidad del Modelo: Identificación de un umbral donde la traversía de grafos de agentes beneficia a los modelos más grandes pero degrada el rendimiento de los modelos más pequeños.

4. Resultados Clave

La Augmentación con KG Mejora el Rendimiento: Los LLM aumentados con KG superaron la línea base "Sin Contexto" en los cinco modelos.
- Ganancias en Puntuación del Juez: Las mejoras oscilaron entre +0,17 y +0,55.
- Mejor Desempeño: gpt-oss:20b mostró la mayor mejora del juez (+0,55 con KG Abierto).
Rendimiento del Esquema:
- El Esquema Abierto (Emergente) igualó o superó el esquema formal AIRO en puntuaciones de juez para 3 de los 5 modelos.
- La flexibilidad del esquema abierto permitió nombres de entidades más ricos y descriptivos que se alinearon mejor con los vocabularios de respuestas esperados.
Informes Específicos por Tarea:
- T1/T3 (Búsqueda/Atributos): Mostraron las ganancias más fuertes (+0,11 a +0,40) porque los KG proporcionaron citas textuales de políticas que los LLM no pueden generar solo desde la memoria paramétrica.
- T5 (Verificación de Cumplimiento): Los KG transformaron las respuestas de cautelosas ("Parcialmente conforme") a juicios definitivos y citados ("Sí, citando el Artículo 50").
- T6 (Entre Políticas): Mostró las ganancias más pequeñas. El éxito dependió en gran medida de la superposición de vocabulario entre políticas; los modelos lucharon cuando los términos diferían (por ejemplo, "envenenamiento de datos" frente a "sesgo en los datos de entrenamiento").
Umbral de Capacidad del Modelo:
- Modelos Grandes: Se beneficiaron de la Ruta de Agente (traversía de múltiples saltos), mejorando el razonamiento complejo.
- Modelos Pequeños (por ejemplo, granite4:micro): Sufrieron en tareas complejas (T4, T6) al usar la ruta de agente, mostrando regresión en el rendimiento. Rindieron mejor solo con la Ruta Directa.

5. Significado y Trabajo Futuro

Utilidad Práctica: El estudio demuestra que fundamentar los LLM en KG es esencial para el cumplimiento regulatorio, particularmente para proporcionar evidencia citable y reducir las alucinaciones.
Flexibilidad de la Ontología: Contrario a la suposición de que las ontologías formales son superiores, un esquema descubierto por LLM puede ser igual o más efectivo para tareas de preguntas y respuestas debido a una mejor alineación semántica con consultas en lenguaje natural.
Recuperación Estratégica: Los hallazgos sugieren que las estrategias de recuperación deben estar condicionadas a la capacidad del modelo. Los modelos más pequeños deben evitar bucles de agentes complejos en favor de la recuperación directa para evitar la degradación.
Direcciones Futuras: Los autores planean extender el pipeline al análisis de código fuente (traversando grafos de código junto con KG de políticas) y explorar métodos avanzados de alineación de entidades (más allá de la similitud de incrustaciones) para resolver el cuello de botella de la discrepancia de vocabulario entre políticas.

Limitaciones: La evaluación se limita a marcos occidentales en idioma inglés, utiliza un conjunto pequeño de preguntas (42 elementos) y depende de una puntuación automatizada sin estudios de usuarios desarrolladores humanos.