🤖 AI

Toward Effective and Reliable LLM Agents via Dynamic Ontology

El artículo presenta OaK, un marco de trabajo que construye y refina dinámicamente ontologías orientadas a tareas para fundamentar explícitamente el conocimiento y las relaciones, mejorando así la utilización de la evidencia y la fiabilidad del razonamiento de múltiples pasos en agentes de modelos de lenguaje extensos.

Autores originales: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un tipo específico de software conocido como "modelo de lenguaje de gran tamaño" (large language model), que se ha convertido en una herramienta poderosa para comprender y generar el lenguaje humano. Estos modelos se utilizan a menudo para construir "agentes", que son programas diseñados no solo para charlar, sino para realizar tareas complejas descomponiéndolas en pasos más pequeños, como buscar información, utilizar herramientas digitales y tomar decisiones basadas en lo que encuentran. Sin embargo, a medida que estos agentes intentan trabajos más largos y complicados, suelen tener dificultades. Pueden perder el rastro de los hechos que necesitan, dar saltos lógicos que no se sostienen o quedarse atrapados en bucles de error porque dependen demasiado del vasto conocimiento no estructurado almacenado dentro de su propia memoria. Para resolver esto, los investigadores están explorando formas de dar a estos agentes un mapa más claro y organizado del mundo que están navegando, asegurando que cada paso que den esté basado en evidencia fiable en lugar de conjeturas.

Un equipo de investigadores de la Universidad de Nanjing y otras instituciones ha desarrollado un nuevo marco llamado OaK para abordar estos problemas de fiabilidad. Su trabajo se centra en un concepto llamado "ontología", que es esencialmente un diccionario estructurado de conceptos y las relaciones entre ellos, escrito de una manera que las computadoras puedan interpretar estrictamente. Mientras que los métodos tradicionales para crear estas estructuras requieren que los expertos definan manualmente cada regla —un proceso lento y difícil—, el nuevo sistema automatiza la creación de estos mapas específicamente para la tarea en cuestión. Los investigadores descubrieron que, al construir una estructura personalizada y dinámica para cada trabajo, podían mejorar significamente la capacidad de un agente para planificar y ejecutar tareas de múltiples pasos, haciendo que el proceso sea más transparente y menos propenso al fallo.

El núcleo del sistema OaK es un proceso de dos etapas que ocurre antes de que el agente intente una tarea del mundo real. Primero, el sistema analiza un conjunto de ejemplos de entrenamiento y los requisitos específicos de un trabajo, como planificar un viaje o gestionar datos de clientes. Luego, redacta automáticamente un esquema (schema), que es un plano que define los tipos de información importantes involucrados, como "hoteles", "vuelos" o "presupuestos", y cómo se conectan. Este plano no es solo una lista; es revisado rigurosamente por un razonador lógico para asegurar que no haya contradicciones o reglas faltantes. Si el plano es defectuoso, el sistema lo corrige antes de continuar. Una vez que el plano es sólido, el sistema construye un grafo de conocimiento, una red de puntos de datos reales extraídos de los materiales de entrenamiento, organizados exactamente según las reglas del plano.

Con esta base estructurada en su lugar, el sistema crea un conjunto de herramientas especializadas, o funciones, que el agente puede utilizar. En lugar de pedirle al agente que averigüe cómo buscar un vuelo, filtrar por precio y verificar la disponibilidad por sí mismo, el sistema proporciona herramientas preconfiguradas que realizan estas acciones específicas correctamente. El agente utiliza entonces estas herramientas para resolver problemas, guiado por las reglas estrictas del plano. Si el agente comete un error o la tarea falla, un modelo "juez" revisa todo el proceso, identifica exactamente dónde fallaron el plano o las herramientas y sugiere mejoras. Este ciclo de construcción, prueba y refinamiento se repite varias veces hasta que el sistema es lo suficientemente robusto como para manejar preguntas no vistas anteriormente. El resultado es un "núcleo" (kernel), una interfaz fiable y congelada que el agente utiliza para interactuar con los datos, asegurando que cada decisión esté respaldada por evidencia y que el agente no pueda inventar hechos accidentalmente o ignorar restricciones.

Los investigadores probaron este enfoque en tres tipos de desafíos muy diferentes para ver si se mantenía en el mundo real. El primero fue una tarea de planificación de viajes donde un agente tenía que organizar vuelos, hoteles, comidas y actividades mientras cumplía con estrictas restricciones de presupuesto y horario. El segundo consistió en la gestión de relaciones con clientes en un entorno empresarial, requiriendo que el agente siguiera políticas de empresa complejas y recuperara registros específicos. El tercero puso a prueba la capacidad de combinar información de diversas fuentes externas, como bases de datos de vuelos y reseñas de restaurantes, para responder preguntas detalladas. En cada caso, el sistema OaK superó a los métodos estándar. En la tarea de planificación de viajes, por ejemplo, el sistema mejoró la tasa de éxito de completar un itinerario completo y válido de aproximadamente un 15 por ciento a casi un 56 por ciento al usar uno de los modelos base, y de alrededor de un 4 por ciento a casi un 20 por ciento con otro. También mostró ganancias significativas en las tareas de negocios y de datos, particularmente en escenarios donde el agente necesitaba seguir reglas estrictas o combinar datos de múltiples tablas.

El estudio también reveló por qué ocurrieron estas mejoras. Cuando los investigadores eliminaron las herramientas personalizadas o impidieron que el sistema refinara su plano durante múltiples rondas, el rendimiento cayó drásticamente. Esto indicó que dar acceso a los datos al agente no era suficiente; el agente necesitaba las reglas estructuradas y las herramientas preempaquetadas para coordinar sus acciones de manera efectiva. El sistema funcionó haciendo que el proceso de razonamiento del agente fuera visible y restringido, evitando que se desviara hacia suposiciones sin fundamento. Aunque el nuevo método requería un poco más de tiempo para ejecutarse y producía más texto de salida que algunos enfoques más simples, utilizó menos tokens de entrada, lo que sugiere que la interfaz estructurada hizo que el agente fuera más eficiente al procesar la información que necesitaba. Los investigadores concluyeron que, al convertir el conocimiento del dominio en una interfaz ejecutable y autocorregible, podían hacer que los agentes de inteligencia artificial fueran más fiables, confiables y capaces de manejar el razonamiento complejo de múltiples pasos requerido en las aplicaciones del mundo real.

Resumen Técnico: OaK – Hacia Agentes de LLM Eficaces y Fiables mediante una Ontología Dinámica

Declaración del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) actualmente dependen en gran medida del conocimiento codificado dentro de los parámetros del modelo o presentado como contexto no estructurado. En tareas de dominio específico, esta dependencia deja las conexiones semánticas críticas de forma implícita, lo que conduce a una utilización incompleta de la evidencia y a una toma de decisiones de múltiples pasos frágil. Si bien las ontologías ofrecen un mecanismo para externalizar conceptos y relaciones de dominio en estructuras interpretables por máquinas, la construcción de ontologías tradicional requiere un esfuerzo experto considerable y carece de escalabilidad. Además, la construcción automática es un desafío; una ontología que parece semánticamente plausible puede seguir careciendo de las estructuras relacionales específicas requeridas para la toma de decisiones real.

El desafío central identificado es que las arquitecturas de agentes actuales (por ejemplo, ReAct, bucles basados en reflexión) mejoran la planificación y la reutilización de la memoria, pero dejan el conjunto de conceptos admisibles y secuencias de acciones de forma implícita. En consecuencia, el comportamiento del agente carece de un contrato ejecutable sobre qué puede ejecutar o cómo deben verificarse los resultados, lo que dificulta rastrear fallos de ejecución o asegurar que los resultados estén fundamentados en evidencia de apoyo.

Metodología: El Marco de Trabajo OaK

Los autores proponen OaK (Ontology-as-a-Kernel / Ontología como Núcleo), un marco que construye y refina dinámicamente ontologías orientadas a tareas para servir como un contrato semántico y procedimental para los agentes de LLM. OaK opera en dos etapas distintas: una fase de construcción sobre los datos de entrenamiento y una fase de inferencia sobre consultas no vistas.

1. El Núcleo de la Ontología (Ontology Kernel)

El marco empaqueta la interfaz de la tarea en un núcleo $K = (S, F)$ , donde:

$S$ (Esquema): Un esquema orientado a la tarea que define los conceptos de dominio disponibles, sus propiedades, relaciones y restricciones.
$F$ (Funciones): Un conjunto de funciones de razonamiento tipadas que definen procedimientos ejecutables para recuperación, filtrado, recorrido, proyección, agregación y razonamiento de múltiples pasos.

2. Bucle de Construcción

La etapa de construcción ejecuta un bucle de refinamiento iterativo de cuatro pasos sobre los datos de entrenamiento:

Paso 1: Construcción del Esquema: Un LLM analiza las descripciones de las tareas y las muestras de entrenamiento para redactar una especificación de requisitos ( $R$ ). Luego, redacta un esquema ( $S_t$ ) basado en $R$ y en la retroalimentación de la ronda anterior. Este borrador se somete a una verificación formal mediante la codificación como una ontología OWL y la ejecución del razonador HermiT para comprobar la validez lógica (disjuntividad, restricciones, consistencia y clases insatisfacibles). Los esquemas inválidos se reparan basándose en contraejemplos.
Paso 2: Instanciación del Grafo de Conocimiento: Utilizando el esquema validado, OaK instancia un Grafo de Conocimiento ( $G_t$ ) a partir de los corpus de referencia. Esto emplea un flujo de trabajo de "fragmentar–mapear–fusionar" (chunk–map–merge) donde un extractor de LLM mapea fragmentos de texto a entidades y relaciones tipadas, seguido de un operador de fusión que resuelve duplicados utilizando claves primarias declaradas en el esquema para crear nodos canónicos.
Paso 3: Razonamiento de Conocimiento (Composición de Funciones): Un LLM de composición ensambla un catálogo de funciones adaptadas al dominio ( $F_t$ ) mediante la composición de operadores genéricos (por ejemplo, búsqueda de entidades, filtrado de restricciones) basados en patrones de razonamiento recurrentes observados en las consultas de entrenamiento. Estas funciones se prueban en $G_t$ para asegurar su ejecutabilidad.
Paso 4: Evaluación de la Ontología: Un agente ReAct ejecuta las consultas de entrenamiento utilizando el núcleo actual. Un modelo juez revisa las trayectorias de ejecución, las puntuaciones de las tareas y el propio núcleo para generar sugerencias de reparación ( $\psi_t$ ). Estas sugerencias se dirigen a artefactos específicos (tipos de entidad, relaciones o funciones) para su adición, eliminación o modificación, retroalimentando los Pasos 1 y 3 para la siguiente iteración.

3. Fase de Inferencia

Una vez que el bucle concluye, el núcleo se congela ( $S^*, F^*$ ). Para consultas de prueba no vistas, el agente opera estrictamente dentro de este espacio semántico verificado. Instancia un grafo específico de la consulta ( $G_q$ ) y resuelve la tarea invocando las funciones congeladas como herramientas, vinculando argumentos tipados de acuerdo con el esquema. Esto restringe al agente a composiciones ejecutables y restringidas por el esquema, evitando la generación abierta de inferencias no soportadas.

Contribuciones Clave

Ontología como Núcleo: La introducción de un marco que acopla un esquema orientado a la tarea con funciones de razonamiento tipadas y un grafo de evidencia guiado por el esquema, sirviendo como una interfaz controlada entre los LLM y las tareas de dominio.
Pipeline de Construcción Automatizado: Un sistema que construye automáticamente un esquema verificado, instancia su grafo de conocimiento y compila operadores genéricos en funciones de dominio ejecutables sin intervención experta manual.
Refinamiento Guiado por el Juez: Un mecanismo que diagnostica y repara fallos de esquema y de función a través de rondas de construcción utilizando puntuaciones de tareas oficiales y trayectorias de ejecución.
Validación Empírica: Experimentos exhaustivos que demuestran mejoras de rendimiento consistentes a través de diversos benchmarks y backbones de LLM.

Resultados Experimentales

OaK fue evaluado en tres benchmarks: TravelPlanner (planificación de múltiples pasos), CRMArenaPro (ejecución de flujo de trabajo CRM) y ToolQA (uso de herramientas composicionales sobre corpus heterogéneos). El marco fue probado utilizando dos backbones de LLM: DeepSeek-v4-flash y GPT-4o-mini.

TravelPlanner: OaK alcanzó las tasas de éxito final más altas y lideró todas las métricas de macro nivel. Superó a bases sólidas (ReAct, AFlow, MemP, ReCode, AgentSquare) al coordinar eficazmente las restricciones entre componentes (fechas, presupuestos, transporte) a través de su esquema explícito y funciones integradas.
CRMArenaPro: OaK logró las puntuaciones medias más altas tanto en entornos B2B como B2C, destacando particularmente en tareas de Política y Base de Datos. La ejecución basada en el esquema redujo la carga sobre el modelo base para el razonamiento de datos complejos y la selección de registros.
ToolQA: OaK obtuvo el rendimiento de promedio ponderado más alto, demostrando una capacidad superior para componer operaciones sobre corpus heterogéneos al mapear preguntas a procedimientos reutilizables y tipados, restringidos por el esquema de dominio.

Los Estudios de Ablación confirmaron la necesidad de cada componente:

La eliminación de la Composición de Funciones causó la mayor degradación del rendimiento, ya que los agentes tuvieron dificultades para reconstruir operaciones dependientes para cada consulta.
La eliminación del Módulo de Funciones eliminó los procedimientos reutilizables, obligando a los agentes a razonar directamente sobre el grafo completo.
La eliminación del Refinamiento Iterativo (construcción de una sola ronda) resultó en un rendimiento significativamente menor, resaltando la necesidad de reparaciones guiadas por el juez para corregir restricciones faltantes y brechas de razonamiento.

Análisis de Costos: Aunque OaK incurre en mayores costos de tiempo de ejecución y de tokens de salida debido a la instanciación del grafo, logra un mayor rendimiento de la tarea con menos tokens de entrada en comparación con bases como ReAct y MemP, lo que sugiere que las funciones adaptadas al esquema reducen la necesidad de una reconstrucción extensa del contexto.

Significado y Reivindicaciones

El artículo afirma que OaK aborda la brecha de fiabilidad en los agentes de LLM al hacer explícitos la semántica del dominio y el comportamiento ejecutable. Al actuar como un "contrato semántico y procedimental", el núcleo de la ontología restringe las acciones del agente para asegurar que los resultados se conecten con la evidencia de apoyo y que los pasos erróneos puedan identificarse y corregirse.

Los autores enfatizan que OaK complementa los mecanismos de control de agentes existentes (como la reflexión y la memoria) al estructurar la interfaz de la tarea misma. Los resultados sugieren que definir explícitamente la interfaz entre los requisitos de la tarea y la ejecución del agente mejora tanto la eficacia como la inspectabilidad de los agentes de LLM en tareas de razonamiento complejo de múltiples pasos. El artículo reconoce las limitaciones, señalando el costo de la instanciación del grafo y la dependencia de los extractores y jueces basados en LLM, sugiriendo trabajos futuros en grafos reutilizables y bibliotecas de operadores más ricas.