🤖 AI

Toward Effective and Reliable LLM Agents via Dynamic Ontology

O artigo apresenta o OaK, um framework que constrói e refina dinamicamente ontologias orientadas a tarefas para fundamentar explicitamente conhecimentos e relações, aumentando, assim, a utilização de evidências e a confiabilidade do raciocínio de múltiplas etapas em agentes de modelos de linguagem de grande escala.

Autores originais: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Publicado 2026-08-25

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaohui Zhang, Zequn Sun, Chengyuan Yang, Yuanning Cui, Lingbing Guo, Wei Hu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, um tipo específico de software conhecido como "modelo de linguagem de grande escala" surgiu como uma ferramenta poderosa para compreender e gerar a linguagem humana. Esses modelos são frequentemente usados para construir "agentes", que são programas projetados não apenas para conversar, mas para realizar tarefas complexas ao decompô-las em etapas menores, como pesquisar informações, usar ferramentas digitais e tomar decisões com base no que encontram. No entanto, à medida que esses agentes tentam trabalhos mais longos e complicados, eles frequentemente enfrentam dificuldades. Eles podem perder o rastro dos fatos de que precisam, dar saltos lógicos que não se sustentam ou ficar presos em loops de erro porque dependem excessivamente do vasto conhecimento não estruturado armazenado dentro de sua própria memória. Para resolver isso, pesquisadores estão explorando maneiras de dar a esses agentes um mapa do mundo que eles navegam mais claro e organizado, garantindo que cada passo que deem seja fundamentado em evidências confiáveis em vez de suposições.

Uma equipe de pesquisadores da Universidade de Nanjing e outras instituições desenvolveu um novo framework chamado OaK para abordar esses problemas de confiabilidade. O trabalho deles foca em um conceito chamado "ontologia", que é essencialmente um dicionário estruturado de conceitos e das relações entre eles, escrito de uma forma que os computadores possam interpretar estritamente. Enquanto os métodos tradicionais para criar essas estruturas exigem que especialistas definam manualmente cada regra — um processo lento e difícil — o novo sistema automatiza a criação desses mapas especificamente para a tarefa em questão. Os pesquisadores descobriram que, ao construir uma estrutura personalizada e dinâmica para cada trabalho, eles poderiam melhorar significamente o desempenho de um agente ao planejar e executar tarefas de múltiplas etapas, tornando o processo mais transparente e menos propenso a falhas.

O núcleo do sistema OaK é um processo de duas etapas que ocorre antes de o agente tentar uma tarefa do mundo real. Primeiro, o sistema analisa um conjunto de exemplos de treinamento e os requisitos específicos de um trabalho, como planejar uma viagem ou gerenciar dados de clientes. Em seguida, ele redige automaticamente um esquema, que é um projeto definindo os tipos importantes de informações envolvidas, como "hotéis", "voos" ou "orçamentos", e como eles se conectam. Este projeto não é apenas uma lista; ele é rigorosamente verificado por um raciocinador lógico para garantir que não haja contradições ou regras ausentes. Se o projeto estiver falho, o sistema o corrige antes de prosseguir. Uma vez que o projeto esteja sólido, o sistema constrói um grafo de conhecimento, uma rede de pontos de dados reais extraídos dos materiais de treinamento, organizada exatamente de acordo com as regras do projeto.

Com essa fundação estruturada em vigor, o sistema cria um conjunto de ferramentas especializadas, ou funções, que o agente pode usar. Em vez de pedir ao agente para descobrir como pesquisar um voo, filtrar por preço e verificar a disponibilidade por conta própria, o sistema fornece ferramentas pré-construídas que realizam essas ações específicas corretamente. O agente então usa essas ferramentas para resolver problemas, guiado pelas regras estritas do projeto. Se o agente cometer um erro ou a tarefa falhar, um modelo "juiz" revisa todo o processo, identifica exatamente onde o projeto ou as ferramentas falharam e sugere melhorias. Este ciclo de construção, teste e refinamento se repete várias vezes até que o sistema seja robusto o suficiente para lidar com perguntas não vistas. O resultado é um "kernel", uma interface confiável e congelada que o agente usa para interagir com os dados, garantindo que cada decisão seja respaldada por evidências e que o agente não possa acidentalmente inventar fatos ou ignorar restrições.

Os pesquisadores testaram essa abordagem em três tipos de desafios muito diferentes para ver se ela se sustentava no mundo real. O primeiro foi uma tarefa de planejamento de viagem, onde um agente tinha que organizar voos, hotéis, refeições e atividades enquanto aderia a rigorosas restrições de orçamento e cronograma. O segundo envolveu o gerenciamento de relacionamentos com clientes em um ambiente empresarial, exigindo que o agente seguisse políticas complexas da empresa e recuperasse registros específicos. O terceiro testou a capacidade de combinar informações de várias fontes externas, como bancos de dados de voos e avaliações de restaurantes, para responder a perguntas detalhadas. Em todos os casos, o sistema OaK superou os métodos padrão. No planejamento de viagens, por exemplo, o sistema melhorou a taxa de sucesso na conclusão de um itinerário completo e válido de aproximadamente 15 por cento para quase 56 por cento ao usar um de os modelos base, e de cerca de 4 por cento para quase 20 por cento com outro. Também mostrou ganhos significativos nas tarefas de negócios e de dados, particularmente em cenários onde o agente precisava seguir regras estritas ou combinar dados de várias tabelas.

O estudo também revelou por que essas melhorias aconteceram. Quando os pesquisadores removeram as ferramentas construídas sob medida ou impediram o sistema de refinar seu projeto ao longo de várias rodadas, o desempenho caiu drasticamente. Isso indicou que simplesmente dar acesso aos dados ao agente não era suficiente; o agente precisava das regras estruturadas e das ferramentas pré-embaladas para coordenar suas ações de forma eficaz. O sistema funcionou ao tornar o processo de raciocínio do agente visível e restrito, evitando que ele se perdesse em suposições não fundamentadas. Embora o novo método exigisse um pouco mais de tempo para rodar e produzisse mais texto de saída do que algumas abordagens mais simples, ele utilizou menos tokens de entrada, sugerindo que a interface estruturada tornou o agente mais eficiente no processamento das informações de que precisava. Os pesquisadores concluíram que, ao transformar o conhecimento de domínio em uma interface executável e autocorretiva, eles poderiam tornar os agentes de inteligência artificial mais confiáveis, dignos de confiança e capazes de lidar com o raciocínio complexo de múltiplas etapas exigido em aplicações do mundo real.

Resumo Técnico: OaK – Rumo a Agentes de LLM Eficazes e Confiáveis via Ontologia Dinâmica

Declaração do Problema

Os agentes de Grandes Modelos de Linguagem (LLMs) atualmente dependem fortemente do conhecimento codificado nos parâmetros do modelo ou apresentado como contexto não estruturado. Em tarefas específicas de domínio, essa dependência deixa conexões semânticas críticas implícitas, levando a uma utilização incompleta de evidências e a uma tomada de decisão multi-etapas frágil. Embora as ontologias ofereçam um mecanismo para externalizar conceitos e relações de domínio em estruturas interpretáveis por máquinas, a construção de ontologias tradicional é trabalhosa, exigindo um esforço substancial de especialistas e carecendo de escalabilidade. Além disso, a construção automática é desafiadora; uma ontologia que pareça semanticamente plausível ainda pode carecer das estruturas relacionais específicas necessárias para a tomada de decisão real.

O desafio central identificado é que as arquiteturas de agentes atuais (por exemplo, ReAct, loops baseados em reflexão) melhoram o planejamento e o reuso de memória, mas deixam o conjunto de conceitos admissíveis e sequências de ações implícito. Consequentemente, o comportamento do agente carece de um contrato aplicável sobre o que ele pode executar ou como os resultados devem ser verificados, tornando difícil rastrear falhas de execução ou garantir que as saídas estejam fundamentadas em evidências de suporte.

Metodologia: O Framework OaK

Os autores propõem o OaK (Ontology-as-a-Kernel), um framework que constrói e refina dinamicamente ontologias orientadas a tarefas para servir como um contrato semântico e procedimental para agentes de LLM. O OaK opera em duas fases distintas: uma fase de construção nos dados de treinamento e uma fase de inferência em consultas não vistas.

1. O Núcleo da Ontologia (Ontology Kernel)

O framework empacota a interface da tarefa em um núcleo $K = (S, F)$ , onde:

$S$ (Esquema): Um esquema orientado à tarefa que define os conceitos de domínio disponíveis, suas propriedades, relações e restrições.
$F$ (Funções): Um conjunto de funções de raciocínio tipadas que definem procedimentos executáveis para recuperação, filtragem, travessia, projeção, agregação e raciocínio de múltiplas etapas.

2. Ciclo de Construção

A etapa de construção executa um ciclo de refinamento iterativo de quatro etapas sobre os dados de treinamento:

Etapa 1: Construção do Esquema: Um LLM analisa descrições de tarefas e amostras de treinamento para redigir uma especificação de requisitos ( $R$ ). Ele então redige um esquema ( $S_t$ ) baseado em $R$ e no feedback da rodada anterior. Este rascunho passa por uma verificação formal ao ser codificado como uma ontologia OWL e submetido ao reasoner HermiT para verificar a validade lógica (disjunção, restrições, consistência e classes insatisfatíveis). Esquemas inválidos são reparados com base em contraexemplos.
Etapa 2: Instanciação do Grafo de Conhecimento: Usando o esquema validado, o OaK instancia um Grafo de Conhecimento ( $G_t$ ) a partir dos corpora de referência. Isso emprega um pipeline de "chunk–map–merge" onde um extrator LLM mapeia fragmentos de texto para entidades e relações tipadas, seguido por um operador de fusão que resolve duplicatas usando chaves primárias declaradas no esquema para criar nós canônicos.
Etapa 3: Raciocínio de Conhecimento (Composição de Funções): Um LLM compositor assemble um catálogo de funções adaptadas ao domínio ( $F_t$ ) compondo operadores genéricos (ex: busca de entidade, filtragem de restrição) baseados em padrões de raciocínio recorrentes observados nas consultas de treinamento. Essas funções são testadas em $G_t$ para garantir a executabilidade.
Etapa 4: Avaliação da Ontologia: Um agente ReAct executa as consultas de treinamento usando o núcleo atual. Um modelo juiz revisa as trajetórias de execução, pontuações de tarefas e o próprio núcleo para gerar sugestões de reparo ( $\psi_t$ ). Essas sugestões visam artefatos específicos (tipos de entidade, relações ou funções) para adição, exclusão ou modificação, retroalimentando as Etapas 1 e 3 para a próxima iteração.

3. Fase de Inferência

Uma vez concluído o ciclo, o núcleo é congelado ( $S^*, F^*$ ). Para consultas de teste não vistas, o agente opera estritamente dentro deste espaço semântico verificado. Ele instancia um grafo específico da consulta ( $G_q$ ) e resolve a tarefa invocando as funções congeladas como ferramentas, vinculando argumentos tipados de acordo com o esquema. Isso restringe o agente a composições executáveis e limitadas pelo esquema, impedindo a geração aberta de inferências não suportadas.

Principais Contribuições

Ontologia como um Núcleo: A introdução de um framework que acopla um esquema orientado à tarefa com funções de raciocínio tipadas e um grafo de evidência guiado pelo esquema, servindo como uma interface controlada entre LLMs e tarefas de domínio.
Pipeline de Construção Automatizada: Um sistema que constrói automaticamente um esquema verificado, instancia seu grafo de conhecimento e compila operadores genéricos em funções de domínio executáveis sem intervenção manual de especialistas.
Refinamento Dirigido por Juiz: Um mecanismo que diagnostica e repara falhas de esquema e função através de rodadas de construção usando pontuações oficiais de tarefas e trajetórias de execução.
Validação Empírica: Experimentos abrangentes demonstrando ganhos de desempenho consistentes em diversos benchmarks e backbones de LLM.

Resultados Experimentais

O OaK foi avaliado em três benchmarks: TravelPlanner (planejamento de múltiplas etapas), CRMArenaPro (execução de fluxo de trabalho de CRM) e ToolQA (uso composicional de ferramentas sobre corpora heterogêneos). O framework foi testado usando dois backbones de LLM: DeepSeek-v4-flash e GPT-4o-mini.

TravelPlanner: O OaK alcançou as maiores taxas de aprovação finais e liderou em todas as métricas de nível macro. Superou bases fortes (ReAct, AFlow, MemP, ReCode, AgentSquare) ao coordenar efetivamente restrições entre componentes (datas, orçamentos, transporte) através de seu esquema explícito e funções integradas.
CRMArenaPro: O OaK alcançou as maiores pontuações médias tanto em configurações B2B quanto B2C, destacando-se particularmente em tarefas de Política e Banco de Dados. A execução fundamentada no esquema reduziu a carga sobre o modelo de base para raciocínio de dados complexos e seleção de registros.
ToolQA: O OaK obteve o maior desempenho de média ponderada, demonstrando capacidade superior de compor operações sobre corpora heterogêneos ao mapear perguntas para procedimentos reutilizáveis e tipados, limitados pelo esquema de domínio.

Estudos de Ablação confirmaram a necessidade de cada componente:

A remoção da Composição de Funções causou a maior degradação de desempenho, pois os agentes tiveram dificuldade em reconstruir operações dependentes para cada consulta.
A remoção do Módulo de Função eliminou procedimentos reutilizáveis, forçando os agentes a raciocinar diretamente sobre o grafo completo.
A remoção do Refinamento Iterativo (construção de rodada única) resultou em desempenho significativamente inferior, destacando a necessidade de reparos guiados por juiz para corrigir lacunas de restrição e raciocínio.

Análise de Custo: Embora o OaK incorra em custos mais altos de tempo de execução e tokens de saída devido à instanciação do grafo, ele alcança maior desempenho de tarefa com menos tokens de entrada comparado a bases como ReAct e MemP, sugerindo que funções adaptadas ao esquema reduzem a necessidade de reconstrução de contexto extensiva.

Significância e Alegações

O artigo afirma que o Oação aborda a lacuna de confiabilidade nos agentes de LLM ao tornar a semântica de domínio e o comportamento executável explícitos. Ao atuar como um "contrato semântico e procedimental", a ontologia do núcleo restringe as ações do agente para garantir que as saídas se conectem a evidências de suporte e que etapas defeituosas possam ser identificadas e corrigidas.

Os autores enfatizam que o OaK complementa os mecanismos de controle de agentes existentes (como reflexão e memória) ao estruturar a própria interface da tarefa. Os resultados sugerem que definir explicitamente a interface entre os requisitos da tarefa e a execução do agente melhora tanto a eficácia quanto a inspetabilidade dos agentes de LLM em tarefas de raciocínio complexas e de múltiplas etapas. O artigo reconhece limitações, observando o custo da instanciação do grafo e a dependência de extratores e juízes baseados em LLM, sugerindo trabalhos futuros em grafos reutilizáveis e bibliotecas de operadores mais ricas.