💻 computer science

A Multi-Agent Framework for Diagnosis and Plan Repair in Knowledge Graph Question Answering

Este artigo propõe o TRACE, um framework multiagente que aprimora o Questionamento de Grafos de Conhecimento por meio do diagnóstico e reparo dinâmicos de planos de raciocínio de LLMs através de recuperação e verificação de evidências direcionadas, mitigando assim alucinações e melhorando a precisão em relação às abordagens estáticas existentes.

Autores originais: Xiaohong Yu, Shunzhi Wang, Jun Wu, Jijun Zhu

Publicado 2026-10-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiaohong Yu, Shunzhi Wang, Jun Wu, Jijun Zhu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, os computadores aprenderam a ler, escrever e raciocinar com uma fluência que antes parecia impossível. Esses sistemas, conhecidos como grandes modelos de linguagem, podem responder a perguntas complexas baseando-se na vasta quantidade de texto que estudaram. No entanto, essa força é também uma fraqueza. Como esses modelos dependem do que memorizaram, eles podem, por vezes, inventar fatos ou afirmar com confiança coisas que são simplesmente falsas, um problema que os investigadores chamam de alucinação. Para corrigir isso, os cientistas começaram a conectar estes modelos a grafos de conhecimento, que são bases de dados estruturadas de factos que atuam como um mapa fiável do mundo. Embora esta combinação ajude, os métodos atuais seguem frequentemente um caminho rígido: geram um plano, procuram factos e avançam. Se o plano contiver um erro logo no início, o sistema muitas vezes não consegue notar, continuando pelo caminho errado até que a resposta final esteja errada. O desafio tem sido criar um sistema que possa não apenas procurar factos, mas também parar, verificar o seu trabalho e corrigir-se quando a evidência não corresponde às suas expectativas.

Uma equipa de investigadores abordou este desafio com um novo framework chamado TRACE, concebido para tornar a inteligência artificial mais fiável ao responder a perguntas complexas. Em vez de deixar o computador correr através de uma série de passos, o TRACE divide o processo num ciclo cuidadoso de planeamento, verificação e correção. O sistema começa por pedir ao grande modelo de linguagem que crie um plano estruturado, essencialmente um esboço passo a passo de como pretende encontrar a resposta. Este plano é então entregue a um agente especializado que vai ao grafo de conhecimento para encontrar evidências para cada passo específico. Um terceiro agente atua como um auditor rigoroso, comparando as observações previstas pelo modelo com os factos reais recuperados da base de dados. Se os factos coincidirem, o sistema avança. Se não coincidirem, o sistema aciona um mecanismo de reparação que diagnostica exatamente o que correu mal e ajusta o plano de acordo.

Os investigadores testaram esta abordagem em três conjuntos diferentes de perguntas difíceis que exigem a ligação de múltiplos fragmentos de informação. Eles descobriram que o TRACE superou consistentemente outros métodos que dependem de agentes para interagir com grafos de conhecimento. Ao utilizar um modelo poderoso conhecido como GPT-4, o novo framework alcançou uma pontuação de correspondência exata de 80,0 por cento, o que significa que acertou a resposta 80 por cento das vezes, comparativamente aos 78,0 por cento do segundo melhor método. Mais importante ainda, o sistema mostrou uma melhoria significativa na qualidade das suas respostas parciais, com uma pontuação de 66,8 face aos 48,8 do concorrente. Isto sugere que, mesmo quando o sistema não obtém a resposta perfeita, está muito mais próximo da verdade do que os métodos anteriores. O estudo também mostrou que esta abordagem funciona bem com modelos menores e menos potentes, ajudando-os a evitar a armadilha comum de inventar factos.

O que torna o TRACE distinto é a forma como lida com erros. Nos sistemas tradicionais, se um modelo cometer um erro no primeiro passo de uma cadeia de raciocínio, esse erro espalha-se frequentemente, levando a uma conclusão completamente errada. O TRACE previne isto ao tratar o grafo de conhecimento como um ponto de controlo em cada um dos passos. Se o sistema tentar dizer que um pintor famoso morreu numa cidade específica, mas a base de dados mostrar que ele morreu noutra, o sistema para imediatamente. Não se limita a ignorar o conflito; ativa uma estratégia de reparação. Dependendo do tipo de erro, o sistema pode simplesmente substituir o facto errado pelo correto, retroceder a um passo anterior para tentar um caminho diferente ou dividir a pergunta em partes menores e mais geríveis para garantir que nenhuma restrição é ignorada. Este processo é guiado por um sistema de pontuação que avalia qual a estratégia de reparação que oferece o caminho mais fiável, garantindo que a resposta final está fundamentada em evidências verificadas e não em suposições.

Os investigadores também analisaram o custo de execução deste sistema mais cuidadoso. Como o processo envolve a verificação e a potencial reparação do plano, poder-se-ia esperar que utilizasse significativamente mais poder de computação. No entanto, o estudo descobriu que o TRACE utiliza, de facto, menos palavras, ou tokens, para chegar a uma resposta em comparação com outros métodos avançados. Embora realize um número ligeiramente superior de chamadas ao modelo do que um concorrente, o volume total de texto processado é inferior, tornando o sistema mais eficiente globalmente. Este ganho de eficiência provém da capacidade do sistema de parar precocemente quando deteta um beco sem saída, em vez de desperdiçar recursos a seguir um caminho falho até à sua conclusão. Os resultados sugerem que, ao integrar um mecanismo de autocorreção e verificação, a inteligência artificial pode tornar-se não só mais inteligente, mas também mais eficiente e digna de confiança no seu raciocínio.

Resumo Técnico: TRACE – Um Framework Multi-Agente para Diagnóstico e Reparo de Planos em Questionamento de Grafos de Conhecimento

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram capacidades significativas em raciocínio complexo, mas permanecem propensos a alucinações factuais e erros decorrentes de conhecimento paramétrico incompleto, particularmente em tarefas intensivas em conhecimento. Embora os Grafos de Conhecimento (KGs) ofereçam conhecimento externo estruturado e confiável para mitigar esses problemas, os frameworks existentes de LLMs potencializados por KG sofrem de limitações críticas:

Integração Estática: Métodos atuais frequentemente dependem de mecanismos de integração rígidos e estáticos que não podem ajustar dinamicamente os processos de raciocínio com base em contextos evolutivos ou em novas evidências recuperadas.
Propagação de Erros: Sem verificação dinâmica, erros em etapas iniciais de raciocínio (por exemplo, seleção incorreta de entidade ou deriva de caminho) propagam-se através da cadeia, levando a respostas finais incorretas.
Falta de Mecanismos de Diagnóstico: Abordagens existentes, incluindo métodos apenas de recuperação e baseados em planos, tipicamente falham em verificar explicitamente a consistência semântica entre a evidência recuperada e o objetivo de raciocínio atual. Uma vez que um caminho crítico é podado ou um plano inicial é enviesado, o sistema carece do mecanismo para recuperar ou corrigir a trajetória.

2. Metodologia: O Framework TRACE

O artigo propõe o TRACE (Targeted Repair through Agent Collaboration and KG Evidence), um framework multi-agente projetado para unificar geração de plano, recuperação de KG, diagnóstico passo a passo e reparo de plano em um processo de raciocínio de ciclo fechado. O framework opera através de quatro componentes principais:

2.1 Geração de Plano Inicial

Antes de interagir com o KG, um Agente de Plano (Plan Agent) gera um plano de raciocínio inicial estruturado ( $S$ ) decompondo a consulta em uma sequência de etapas executáveis ( $s_t$ ). Cada etapa inclui um pensamento ( $T_t$ ), uma ação ( $A_t$ ) e uma observação prevista ( $\hat{O}_t$ ). Este plano serve como um "esboço de raciocínio" que expõe as suposições internas do LLM, tornando-as disponíveis para verificação.

2.2 Recuperação de KG com Plano

Um Agente de Recuperação (Retrieve Agent) utiliza a etapa atual do plano como uma condição de recuperação suave para navegar no KG. Em vez de uma expansão não guiada, ele classifica relações candidatas com base na relevância semântica para a consulta e para a etapa atual, recuperando triplas relevantes ( $O_t$ ) para servir como evidência factual.

2.3 Diagnóstico de KG Passo a Passo

Um Agente de Diagnóstico (Diagnostic Agent) avalia a confiabilidade de cada etapa de raciocínio antes de prosseguir. Ele emprega uma arquitetura de duplo verificador:

Verificador baseado em LLM: Analisa a consistência entre a observação prevista pelo modelo ( $\hat{O}_t$ ) e as triplas de KG recuperadas ( $O_t$ ).
Verificador NLI: Um modelo de Inferência de Linguagem Natural leve verifica contradições entre a previsão e a evidência.
Se o sinal de verificação indicar inconsistência ( $V=1$ ), o sistema aciona o módulo de reparo em vez de permitir que o erro se propague.

2.4 Reparo de Plano Passo a Passo

Ao detectar uma inconsistência, o TRACE não regenera todo o caminho. Em vez disso, um Roteador de Reparo de Plano Guiado por Diagnóstico identifica o tipo de erro e seleciona uma estratégia de reparo adaptativa entre cinco opções:

Substituição de Evidência: Troca fatos locais não suportados por evidências fundamentadas no KG.
Expansão de Evidência: Recupera contexto adicional quando a evidência atual é insuficiente.
Rollback de Etapa: Reverte para um estado anterior confiável e reconstrói o caminho se o raciocínio tiver derivado do objetivo original.
Decomposição de Restrições: Decompõe questões complexas em sub-restrições que devem ser verificadas individualmente.
Reparo de Verificação de Resposta: Valida a resposta candidata final contra as restrições acumuladas.

2.5 Mecanismo de Recompensa de Múltiplas Perspectivas

Para garantir a qualidade dos planos reparados, uma Pontuação de Reparo Fundamentada em KG ( $\nu_t$ ) avalia o novo plano com base em:

Coerência do Traço: Fluxo lógico do raciocínio revisado.
Fundamentação em KG: Suporte factual das triplas recuperadas.
Cobertura de Restrições: Adesão às restrições da pergunta original.
Confiança da Resposta: Estabilidade da resposta final.
Eficiência: Penaliza raciocínios excessivamente longos ou redundantes.
Apenas planos com pontuações suficientes são aceitos para as etapas subsequentes de raciocínio.

3. Principais Contribuições

Os autores destacam três contribuições primárias:

Framework de Ciclo Fechado Unificado: O TRACE integra geração de plano, recuperação, diagnóstico e reparo em um único sistema multi-agente colaborativo, indo além da recuperação estática ou do planejamento fixo.
Diagnóstico Impulsionado por Feedback de KG: O framework introduz um mecanismo para inspecionar etapas intermediárias de raciocínio em tempo real, usando evidência de KG para alinhar e reparar planos dinamicamente, em vez de depender apenas do conhecimento paramétrico do LLM.
Reparo e Avaliação Adaptativos: O sistema utiliza um mecanismo de recompensa de múltiplas visões para avaliar caminhos reparados, garantindo que a trajetória de raciocínio selecionada equilibre precisão factual, satisfação de restrições e eficiência.

4. Resultados Experimentais

O framework foi avaliado em três conjuntos de dados de referência: ComplexWebQuestions (CWQ), WebQSP e WebQuestions, utilizando três backbones de LLM: Qwen2.5-7B, GPT-3.5 e GPT-4.

Ganhos de Desempenho: O TRACE superou consistentemente os baselines baseados em agentes (ToG e PoG) em todos os modelos e datasets.
- Sob o GPT-4, o TRACE alcançou um Exact Match (EM) médio de 80.0 e F1 de 66.8, comparado ao PoG de 78.0/48.8.
- Sob o Qwen2.5-7B, o TRACE melhorou o F1 médio de 34.0 (PoG) para 52.1 e o EM de 50.2 para 59.8.
Comparação com Métodos de Ajuste Fino (Fine-Tuning): Apesar de não utilizar ajuste fino supervisionado específico para a tarefa, o TRACE alcançou resultados competitivos contra métodos de KG-RAG ajustados (ex: RoG, GNN-RAG), sugerindo que o uso eficaz de feedback de KG durante a inferência é uma alternativa potente ao ajuste de parâmetros.
Análise de Eficiência: Uma análise de custo usando GPT-4o-mini revelou que o TRACE reduziu significativamente o consumo de tokens em comparação ao ToG (até 39.3% no WebQSP) e ao PoG (35.7% no WebQSP), embora tenha exigido um aumento marginal nas chamadas de API em relação ao PoG. Isso indica um compromisso onde o TRACE alcança maior precisão e menor uso de tokens por pergunta através de um raciocínio mais eficiente e direcionado.

5. Significância e Alegações

O artigo afirma que a significância do TRACE reside em sua capacidade de tratar o feedback do KG não meramente como contexto externo para geração de resposta, mas como um sinal de diagnóstico de nível de processo. Ao verificar continuamente estados intermediários e reparar dinamicamente caminhos de raciocínio, o TRACE aborda as limitações centrais de alucinação e propagação de erros no raciocínio de LLMs.

Os autores enfatizam que sua abordagem demonstra que o diagnóstico guiado por evidência e o reparo de plano podem aumentar significativamente a confiabilidade de LLMs potencializados por KG sem exigir retreinamento extensivo. O framework fornece um mecanismo robusto para que os LLMs se autocorrijam quando seu conhecimento interno conflita com evidências externas estruturadas, melhorando assim tanto a precisão quanto a interpretabilidade de tarefas de raciocínio complexo.