🤖 AI

From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents

Este artigo apresenta o RUPA, um framework de quantificação de incerteza em nível de trajetória que modela históricos de execução como grafos direcionados para propagar a incerteza através de dependências relacionais, superando, assim, os métodos existentes na detecção de acumulação de erros de longo alcance e melhorando a confiabilidade de agentes de LLM em ambientes interativos complexos.

Autores originais: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, surgiu uma nova geração de software que faz mais do que apenas responder perguntas ou escrever textos. Esses sistemas, conhecidos como agentes autônomos, são projetados para agir por conta própria. Eles podem decompor um objetivo complexo em etapas menores, usar ferramentas digitais para coletar informações e interagir com ambientes computacionais para resolver problemas que exigem dezenas ou até centenas de decisões. Pense neles como funcionários digitais capazes de navegar pela internet, escrever código ou gerenciar dados sem supervisão humana constante. No entanto, à medida que esses agentes assumem tarefas mais difíceis, surge uma questão crítica: como podemos saber se eles estão prestes a cometer um erro? Diferente de um simples gerador de texto que pode produzir uma única frase errada, a falha de um agente é frequentemente um processo lento. Um pequeno erro cometido no início de uma longa cadeia de raciocínio pode propagar-se adiante, distorcendo etapas posteriores e levando a um colapso completo no resultado final. Para que esses sistemas sejam confiáveis no mundo real, os desenvolvedores precisam de uma maneira de medir o risco de falha conforme ele acontece, e não apenas depois do fato.

Pesquisadores há muito tempo tentam construir sistemas que possam dizer quando um modelo está incerto. Os métodos tradicionais geralmente observam a saída imediata do computador, verificando o quão confiante o modelo parece estar sobre a próxima palavra que está prestamente a gerar. Essa abordagem funciona bem para tarefas curtas, mas falha quando a tarefa se estende por um longo período de tempo. O problema é que esses métodos tratam cada etapa como um evento isolado, ignorando o histórico de como o agente chegou até ali. Eles perdem as conexões sutis entre uma decisão tomada dez passos atrás e a ação atual. Se um agente entende mal o pedido de um usuário no início, essa confusão inicial pode não parecer um erro no momento, mas pode fazer com que todo o projeto saia dos trilhos mais tarde. As ferramentas atuais são como um motorista que olha apenas para a estrada diretamente à frente do carro, perdendo o fato de que uma curva errada foi feita quilômetros atrás e que eventualmente levará a um beco sem saída.

Para resolver isso, uma equipe de pesquisadores da Academia Chinesa de Ciências desenvolveu um novo framework chamado RUPA. Em vez de visualizar o trabalho de um agente como uma simples lista de etapas, eles mapeiam todo o processo como uma rede de eventos conectados. Neste sistema, cada ação, uso de ferramenta e peça de feedback é um nó em um grafo, e as linhas que os conectam representam as relações lógicas entre eles. Os pesquisadores descobriram que os erros frequentemente viajam ao longo dessas conexões específicas. Ao construir este mapa, o sistema pode rastrear como a incerteza cresce e se move através do histórico do agente. Ele calcula uma pontuação de risco para o momento atual olhando não apenas para a confiança imediata do modelo, mas também para a confiabilidade do caminho que o levou até ali. Se uma etapa inicial foi instável, o sistema reconhece que a etapa atual está construída sobre uma base fraca, mesmo que a etapa atual em si pareça confiante.

A equipe testou essa abordagem em uma ampla variedade de tarefas desafiadoras, incluindo problemas complexos de engenharia de software, desafios de computação baseados em terminal e cenários de resolução de problemas abertos. Eles realizaram esses testes usando seis modelos de linguagem de grande escala diferentes, variando de sistemas menores a muito grandes. Os resultados mostraram que este novo método foi significamente melhor em detectar problemas do que as técnicas existentes. Em um conjunto de testes, o novo sistema melhorou a capacidade de detectar falhas por uma margem perceptível em comparação com os melhores métodos anteriores. Mais importante ainda, ele conseguiu identificar falhas potenciais muito mais cedo no processo. Enquanto os métodos antigos frequentemente só percebiam que algo estava errado perto do fim, esta nova abordagem podia sinalizar perigo após apenas alguns passos, dando ao sistema a chance de corrigir seu curso antes que a tarefa fosse arruinada.

Os pesquisadores também demonstraram que esse melhor entendimento do risco poderia ser usado para fazer os agentes trabalharem melhor. Quando o sistema recebia a escolha entre várias ações possíveis, ele podia usar as pontuações de risco para escolher a opção mais segura. Nesses ensaios, os agentes guiados por este novo método completaram mais tarefas com sucesso do que aqueles guiados por medidas de confiança tradicionais. O estudo sugere que a chave para uma inteligência artificial confiável não é apenas olhar para o momento presente, mas entender a estrutura da jornada. Ao mapear as relações entre cada etapa que um agente toma, podemos ver como pequenas incertezas se acumulam em grandes problemas. Esta abordagem fornece uma maneira prática de construir agentes que sejam não apenas capazes, mas também confiáveis, capazes de navegar em ambientes complexos sem perder o caminho.

Resumo Técnico: Propagação de Incerteza Relacional para Agentes de LLM (RUPA)

Declaração do Problema

A quantificação de incerteza (UQ) confiável é um pré-requisito crítico para o implante de agentes de Grandes Modelos de Linguagem (LLM) em ambientes interativos complexos e de longo horizonte. Embora os métodos de UQ existentes estimem com eficácia a confiança para predições isoladas ou geração de contexto curto, eles têm dificuldade com agentes autônomos que executam raciocínio de múltiplos passos, uso de ferramentas e interações ambientais.

As abordagens atuais dependem predominantemente de sinais locais, como probabilidades de tokens, entropia preditiva ou confiança por passo. Esses métodos ignoram amplamente as dependências de longo alcance, através das quais erros se acumulam e se propagam ao longo de uma trajetória de execução. Consequentemente, eles frequentemente falham em identificar falhas de agentes cujas causas raízes originaram-se vários passos de raciocínio ou interação antes da resposta final. Além disso, os métodos de UQ orientados a agentes que incorporam o histórico tipicamente modelam trajetórias como sequências lineares, falhando em capturar a natureza inerentemente relacional das dependências entre os passos do agente (por exemplo, como um erro inicial influencia o uso subsequente de ferramentas ou como um ciclo de feedback altera o caminho do raciocínio).

Metodologia: Estrutura RUPA

Os autores propõem o RUPA (Relational Uncertainty Propagation for Agents), uma estrutura de UQ ao nível da trajetória que modela a execução do agente como um grafo de dependência estruturado, em vez de uma sequência linear. A metodologia consiste em três componentes principais:

1. Construção do Grafo de Trajetória Relacional

O RUPA converte o histórico de execução de um agente em um grafo direcionado $G = (V, E)$ :

Nós ( $V$ ): Representam eventos de execução, incluindo instruções do usuário, raciocínio/ações do assistente, invocações de ferramentas e observações do ambiente.
Arestas ( $E$ ): Capturam dependências lógicas entre eventos históricos e o passo atual. A estrutura identifica sete tipos específicos de relação:
- Sequencial: Precedente imediato da execução.
- Mais Recente (Latest): Instruções mais recentes do ambiente/usuário.
- Repetição: Ações com padrões de raciocínio ou uso de ferramentas semelhantes.
- Progressão: Passos de raciocínio que estendem soluções existentes.
- Paralela: Ramos de raciocínio alternativos sob o mesmo contexto.
- Feedback: Sinais que indicam falhas de execução ou saídas instáveis.
- Alinhamento de Objetivo (Goal Alignment): Dependência semântica entre o raciocínio atual e o objetivo original da tarefa.

2. Propagação de Incerteza Sensível à Relação

Diferente da agregação sequencial, o RUPA propaga a incerteza através das arestas do grafo com base em sua importância estrutural:

Incerteza Local ( $U_t$ ): Calculada a partir da entropia preditiva para nós do assistente ou sinais de interação observáveis (ex: falhas de execução, respostas vazias) para nós do ambiente.
Pesos das Arestas ( $w_{i,t}$ ): Pesos de propagação aprendidos, determinados pela confiabilidade da relação, força e distância temporal. Dependências estruturalmente importantes exercem maior influência, enquanto estados obsoletos são descontados.
Pontuação de Alinhamento de Objetivo ( $Q_{i,t}$ ): Uma pontuação específica que estima o alinhamento semântico entre o passo atual e o objetivo da tarefa.
Mecanismo de Propagação: O risco estrutural ( $G_t$ ) é calculado agregando a incerteza de nós históricos vizinhos, ponderada por seus pesos de aresta. Isso é combinado com um momentum de incerteza de decaimento exponencial ( $m_t$ ) para preservar tendências de longo alcance.
Estimativa Final: A incerteza ao nível da trajetória ( $R_t$ ) é uma soma ponderada da incerteza local e da incerteza histórica propagada ( $H_t$ ):
$R_t = \lambda_u U_t + \lambda_h H_t$

3. Integração com a Execução do Agente

O sinal propagado é combinado com características comportamentais ao nível da trajetória e informações de alinhamento de objetivo para produzir uma estimativa de confiança para a trajetória completa do agente. Esta estimativa pode ser usada para detecção de risco, reamostragem adaptativa e otimização de decisão.

Principais Contribuições

Identificação de Dependências Relacionais: O trabalho identifica que a incerteza em agentes de LLM é uma propriedade ao nível da trajetória que evolui sobre estruturas relacionais, revelando as limitações de métodos que tratam trajetórias como predições independentes ou sequências lineares.
Estrutura RUPA: A proposta de uma estrutura de UQ baseada em grafos que representa a execução do agente como um grafo relacional direcionado e realiza a propagação de incerteza sensível à relação para estimar o risco de execução.
Validação Empírica: Experimentos extensos em três benchmarks e seis LLMs demonstram que modelar explicitamente dependências estruturais é crucial para uma UQ confiável em agentes de longo horizonte.

Resultados Experimentais

Os autores avaliaram o RUPA em três benchmarks representativos: $\tau$ -2, Terminal-Bench-2 e GAIA, utilizando seis LLMs de código aberto variando de 26B a 230B de parâmetros (incluindo Qwen3.5/3.6, Gemma4-26B, Gemma4-31B, GPT-OSS-120B e MiniMax-M2.7).

Estimativa de Incerteza Superior: O RUPA superou consistentemente os métodos de UQ existentes (incluindo Entropy, Sequence Probability, SAUP, Tracer e UProp) em todas as famílias de modelos. Por exemplo, no modelo MiniMax-M2.7, o RUPA melhorou o AUROC médio de 0.694 (o mais forte baseline) para 0.718.
Detecção Precoce de Falhas: Em avaliações baseadas em prefixo, o RUPA identificou potenciais falhas de execução significativamente mais cedo do que os métodos existentes. A vantagem foi mais pronunciada quando apenas uma pequena fração da trajetória era observada, indicando que os sinais de incerteza propagados emergem cedo no processo de execução.
Melhoria de Desempenho Downstream: Ao ser usado para guiar a execução do agente (selecionando ações com menor incerteza prevista durante a decodificação de múltiplas amostras), o RUPA melhorou consistentemente as taxas de sucesso das tarefas. Por exemplo, no Terminal-Bench-2 com Qwen3.5-27B, a precisão melhorou de 0.105 (seleção aleatória) para 0.213 quando guiada pelo RUPA.
Informação Complementar: A análise de correspondência de entropia mostrou que a modelagem baseada em grafos fornece sinais de incerteza distintos da confiança ao nível do token, particularmente em regiões de baixa entropia onde os métodos tradicionais falham em distinguir entre trajetórias bem-sucedidas e falhas.

Significância e Alegações

O artigo argumenta que modelar explicitamente a dependência relacional é crucial para a quantificação de incerteza confiável em agentes de LLM de longo horizonte. Os autores afirmam que o RUPA fornece uma base prática para a execução de agentes confiáveis ao:

Capturar como os riscos de execução se acumulam e se transferem entre os passos de interação, em vez de tratar os passos como eventos isolados.
Permitir a detecção precoce de falhas que se originam de passos intermediários de raciocínio ou interação.
Melhorar a confiabilidade de agentes autônomos em diversas tarefas, desde engenharia de software até tomada de decisão complexa, ao fornecer estimativas de incerteza mais precisas que podem guiar estratégias downstream como autocorreção e mitigação de risco.

O trabalho conclui que a falha dos métodos tradicionais de UQ em configurações de agentes não é meramente uma questão de volume de dados, mas uma limitação estrutural na forma como o histórico de execução é representado, e que a mudança de sequências lineares para grafos relacionais é um passo necessário para agentes autônomos robustos.