Resumo Técnico: Propagação de Incerteza Bayesiana para Pipelines de RAG Agênticos

Declaração do Problema

A integração de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho industriais, como o agendamento de manutenção de Energia Eólica Offshore (OSW), exige mecanismos confiáveis para estimar quando pipelines de raciocínio de múltiplos estágios podem falhar. Embora a Geração Aumentada de Recuperação (RAG) e as Arquiteturas de Multi-Agentes (MAAs) melhorem a interpretabilidade ao fundamentar as respostas no conhecimento recuperado, elas não modelam explicitamente como a incerteza se propaga através de sequências de estágios de raciocínio. Em sistemas de RAG agênticos, a incerteza introduzida durante o planejamento, recuperação ou avaliação pode cascatear pelo fluxo de trabalho, levando ao "colapso do raciocínio", deriva semântica e respostas finais não confiáveis. Os atuais modelos de caixa preta oferecem pouca visão sobre o raciocínio por trás das saídas, criando a necessidade de métodos de monitoramento leves e em tempo de execução, capazes de quantificar a confiança durante todo o processo de tomada de decisão.

Metodologia

Os autores propõem um framework de RAG agêntico consciente da incerteza que modela o sistema como um processo de decisão sequencial (conceitualmente, um Processo de Decisão de Markov Parcialmente Observável). A metodologia envolve três componentes principais:

1. Geração de Sinais de Incerteza

O pipeline consiste em três agentes: Planejador (Planner), Evaluador (Evaluator) e Gerador (Generator). Cada estágio produz sinais de incerteza específicos:

• Entropia ao nível de Token (Entropia Ingênua): Derivada da distribuição de probabilidade softmax dos tokens gerados. O sistema calcula a log-probabilidade da sequência, normaliza pelo comprimento e a transforma em uma característica de confiança ($q_i$). Isso é usado para parametrizar as probabilidades a priori na Rede Bayesiana.
• Divergência Semântica: Para abordar a "deriva semântica", onde as consultas de busca de um agente se desviam do requisito de informação original, o sistema mede a distância entre a distribuição de saída comprometida e uma distribuição de saída reamostrada em um espaço de embedding projetado. Isso utiliza a distância de Wasserstein (análoga à Informação Mútua Pontual no framework UProp) para quantificar a Incerteza Intrínseca (IU) em cada nó.
• Autoavaliação do Gerador ($P(True)$): O agente Gerador é instigado a responder a uma pergunta binária ("Você tem certeza de que a resposta fornecida está correta?") após produzir uma resposta. A probabilidade atribuída ao token afirmativo serve como uma estimativa de incerteza supervisionada e em contexto (in-context).

2. Propagação de Rede Bayesiana (BN)

Esses sinais são propagados através de uma Rede Bayesiana (BN) para estimar a incerteza do sistema:

• Estrutura: O fluxo de trabalho é modelado como um Grafo Acíclico Dirigido (DAG) onde os nós representam o Planejador, o Avaliador e o Gerador.
• Lógica: A rede utiliza uma porta OR determinística para o nó "Geral" (Overall). Isso implica que, se qualquer nó individual no pipeline for considerado um "FALHA" (incerteza acima do limiar de 0,5), o sistema geral é sinalizado como "FALHA".
• Inferência: A BN atualiza as probabilidades a posteriori conforme novas evidências (escores de incerteza) são introduzidas, permitindo a identificação de quais estágios específicos contribuem mais para a incerteza do sistema.

3. Configuração Experimental

O framework foi avaliado como uma prova de conceito em dois benchmarks de perguntas e respostas de múltiplos saltos (multi-hop): StrategyQA e HotpotQA.

• Modelos: GPT-3.5-Turbo e GPT-4.1-Nano.
• Métricas: O desempenho foi avaliado pela Área Sob a Curva ROC (AUROC) para discriminação, Área Sob a Curva de Precisão-Rejeição (AUARC) para predição seletiva, Erro de Calibração Esperada (ECE) e Brier Score para calibração.
• Baseline: Os resultados foram comparados com o framework UProp.

Principais Contribuições

1. Arquitetura: Uma arquitetura de monitoramento leve onde os agentes Planejador, Avaliador e Gerador produzem sinais de incerteza complementares (divergência semântica e autoavaliação) durante o raciocínio de múltiplos estágios.
2. Modelo de Propagação: Um modelo baseado em Rede Bayesiana que agrega a incerteza do nível do nó em uma estimativa de confiança do sistema interpretável, capaz de identificar pontos de falha.
3. Avaliação Empírica: Um estudo comparativo demonstrando as forças e limitações da propagação bayesiana através de diferentes complexidades de raciocínio e tamanhos de modelos, utilizando métricas padrão de quantificação de incerteza.

Resultados

O estudo rendeu resultados contrastantes dependendo da complexidade do benchmark:

• HotpotQA (Alta Complexidade): A propagação bayesiana provou ser altamente eficaz. A incerteza acumulou-se através de múltiplos estágios de raciocínio, e a BN Geral alcançou um desempenho competitivo ou superior em comparação com os nós individuais e o baseline UProp. O sistema demonstrou melhoria na discriminação (AUROC) e calibração (ECE, Brier Score) à medida que a dificuldade da tarefa aumentava.
• StrategyQA (Baixa Complexidade): A abordagem mostrou limitações. O sinal de autoavaliação do Gerador foi o indicador individual mais forte, enquanto os sinais do Planejador e do Avaliador apresentaram desempenho próximo ao aleatório. Consequentemente, a porta OR determinística propagou ruído de nós upstream não confiáveis, fazendo com que a BN Geral subperformasse o Gerador sozinho em algumas métricas (ex: AUROC para GPT-3.5-Turbo).
• Calibração vs. Discriminação: A porta OR determinística introduziu um viés conservador, levando a uma superestimação da probabilidade de falha no StrategyQA (má calibração), mas potencialmente vantajoso para a aversão ao risco. No HotpotQA, a calibração melhorou significamente, sugerindo que o framework é melhor adequado para tarefas onde a incerteza realmente se acumula.

Significância e Alegações

O artigo posiciona a propagação de incerteza bayesiana como um mecanismo promissor, porém preliminar, para monitorar sistemas de RAG agênticos.

• Descoberta Central: O método é mais eficaz quando a incerteza naturalmente se acumula através de múltiplos estágios de raciocínio (como visto no HotpotQA). Nesses cenários, a combinação de sinais fornece valor preditivo além das estimativas de nós individuais.
• Limitações Reconhecidas: Os autores explicitamente observam que o framework atual é limitado pela porta OR determinística, que não consegue reduzir o peso de nós upstream não confiáveis (ex: o Planejador no StrategyQA), e pela calibração conservadora do sinal $P(True)$.
• Direção Futura: O estudo não reivindica implementação industrial imediata. Em vez disso, enquadra o trabalho como uma prova de conceito que requer validação futura em domínios industriais específicos, como o suporte à decisão de manutenção de Energia Eólica Offshore (OSW), utilizando corpora de recuperação específicos do domínio. Os autores sugerem que o trabalho futuro deve focar em estruturas bayesianas adaptativas (ex: portas noisy-OR) e técnicas de calibração aprimoradas para abordar as limitações identificadas.