Resumo Técnico: Monitoramento de Incerteza em Tempo de Execução para Sistemas Multiagentes Baseados em LLM Usando Redes Bayesianas

Declaração do Problema

A integração de Sistemas Multiagentes (MAS) baseados em Grandes Modelos de Linguagem (LLMs) em domínios de alto risco, como a modelagem de risco atuarial, apresenta desafios significativos em relação à confiabilidade e transparência. Embora os LLMs ofereçam o potencial de automatizar fluxos de trabalho complexos envolvendo preparação de dados, desenvolvimento de modelos e validação, sua natureza probabilística introduz riscos como alucinações, variabilidade entre execuções e falta de explicabilidade. Em ambientes de seguros regulados, saídas não confiáveis podem levar a avaliações de risco incorretas, precificação injusta e não conformidade regulatória. Existe uma lacuna crítica nas abordagens atuais: as métricas de avaliação existentes frequentemente focam na precisão específica da tarefa, mas falham em capturar como a incerteza surge e se propaga através de fluxos de trabalho interdependentes de agentes. Além disso, estimativas de incerteza padrão (como log-probabilidades ao nível de token) não se traduzem diretamente na probabilidade de sucesso da tarefa, nem consideram o efeito cumulativo de erros ao longo de um processo de múltiplas etapas.

Metodologia

Os autores propõem um framework de monitoramento de segurança em tempo de execução projetado para quantificar e propagar a incerteza dentro de um MAS baseado em LLM. A metodologia consiste em três componentes principais:

1. Arquitetura de Sistema Multiagente

O sistema emprega uma topologia de estrela centralizada onde um Hub Central coordena quatro agentes especializados via passagem de mensagens, impedindo a comunicação direta entre agentes para garantir uma supervisão controlada:

• Agente de Preparação de Dados: Lida com ingestão de dados, limpeza e codificação.
• Agente de Modelagem: Desenvolve modelos preditivos.
• Agente de Revisão: Avalia as saídas das etapas de dados e modelagem quanto à consistência e desempenho.
• Agente de Explicação: Avalia a interpretabilidade, o alinhamento de conceitos (usando Testagem com Vetores de Ativação de Conceitos) e a equidade (via comparações de nível de grupo).

O framework utiliza três modelos transformer de decodificação única (decoder-only) de código aberto (Llama 2 7B, Llama 3.1 8B e Qwen2.5 7B) capazes de rodar em máquinas locais.

2. Quantificação de Incerteza via Log-Probabilidades

O framework extrai log-probabilidades ao nível de token ($log p_\theta$) das saídas do LLM. Reconhecendo que as log-probabilidades brutas são influenciadas pelo comprimento da sequência e não equivalem diretamente ao sucesso da tarefa, os autores aplicam um processo de transformação:

1. Normalização de Comprimento: As log-probabilidades são calculadas pela média sobre o comprimento da sequência $L$ para gerar uma pontuação de resumo $s_i$.
2. Calibragem: A pontuação normalizada é transformada em uma característica de confiança limitada $q_i = \exp(s_i)$.
3. Função de Calibragem: Uma função $f_{cal}$, estimada via execuções de validação, mapeia $q_i$ para uma probabilidade de conclusão bem-sucedida da tarefa $P(X_i = success | q_i)$.

3. Rede Bayesiana (BN) para Propagação

Para modelar as dependências entre as etapas do fluxo de trabalho, as pontuações de confiança calibradas são incorporadas em uma Rede Bayesiana.

• Estrutura: Cada etapa do fluxo de trabalho (ex: preparação de dados, revisão, modelagem) é um nó. Arestas direcionadas representam dependências condicionais.
• Lógica: A rede utiliza Tabelas de Probabilidade Condicional (CPTs) para definir como o sucesso de uma tarefa a jusante depende do sucesso de seus nós pais. Por exemplo, o nó de sucesso final do fluxo de trabalho é modelado como uma porta "AND", exigindo que todos os nós pais tenham sucesso.
• Inferência: À medida que o fluxo de trabalho é executado, o Hub Central atualiza a BN com novas evidências (pontuações de incerteza), permitindo o cálculo das probabilidades posteriores. Isso visualiza como a incerteza se acumula das saídas individuais dos agentes para o estado final do sistema.

Principais Contribuições

O artigo apresenta uma abordagem inovadora de monitoramento em tempo de execução que vai além da avaliação estática:

1. Framework de Propagação de Incerteza: Introduz um método para transformar log-probabilidades ao nível de token em estimativas de confiança de nível de tarefa calibradas e propagá-las através de uma Rede Bayesiana. Isso modela explicitamente a distinção entre incerteza intrínseca (em uma única etapa) e incerteza extrínseca (propagada de decisões anteriores).
2. Mecanismo de Segurança Estruturado: O framework fornece uma representação estruturada da estabilidade do fluxo de trabalho, capaz de identificar estados "inseguros" onde a incerteza em componentes específicos degrada significativamente a confiabilidade global do sistema.
3. Validação Empírica em Contexto Atuarial: A abordagem é validada dentro de um fluxo de trabalho atuarial realista, demonstrando que o sistema pode reproduzir o desempenho atuarial de base enquanto oferece insights granulares sobre a estabilidade do fluxo de trabalho.

Resultados

A avaliação foi conduzida através de três backends de LLM usando conjuntos de dados originais e 20 sistematicamente perturbados (introduzindo erros como valores ausentes, mudanças de distribuição e ruído de rótulo).

• Desempenho: O MAS alcançou altas taxas de sucesso de tarefa (80–90%) e desempenho preditivo (RMSE) comparável aos modelos atuariais de base em todos os backends.
• Variância de Incerteza: Diferenças significativas foram observadas na certeza do fluxo de trabalho derivada da Rede Bayesiana. Por exemplo, embora os agentes individuais frequentemente mostrassem alta confiança, a propagação da incerteza reduziu a probabilidade de sucesso global do fluxo de trabalho (ex: de ~80% de certeza individual para ~55% de certeza global em um cenário padrão).
• Sensibilidade à Temperatura: Experimentos variando a temperatura do LLM confirmaram que o aumento da aleatoriedade nas respostas dos agentes reduz diretamente a probabilidade de sucesso do fluxo de trabalho global. Um cenário "arriscado" com temperatura alta em um único agente reduziu significativamente a confiabilidade de todo o sistema.
• Detecção de Erros: O backend Qwen2.5 7B demonstrou detecção de erro (90%) e adaptabilidade superiores em comparação aos modelos Llama (45–65%), particularmente no tratamento de mudanças distributivas.
• Limitações: O sistema mostrou sensibilidade a mudanças distributivas (mudanças de população), mas foi menos confiável na detecção de valores ausentes ou esparsidade, destacando áreas específicas para melhoria no processo de validação.

Significância e Alegações

O artigo alega que sua principal significância reside em fornecer um método estruturado e interpretável para monitorar a incerteza em tempo de execução em MAS baseados em LLM. Ao combinar sinais ao nível de token com inferência Bayesiana, o framework oferece um mecanismo de segurança que pode identificar elementos fracos em um fluxo de trabalho antes que levem a falhas críticas.

Os autores mantêm uma postura modesta, observando que a implementação atual representa uma prova de conceito. A Rede Bayesiana modela um traço de execução abstraído em vez do controle lógico dinâmico completo (ex: não modela atualmente loops de revisão iterativos ou ordenação temporal além das dependências diretas pai-filho). Os autores sugerem que estender o modelo para Redes Bayesianas dinâmicas ou diagramas de influência é uma direção para trabalhos futuros. Em última análise, o trabalho demonstra que é possível apoiar a tomada de decisão de alto risco com agentes de LLM ao quantificar e visualizar explicitamente como a incerteza se propaga através de fluxos de trabalho complexos de múltiplas etapas.