Human AI Construction of Bayesian Networks for Operational Decision Support -- A Virtual Survey Approach

Resumo Técnico: Construção Humano-IA de Redes Bayesianas para Suporte à Decisão Operacional

Definição do Problema
As Redes de Crença Bayesiana (BBNs) são estruturas estabelecidas para a tomada de decisão sob incerteza, combinando a teoria dos grafos e a teoria das probabilidades. No entanto, sua adoção em pesquisa operacional (OR) e ciência da gestão tem sido dificultada por um gargalo específico: a elicitação de Tabelas de Probabilidade Condicional (CPTs). A construção de uma BBN requer duas etapas distintas: aprendizado de estrutura (identificação do Grafo Acíclico Dirigido) e aprendizado de parâmetros (estimativa de CPTs). Enquanto o aprendizado de estrutura pode ser abordado através do conhecimento de especialistas ou algoritmos baseados em dados, o aprendizado de parâmetros é computacionalmente e cognitivamente exigente.

• Elicitação de Especialistas: Confiar em especialistas humanos para estimar probabilidades para nós com múltiplos pais cria um crescimento exponencial nos parâmetros exigidos (por exemplo, um nó com quatro pais e três estados cada requer 27 estimativas independentes). Isso impõe uma carga cognitiva elevada, muitas vezes excedendo os limites da racionalidade humana.
• Aprendizado Baseado em Dados: Abordagens de aprendizado de máquina exigem grandes volumes de dados representativos, que são frequentemente indisponíveis em contextos de pesquisa de gestão (ex: risco na cadeia de suprimentos, gestão de projetos ou nichos de mercado de saúde).
  Consequentemente, há uma falta de um "meio termo" escalável para parametrizar BBNs quando os dados do mundo real são escassos e o tempo do especialista é caro.

Metodologia: Pesquisa Virtual Assistida por LLM
Os autores propõem uma metodologia de seis etapas que integra Modelos de Linguagem de Grande Escala (LLMs) para preencher a lacuna entre a opinião do especialista e o aprendizado baseado em dados. A abordagem não utiliza LLMs para o aprendizado de estrutura (que permanece orientado pela teoria ou pelo especialista), mas utiliza-os para a elicitação de parâmetros.

1. Definição de Estrutura: O usuário define o DAG com base em teoria estabelecida (ex: Modelos de Cognição Social) ou expertise de domínio.
2. Especificação de Estados: Estados discretos para cada nó são definidos com descrições semânticas.
3. Pesquisa Virtual Baseada em LLM (Etapa Central):
   • Geração de Personas: Um LLM gera um painel de $N$ agentes sintéticos (ex: $N=100$) com diversas demografias e personas relevantes ao contexto de decisão.
   • Engenharia de Prompt: Para cada nó e cada combinação possível de estados dos pais, o sistema consulta o LLM. Cada consulta inclui a persona, o contexto da rede, os estados do nó e uma descrição específica da variável.
   • Agregação: O LLM retorna vetores de probabilidade para cada célula da CPT. Para mitigar "alucinações" e o viés de resposta individual, os autores aplicam uma regra de média truncada, descartando os 10% superiores e inferiores das estimativas e calculando a média dos 80% restantes. O vetor resultante é normalizado para somar 1.
4. Visualização e Sobrescrita Manual: As CPTs iniciais são visualizadas, permitindo que o usuário corrija manualmente valores implausíveis.
5. Simulação e Refinamento: O sistema realiza amostragem direta (forward sampling) para gerar dados sintéticos a partir da rede. A Estimativa de Máxima Verossimilhança (MLE) é então aplicada a esses dados sintéticos para refinar as CPTs, garantindo autoconsistência e suavizando o ruído de amostragem.
6. Inferência: O modelo final suporta consultas probabilísticas (preditivas, diagnósticas) e consultas causais usando do-calculus (mutilação de grafo) para distinguir entre correlação e causalidade.

A metodologia é implementada em uma arquitetura web de três camadas usando um backend Flask, a biblioteca Python pgmpy para inferência e adaptadores de LLM agnósticos ao provedor.

Principuições e Contribuições

1. Inovação Metodológica: O artigo introduz um novo framework para elicitar CPTs usando um painel de agentes de IA sintéticos e uma regra de agregação de média truncada. Isso aborda a carga cognitiva da elicitação humana e a escassez de dados do aprendizado de máquina.
2. Integração de Sistema: Os autores desenvolveram uma aplicação web modular de três camadas que integra especificação de estrutura baseada em teoria, elicitação de parâmetros via LLM, geração de dados sintéticos e inferência causal.
3. Aplicação Empírica: Um estudo numérico foi conduzido em um problema de decisão de serviços de saúde: modelar a intenção do cliente de consultar um médico Ayurvédico para o manejo do diabetes. O estudo utilizou 8 variáveis e 99 parâmetros independentes, testando 11 suposições estruturais derivadas da teoria da cognição social.

Resultos e Descobertas
A aplicação ao modelo de consulta Ayurvédica rendeu vários insights contraintuitivos que destacam o valor da inferência causal sobre a simples análise observacional:

• Autoeficácia (SE): Dados observacionais sugeriram que a SE era um forte preditor de intenção ($P(I=Alto|SE=Alto) = 0,837$). No entanto, a intervenção causal $P(I=Alto | do(SE=Alto))$ revelou um ganho causal negligível (+0,9%). A forte correlação observacional foi impulsionada por fatores de confusão (especificamente, Atitude favorável).
• Normas Subjetivas (SN): Dados observacionais mostraram uma correlação fraca ou negativa com a intenção. No entanto, a intervenção causal $P(I=Alto | do(SN=Altamente Influenciado))$ revelou um verdadeiro ganho causal significativo (+7,5%).
• Intervenções Conjuntas: A estratégia mais eficaz identificada foi uma intervenção conjunta na Autoeficácia e nas Normas Subjetivas, gerando um ganho causal de aproximadamente +15%.
• Validação: Das 11 suposições estruturais testadas, 7 foram validadas, 3 foram rejeitadas (fornecendo insights interpretáveis sobre efeitos de mediação) e 1 foi inconclusiva. Isso sugere que as CPTs elicitadas pelo LLM codificaram uma lógica de domínio significativa e consistente com a teoria.

Significância e Alegações
O artigo posiciona este trabalho como um "meio termo" para a Pesquisa Operacional. Ele afirma que:

• Escalabilidade: A metodologia permite a parametrização rápida de BBNs em ambientes de escassez de dados a um baixo custo (o estudo custou aproximadamente USD 6 para 100 agentes).
• Clareza Causal: Ao integrar o do-calculus, a abordagem permite que os tomadores de decisão distinguam entre correlações espúrias e efeitos causais reais, oferecendo orientações que regressão ou modelagem de equações estruturais não podem fornecer sem suposições fortes.
• Sinergia Humano-IA: Os autores argumentam que os LLMs não substituem a expertise humana, mas a aumentam. Os humanos definem a estrutura causal e revisam os resultados, enquanto a IA lida com a tarefa escalável e repetitiva de estimativa de probabilidade.
• Potencial Futuro: Os autores afirmam modestamente que as respostas agregadas de LLMs podem codificar fatias significativas do raciocínio humano. Eles sugerem que esta abordagem abre novos caminhos para a modelagem de intenção do cliente e para a tomada de decisão operacional mais ampla, desde que pesquisas futuras validem esses priors sintéticos contra dados empíricos do mundo real.

O artigo conclui que, embora a validação completa no mundo real ainda esteja pendente, a metodologia demonstra com sucesso um fluxo de trabalho viável para a construção de modelos de decisão causal onde a coleta de dados tradicional é impraticável.