Resumo Técnico: Deltas de Variância para Visualização e Explicação da Incerteza Posterior

Declaração do Problema

Em cenários observacionais onde o processo gerador de dados é não controlado e complexo, a incerteza estatística em relação às quantidades de interesse é frequentemente alta demais para permitir inferência substantiva. Causas comuns incluem insuficiência de dados, tipos de dados incorretos ou parâmetros de incerteza (nuisance parameters) não identificados. Embora existam remédios como a coleta de mais dados ou a incorporação de informações a priori, identificar a informação ausente específica necessária para reduzir a incerteza é difícil. Ferramentas de visualização existentes (ex: histogramas, gráficos de dispersão) frequentemente falham em capturar os múltiplos níveis de variação e incerteza inerentes às inferências Bayesianas. Além disso, descobrir explicações para a incerteza normalmente requer análise manual do modelo e um esforço considerável de tentativa e erro, uma vez que as ferramentas atuais não identificam automaticamente quais subconjuntos de quantidades desconhecidas ou parâmetros do modelo são mais responsáveis pela incerteza posterior.

Metodologia

O artigo propõe os deltas de variância, um sistema de visualização interativo projetado para estruturar e automatizar parcialmente a busca por explicações da incertesa posterior dentro de um framework Bayesiano. O sistema é implementado como um pacote de software, variance-deltas.

Conceitos Centrais

1. Índice de Incerteza ($U^2_I$): O sistema quantifica o poder explicativo de um subconjunto de incógnitas $\psi_I$ (onde $I \subseteq I^* \setminus \{i_\theta\}$) em relação a uma quantidade de interesse $\theta$. O índice é definido como a esperança da variância posterior de $\theta$ dado $\psi_I$, normalizada pela variância posterior total:
   $$U^2_I = \frac{E[\text{Var}(\theta \mid y, \psi_I) \mid y]}{\text{Var}(\theta \mid y)}$$
   Um $U^2_I$ baixo indica que observar $\psi_I$ reduziria significativamente a incerteza sobre $\theta$. Isso está relacionado ao índice de Sobol', medindo a sensibilidade da média condicional $E[\theta \mid y, \psi_I]$ em relação a $\psi_I$.

2. Árvores Distributárias: A visualização assume a forma de uma árvore enraizada na quantidade de interesse $\theta$. Nós não-raiz representam subconjuntos de incógnitas (explicações). A estrutura da árvore codifica relações de independência condicional derivadas da fatoração do modelo. Caminhos da raiz para as folhas representam cadeias de Markov, refletindo um fluxo decrescente de informação. A posição horizontal de um nó corresponde ao seu índice de incerteza da raiz em uma escala de desvio padrão.

3. Algoritmo de Construção:

   • Fatoração e Grafos: O método utiliza a fatoração da densidade posterior sobre um conjunto de fatores $F$. Um grafo de fatores ($G_F$) e um grafo de Markov ($M_F$) são construídos onde os vértices representam quantidades do modelo e as arestas representam dependências.
   • Medida de Especificidade: Para evitar explicações excessivamente amplas (ex: "todos os dados"), o sistema utiliza uma medida de "especificidade de verossimilhança" ($S_{lik}$). Esta mede a distância entre um conjunto de incógnitas e os fatores de verossimilhança no grafo de fatores. Explicações envolvendo quantidades relevantes para um pequeno conjunto de fatores de verossimilhança são consideradas mais específicas e úteis.
   • Geração da Árvore: Usando o Algoritmo 1, o sistema constrói cadeias de Markov da raiz ($\theta$) para nós folha (dados hipotéticos ou parâmetros específicos) ao encontrar iterativamente conjuntos separadores no grafo de Markov que satisfaçam a condição de Markov. O Algoritmo 2 então enxerta essas cadeias em uma única árvore distributária.
   • Estimação: Os índices de incerteza são estimados a partir de amostras posteriores usando uma estratégia de divisão de dados para evitar viés de sobreajuste (overfitting). Um regressor de floresta aleatória (random forest) é usado para estimar a expectativa condicional $E[\theta \mid \psi_I]$.

4. Operações Interativas: Usuários podem interagir com a árvore para descobrir melhores explicações através de:

   • Ramificação (Branching): Adicionar subconjuntos das incógnitas de um nó para testar se um conjunto menor é quase tão explicativo quanto.
   • Subdivisão (Subdividing): Inserir nós intermediários para dividir a lacuna entre os níveis de incerteza do pai e do filho.
   • Fusão (Merging): Combinar nós para testar se a união de duas explicações preenche uma lacuna na redução da incerteza.

Principais Contribuições

• Descoberta Automatizada de Explicações: O sistema automatiza a geração de subconjuntos candidatos de incógnitas a partir de uma entrada mínima do usuário (nó raiz e nós folha), organizando-os em uma árvore baseada em sua capacidade de explicar a incerteza.
• Exploração Interativa: Fornece um conjunto de operações (ramificação, subdivisão, fusão) permitindo que usuários naveguem eficientemente pelo espaço de potenciais explicações sem necessidade de tentativa e erro manual.
• Fundamentação Teórica: O artigo estabelece as propriedades matemáticas de "árvores distributárias", provando que elas mantêm propriedades válidas de cadeias de Markov e que os algoritmos de construção produzem árvores separadoras válidas.
• Implementação de Software: Os autores fornecem o pacote R variance-deltas, permitindo a reprodução de figuras e aplicação a novos modelos.

Resultados e Aplicações

Os autores demonstram a utilidade do sistema através de dois estudos de caso:

1. Inferência Causal Simulada (Dados em Painel):

   • Contexto: Estimar o efeito de tratamento em um cenário de controle sintético com dados em painel.
   • Achado: O delta de variância revelou que, embora unidades individuais fornecessem pouca informação, combinar dados hipotéticos de unidades específicas (1, 2 e 3) reduzia significativamente a incerteza.
   • Insight: A análise identificou que o principal gargalo não era a quantidade de dados, mas a incerteza sobre as correlações latentes (loadings) entre a unidade tratada e as unidades de controle. O conhecimento exato dessas cargas reduziu a incerteza esperada para quase um quarto do nível original.

2. Modelo de Pesquisa Eleitoral (Eleição Presidencial dos EUA de 2016):

   • Contexto: Prever a participação de votos democratas em Wisconsin usando um modelo Bayesiano dinâmico complexo com múltiplas fontes de viés (efeitos de pesquisadores, efeitos de modo, não resposta, etc.).
   • Achado: O sistema determinou que realizar novas pesquisas uma semana antes da eleição traria melhorias mínimas na precisão da previsão.
   • Insight: A incerteza era impulsionada principalmente pelo erro de medição no nível estadual ($\xi$) e pela incerteza de extrapolação temporal. A análise mostrou que mesmo com conhecimento perfeito dos parâmetros de viés, uma parte significativa da incerteza permaneceria devido à incapacidade de prever perfeitamente o resultado do dia da eleição a partir dos dados pré-eleitorais. No entanto, combinar novas pesquisas com informações sobre o erro de medição no nível estadual poderia reduzir substancialmente a incerteza.

Significância e Limitações

O artigo afirma que os deltas de variância oferecem uma nova maneira de ir além das visualizações estáticas de posterior para "descobrir" ativamente explicações não óbvias para a incerteza. Ao estruturar a busca por informação faltante, o método ajuda analistas a determinar se a coleta de mais dados é viável ou se o próprio modelo precisa ser repensado (ex: abordar a não-identificação).

Os autores notam modestamente algumas limitações:

• Densidade do Grafo: A eficácia do método depende da esparsidade do grafo de Markov subjacente. Em grafos altamente densos (ex: grandes regressões), as árvores resultantes podem ser muito rasas ou os conjuntos de explicação muito grandes para serem tratáveis.
• Aproximação: O método depende da estimação de expectativas condicionais via regressão (florestas aleatórias), o que introduz viés se o erro quadrático médio do estimador não desaparecer, embora a estratégia de divisão de dados garanta que o estimador seja conservador (provavelmente subestimando a redução da incerteza em vez de superestimá-la).
• Parâmetros Globais: Para grafos "quase esparsos" com alguns vértices "globais" altamente conectados, os autores propõem uma extensão teórica (Algoritmo 3) para condicionar nesses vértices, embora os desafios de implementação prática permaneçam em relação ao tamanho dos conjuntos de índices resultantes.

O trabalho posiciona-se dentro da literatura mais ampla de workflow Bayesiano e análise de sensibilidade, estendendo ferramentas como shinystan e bayesplot ao focar especificamente na explicação da incerteza, em vez de apenas sua visualização ou diagnóstico.