Resumen Técnico: Deltas de Varianza para la Visualización y Explicación de la Incertidumbre Posterior

Planteamiento del Problema

En entornos observacionales donde el proceso generador de datos es incontrolado y complejo, la incertidumbre estadística respecto a las cantidades de interés suele ser demasiado alta para permitir una inferencia sustantiva. Las causas comunes incluyen la insuficiencia de datos, tipos de datos incorrectos o parámetros de molestia no identificados. Aunque existen remedios como la recopilación de más datos o la incorporación de información previa, identificar la información faltante específica necesaria para reducir la incertidumbre es difícil. Las herramientas de visualización existentes (por ejemplo, histogramas, diagramas de dispersión) a menudo no logran capturar los múltiples niveles de variación e incertidumbre inherentes a las inferencias bayesianas. Además, el descubrimiento de explicaciones para la incertidumbre suele requerir un análisis manual del modelo y un gran número de conjeturas, ya que las herramientas actuales no identifican automáticamente qué subconjuntos de las cantidades o parámetros no observados del modelo son los más responsables de la incertidumbre posterior.

Metodología

El artículo propone los deltas de varianza, un sistema de visualización interactivo diseñado para estructurar y automatizar parcialmente la búsqueda de explicaciones de la incertidumbre posterior dentro de un marco bayesiano. El sistema está implementado como un paquete de software, variance-deltas.

Conceptos Centrales

1. Índice de Incertidumbre ($U^2_I$): El sistema cuantifica el poder explicativo de un subconjunto de incógnitas $\psi_I$ (donde $I \subseteq I^* \setminus \{i_\theta\}$) respecto a una cantidad de interés $\theta$. El índice se define como la varianza posterior esperada de $\theta$ dado $\psi_I$, normalizada por la varianza posterior total:
   $$U^2_I = \frac{E[\text{Var}(\theta \mid y, \psi_I) \mid y]}{\text{Var}(\theta \mid y)}$$
   Un $U^2_I$ bajo indica que observar $\psi_I$ reduciría significamente la incertidumbre sobre $\theta$. Esto está relacionado con el índice de Sobol', que mide la sensibilidad de la media condicional $E[\theta \mid y, \psi_I]$ respecto a $\psi_I$.

2. Árboles Distributarios: La visualización toma la forma de un árbol con raíz en la cantidad de interés $\theta$. Los nodos que no son la raíz representan subconjuntos de incógnitas (explicaciones). La estructura del árbol codifica las relaciones de independencia condicional derivadas de la factorización del modelo. Las rutas desde la raíz hacia las hojas representan cadenas de Markov, reflejando un flujo decreciente de información. La posición horizontal de un nodo corresponde a su índice de incertidumbre de raíz (en una escala de desviación estándar).

3. Algoritmo de Construcción:

   • Factorización y Grafos: El método utiliza la factorización de la densidad posterior sobre un conjunto de factores $F$. Se construyen un grafo de factores ($G_F$) y un grafo de Markov ($M_F$), donde los vértices representan las cantidades del modelo y las aristas representan las dependencias.
   • Medida de Especificidad: Para evitar explicaciones excesivamente amplias (por ejemplo, "todos los datos"), el sistema utiliza una medida de "especificidad de la verosimilitud" ($S_{lik}$). Esta mide la distancia entre un conjunto de incógnitas y los factores de verosimilitud en el grafo de factores. Las explicaciones que involucran cantidades relevantes para un conjunto pequeño de factores de verosimilitud se consideran más específicas y útiles.
   • Generación del Árbol: Utilizando el Algoritmo 1, el sistema construye cadenas de Markov desde la raíz ($\theta$) hacia los nodos hoja (datos hipotéticos o parámetros específicos) mediante la búsqueda iterativa de conjuntos separadores en el grafo de Markov que satisfagan la condición de Markov. El Algoritmo 2 luego injerta estas cadenas en un único árbol distributario.
   • Estimación: Los índices de incertidumbre se estiman a partir de muestras posteriores mediante una estrategia de división de datos para evitar el sesgo de sobreajuste. Se utiliza un regresor de bosque aleatorio (random forest) para estimar la esperanza condicional $E[\theta \mid \psi_I]$.

4. Operaciones Interactivas: Los usuarios pueden transformar interactivamente el árbol para descubrir mejores explicaciones a través de:

   • Ramificación (Branching): Añadir subconjuntos de las incógnitas de un nodo para probar si un conjunto más pequeño es casi tan explicativo.
   • Subdivisión (Subdividing): Insertar nodos intermedios para dividir la brecha entre los niveles de incertidumbre de un padre y un hijo.
   • Fusión (Merging): Combinar nodos para probar si la unión de dos explicaciones cierra la brecha en la reducción de la incertidumbre.

Contribuciones Clave

• Descubrimiento Automatizado de Explicaciones: El sistema automatiza la generación de subconjuntos candidatos de incógnitas a partir de una entrada mínima del usuario (nodo raíz y nodos hoja), organizándolos en un árbol basado en su capacidad para explicar la incertidumbre.
• Exploración Interactiva: Proporciona un conjunto de operaciones (ramificación, subdivisión, fusión) que permiten a los usuarios navegar eficientemente por el espacio de explicaciones potenciales sin necesidad de conjeturas manuales.
• Fundamento Teórico: El artículo establece las propiedades matemáticas de los "árboles distributarios", demostrando que mantienen propiedades válidas de cadenas de Markov y que los algoritmos de construcción producen árboles separadores válidos.
• Implementación de Software: Los autores proporcionan el paquete de R variance-deltas, lo que permite la reproducción de figuras y la aplicación a nuevos modelos.

Resultados y Aplicaciones

Los autores demuestran la utilidad del sistema a través de dos estudios de caso:

1. Inferencia Causal Simulada (Datos de Panel):

   • Contexto: Estimar el efecto de un tratamiento en un entorno de control sintético con datos de panel.
   • Hallazgo: El delta de varianza reveló que, si bien las unidades individuales aportaban poca información, la combinación de datos hipotéticos de unidades específicas (1, 2 y 3) reducía significativamente la incertidumbre.
   • Perspectiva: El análisis identificó que el cuello de botella principal no era la cantidad de datos, sino la incertidumbre sobre las correlaciones latentes (cargas) entre la unidad tratada y las unidades de control. El conocimiento exacto de estas cargas redujo la incertidvedad esperada a casi una cuarta parte de su nivel original.

2. Modelo de Sondeos (Elecciones Presidenciales de EE. UU. 2016):

   • Contexto: Pronosticar la cuota de votos demócratas en Wisconsin utilizando un modelo bayesiano dinámico complejo con múltiples fuentes de sesgo (efectos de encuestador, efectos de modo, falta de respuesta, etc.).
   • Hallazgo: El sistema determinó que realizar sondeos adicionales una semana antes de la elección aportaría una mejora mínima en la precisión del pronóstico.
   • Perspectiva: La incertidumbre era impulsada principalmente por el error de medición a nivel estatal ($\xi$) y la incertidumbre de extrapolación temporal. El análisis mostró que incluso con un conocimiento perfecto de los parámetros de sesgo, una parte significativa de la incertidumbre persistiría debido a la incapacidad de predecir perfectamente el resultado del día de la elección a partir de los datos previos a la elección. Sin embargo, combinar nuevos sondeos con información sobre el error de medición a nivel estatal podría reducir sustancialmente la incertidumbre.

Significancia y Limitaciones

El artículo afirma que los deltas de varianza ofrecen una forma novedosa de ir más allá de las visualizaciones posteriores estáticas para "descubrir" activamente explicaciones no obvias de la incertidumbre. Al estructurar la búsqueda de información faltante, el método ayuda a los analistas a determinar si la recopilación de más datos es factible o si el modelo mismo requiere un replanteamiento (por ejemplo, abordar la no identificación).

Los autores señalan modestamente algunas limitaciones:

• Densidad del Grafo: La efectividad del método depende de la dispersión del grafo de Markov subyacente. En grafos altamente densos (por ejemplo, grandes regresiones), los árboles resultantes pueden ser demasiado superficiales o los conjuntos de explicación demasiado grandes para ser tratables.
• Aproximación: El método depende de la estimación de las expectativas condicionales mediante regresión (bosques aleatorios), lo que introduce un sesgo si el error cuadrático medio del estimador no desaparece, aunque el enfoque de división de datos asegura que el estimador sea conservador (propenso a subestimar la reducción de la incertidumbre en lugar de sobreestimarla).
• Parámetros Globales: Para grafos "casi dispersos" con algunos vértices "globales" altamente conectados, los autores proponen una extensión teórica (Algoritmo 3) para condicionar sobre estos vértices, aunque los desafíos de implementación práctica siguen presentes respecto al tamaño de los conjuntos de índices resultantes.

Este trabajo se posiciona dentro de la literatura más amplia del flujo de trabajo bayesiano y el análisis de sensibilidad, extendiendo herramientas como shinystan y bayesplot al centrarse específicamente en la explicación de la incertidumbre en lugar de solo en su visualización o diagnóstico de control.