When does distribution shift break graph neural networks calibration?

Resumen Técnico: Desplazamiento de Distribución y Calibración de GNN

Planteamiento del Problema
Las Redes Neuronales de Grafos (GNN) se despliegan cada vez más en entornos dinámicos donde la distribución del grafo en tiempo de prueba difiere de la distribución de entrenamiento (por ejemplo, redes sociales en evolución, infraestructuras reconfiguradas). Si bien la precisión predictiva se estudia con frecuencia, la calibración de las GNN —el acuerdo entre la confianza predictiva y la precisión real— sigue siendo poco comprendida bajo tales desplazamientos de distribución. Los métodos de calibración existentes (por ejemplo, escalado de temperatura, CaGCN, GATS) dependen típicamente de datos de validación etiquetados de la distribución objetivo. En un despliegue en el mundo real, estas etiquetas no están disponibles, y los calibradores estándar ajustados en los datos de origen fallan porque la relación entre la confianza y la precisión cambia cuando las propiedades del grafo, como la homofilia o el ruido de las características, se desplazan. El desafío central es caracterizar cómo el desplazamiento de distribución altera la calibración de las GNN y desarrollar un método para la recalibración sin acceso a etiquetas de destino.

Metodología y Marco Teórico
El artículo aborda este problema derivando una caracterización teórica de forma cerrada de la calibración de las GNN bajo el desplazamiento de distribución. El análisis se fundamenta en un Modelo de Bloques Estocásticos Contextuales (CSBM) donde los nodos poseen características gaussianas y los bordes se forman basándose en la homofilia de clase. El modelo analizado es una GNN lineal (agregación de media o GCN normalizada simétricamente) seguida de un clasificador lineal.

La idea teórica central es que la relación entre la magnitud del logit de un modelo $t$ y su precisión real está gobernada por un único parámetro escalar, la pendiente de calibración $\kappa$:
$$\text{Confianza}(t) = \sigma(t) \quad \text{vs.} \quad \text{Precisión}(t) = \sigma(\kappa t)$$
donde $\sigma$ es la función sigmoide. El artículo demuestra que $\kappa$ está determinado explícitamente por los niveles de homofilia de los grafos de origen ($h_s$) y de destino ($h_t$) y la relación señal-ruido ($\rho$) de las características:
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
Las extensiones teóricas clave incluyen:

• GCNs con auto-bucles (Self-loop GCNs): La pendiente se ajusta para contabilizar los auto-bucles, que permiten que la señal persista incluso bajo heterofilia ($h < 0.5$).
• Clasificación multiclase: La pendiente se generaliza mediante un coeficiente de señal $c_K(h)$, mostrando que una única temperatura global es suficiente para $K$ clases.
• Desplazamiento de covariables: El aumento del ruido de las características disminuye monótonamente $\kappa$, induciendo sobre-confianza.
• Límite del Error de Calibración Esperado (ECE): Se deriva un límite superior teórico para el ECE como $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$, vinculando la severidad de la mala calibración directamente con la desviación de $\kappa$ respecto a 1.

Contribuciones Clave

1. Pendiente de Calibración de Forma Cerrada: El artículo proporciona la primera fórmula analítica para la pendiente de calibración $\kappa$ bajo el desplazamiento de distribución, vinculándola explícitamente a cambios estructurales (homofilia) y a la calidad de las características. Esto explica por qué y cuánto una GNN se vuelve sobre-confiada ($\kappa < 1$) o sub-confiada ($\kappa > 1$).
2. Optimalidad de la Temperatura Global: Un corolario estructural demuestra que bajo un desplazamiento de distribución homogéneo (donde el desplazamiento afecta a todos los nodos de manera similar), una única temperatura global $T^* = 1/\kappa$ es teóricamente óptima. Esto implica que los métodos complejos de recalibración por nodo no ofrecen beneficios en entornos homogéneos, ya que la solución óptima de la población es una función constante.
3. STAC (Calibración Adaptativa en Tiempo de Prueba Sensible a la Estructura): Basándose en la teoría, el autor propone STAC, un método de recalibración sin dependencia de la fuente y sin etiquetas. STAC estima la precisión de destino $\hat{a}$ a partir de datos no etiquetados utilizando estadísticas de confianza y el desacuerdo de predicción bajo perturbaciones. Luego, establece una única temperatura global $T^* = 1/\hat{\kappa}$ de tal manera que la confianza media coincida con la precisión estimada.
4. Identificación del Cuello de Botella: El trabajo identifica que la principal barrera para la calibración práctica de GNN sin etiquetas no es el mecanismo de calibración en sí, sino la estimación de la precisión de destino en grafos desplazados y sin etiquetas.

Resultados Experimentales

• Validación Sintética: En los datos sintéticos de CSBM, la pendiente de forma cerrada $\kappa$ coincide con las mediciones empíricas con alta precisión ($r=0.99$). La temperatura óptima predicha $T^*$ recupera la calibración (reduciendo el ECE a $\leq 0.02$) a través de diversas homofilias y relaciones señal-ruido.
• Grafos del Mundo Real: La teoría se sostiene en cinco conjuntos de datos del mundo real que abarcan un amplio espectro de homofilia ($h=0.05$ a $0.84$) y diversas cantidades de clases ($K=2$ a $18$).
  • Rendimiento Oráculo: Cuando se aplica una temperatura "oráculo" (derivada de las verdaderas etiquetas de destino), se recupera la calibración en todos los conjuntos de datos, confirmando la suficiencia de la teoría.
  • Rendimiento de STAC: STAC logra reducir a la mitad la brecha del error de calibración en comparación con las líneas base ajustadas al origen en desplazamientos sintéticos. Sin embargo, en grafos reales heterofílicos (ej. roman-empire, amazon-ratings), las estimaciones de precisión de STAC son poco fiables (a menudo sobreestimando la precisión real), lo que degrada la calibración. Esto confirma que el marco teórico es sólido, pero los estimadores actuales de precisión sin etiquetas son insuficientes para desplazamientos de grafos complejos.
• Desplazamiento Heterogéneo: Bajo desplazamientos heterogéneos (donde diferentes nodos experimentan diferentes desplazamientos), la temperatura global única no puede corregir completamente el modelo. Aunque se probó una etapa por nodo, esta ofreció beneficios marginales con las características estructurales utilizadas, apoyando la afirmación teórica de que la calibración por nodo solo es necesaria si el desplazamiento es heterogéneo.

Significado y Reivindicaciones
El artículo afirma proporcionar la primera cuenta teórica de forma cerrada de la calibración de GNN bajo el desplazamiento de distribución. Su importancia radica en:

• Explicación Mecanicista: Va más allá de la observación empírica para explicar la dirección y magnitud de la mala calibración mediante la pendiente dependiente de la homofilia $\kappa$.
• Simplificación Principista: Proporciona una justificación rigurosa para el uso de una única temperatura global en escenarios de desplazamiento homogéneo, desafiando la necesidad de calibradores por nodo complejos en esos contextos.
• Hoja de Ruta para Trabajos Futuros: Al reducir el problema de la calibración sin etiquetas al subproblema de la estimación de la precisión sin etiquetas, el artículo aísla el obstáculo técnico específico que impide el despliegue de calibradores de GNN robustos. Sugiere que la investigación futura debería centrarse en desarrollar estimadores de precisión nativos de grafos que tengan en cuenta la homofilia local y los efectos de agregación, en lugar de diseñar arquitecturas de calibración más complejas.

El autor mantiene la modestia sobre el despliegue práctico de STAC, reconociendo que, si bien la teoría es robusta, la estimación actual de la precisión sin etiquetas en grafos reales y heterofílicos sigue siendo el desafío central no resuelto.