When does distribution shift break graph neural networks calibration?

Resumo Técnico: Desvio de Distribuição e Calibração de GNN

Enunciado do Problema
As Redes Neurais de Grafos (GNNs) são cada vez mais implantadas em ambientes dinâmicos onde a distribuição do grafo no tempo de teste difere da distribuição de treinamento (ex: redes sociais em evolução, infraestrutura reconfigurada). Embora a precisão preditiva seja frequentemente estudada, a calibração das GNNs — o acordo entre a confiança preditiva e a precisão real — permanece pouco compreendida sob tais desvios de distribuição. Métodos de calibração existentes (ex: escalonamento de temperatura, CaGCN, GATS) dependem tipicamente de dados de validação rotulados da distribuição alvo. Na implantação no mundo real, esses rótulos não estão disponíveis, e calibradores padrão ajustados nos dados de origem falham porque a relação entre confiança e precisão muda quando propriedades do grafo, como homofilia ou ruído de características, sofrem deslocamentos. O desafio central é caracterizar como o desvio de distribuição altera a calibração da GNN e desenvolver um método para recalibração sem acesso aos rótulos do alvo.

Metodologia e Estrutura Teórica
O artigo aborda este problema derivando uma caracterização teórica em forma fechada da calibração de GNN sob desvio de distribuição. A análise fundamenta-se em um Modelo de Blocos Estocásticos Contextuais (CSBM), onde os nós possuem características gaussianas e as arestas são formadas com base na homofilia de classe. O modelo analisado é uma GNN linear (agregação de média ou GCN normalizada simetricamente) seguida por um classificador linear.

O insight teórico central é que a relação entre a magnitude do logit do modelo $t$ e sua precisão real é governada por um único parâmetro escalar, o coeficiente de calibração $\kappa$:
$$\text{Confiança}(t) = \sigma(t) \quad \text{vs.} \quad \text{Precisão}(t) = \sigma(\kappa t)$$
onde $\sigma$ é a função sigmoide. O artigo prova que $\kappa$ é determinado explicitamente pelos níveis de homofilia dos grafos de origem ($h_s$) e alvo ($h_t$) e pela razão sinal-ruído ($\rho$) das características:
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
Extensões teóricas principais incluem:

• GCNs com auto-loops: O coeficiente é ajustado para considerar auto-loops, que permitem que o sinal persista mesmo sob heterofilia ($h < 0,5$).
• Classificação multiclasse: O coeficiente generaliza-se via um coeficiente de sinal $c_K(h)$, mostrando que uma única temperatura global permanece suficiente para $K$ classes.
• Desvio de covariável: O aumento do ruído das características diminui monotonicamente $\kappa$, induzindo excesso de confiança (over-confidence).
• Limite de Erro de Calibração Esperado (ECE): Um limite superior teórico para o ECE é derivado como $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$, vinculando a severidade da má calibração diretamente ao desvio de $\kappa$ em relação a 1.

Principais Contribuições

1. Coeficiente de Calibração em Forma Fechada: O artigo fornece a primeira fórmula analítica para o coeficiente de calibração $\kappa$ sob desvio de distribuição, ligando explicitamente-o a mudanças estruturais (homofilia) e qualidade de características. Isso explica por que e o quanto uma GNN se torna excessivamente confiante ($\kappa < 1$) ou subconfiante ($\kappa > 1$).
2. Otimalidade da Temperatura Global: Um corolário estrutural prova que sob desvio de distribuição homogêneo (onde o desvio afeta todos os nós de forma semelhante), uma única temperatura global $T^* = 1/\kappa$ é teoricamente ótima. Isso implica que métodos complexos de recalibração por nó não oferecem benefício em cenários homogêneos, pois a solução populacional ótima é uma função constante.
3. STAC (Calibração Adaptativa de Tempo de Teste Sensível à Estrutura): Com base na teoria, o autor propõe o STAC, um método de recalibração livre de fonte e livre de rótulos. O STAC estima a precisão do alvo $\hat{a}$ a partir de dados não rotulados usando estatísticas de confiança e discordância de predição sob perturbações. Ele então define uma temperatura global única $T^* = 1/\hat{\kappa}$ de modo que a confiança média corresponda à precisão estimada.
4. Identificação do Gargalo: O trabalho identifica que a principal barreira para a calibração prática de GNN sem rótulos não é o mecanismo de calibração em si, mas a estimativa da precisão do alvo em grafos deslocados e sem rótulos.

Resultados Experimentais

• Validação Sintética: Nos dados sintéticos CSBM, o coeficiente $\kappa$ em forma fechada coincide com as medições empíricas com alta precisão ($r=0,99$). A temperatura ótima prevista $T^*$ recupera a calibração (reduzindo o ECE para $\leq 0,02$) através de variações de homofilia e razões sinal-ruído.
• Grafos do Mundo Real: A teoria se mantém em cinco conjuntos de dados do mundo real abrangendo um amplo espectro de homofilia ($h=0,05$ a $0,84$) e variando o número de classes ($K=2$ a $18$).
  • Desempenho Oracle: Quando uma temperatura "oracle" (derivada dos verdadeiros rótulos do alvo) é aplicada, a calibração é recuperada em todos os conjuntos de dados, confirmando a suficiência da teoria.
  • Desempenho STAC: O STAC consegue reduzir pela metade a lacuna de erro de calibração em comparação com baselines ajustados na origem sob desvios sintéticos. No entanto, em grafos heterofílicos reais (ex: roman-empire, amazon-ratings), as estimativas de precisão do STAC são pouco confiáveis (frequentemente superestimando a precisão real), levando a uma calibração degradada. Isso confirma que o arcabouço teórico é sólido, mas os atuais estimadores de precisão sem rótulos são insuficientes para desvios de grafos complexos.
• Desvio Heterogêneo: Sob desvios heterogêneos (onde diferentes nós experimentam diferentes desvios), a temperatura global única não pode corrigir totalmente o modelo. Embora um estágio por nó tenha sido testado, ele ofereceu benefícios marginais com as características estruturais utilizadas, apoiando a afirmação teórica de que a calibração por nó só é necessária se o desvio for heterogêneo.

Significância e Alegações
O artigo alega fornecer a primeira conta teórica em forma fechada da calibração de GNN sob desvio de distribuição. Sua significância reside em:

• Explicação Mecanística: Move-se além da observação empírica para explicar a direção e a magnitude da má calibração via o coeficiente de homofilia $\kappa$.
• Simplificação Principiada: Fornece uma justificativa rigorosa para o uso de uma única temperatura global em cenários de desvio homogêneo, desafiando a necessidade de calibradores complexos por nó nesses contextos.
• Roteiro para Trabalhos Futuros: Ao reduzir o problema da calibração de GNN sem rótulos ao subproblema da estimativa de precisão sem rótulos, o artigo isola o obstáculo técnico específico que impede a implantação de calibradores de GNN robustos. Sugere que pesquisas futuras devem focar no desenvolvimento de estimadores de precisão nativos de grafos que considerem a homofilia local e efeitos de agregação, em vez de projetar arquiteturas de calibração mais complexas.

O autor permanece modesto quanto à implantação prática do STAC, reconhecendo que, embora a teoria seja robusta, a estimativa atual de precisão sem rótulos em grafos reais e heterofílicos continua sendo o desafio central não resolvido.