Resumo Técnico: TIDE – Detecção de Fora de Distribuição em Grafos via Decomposição de Informação Tri-Componente

1. Declaração do Problema

Redes Neurais em Grafos (GNNs) são amplamente utilizadas para classificação de nós, mas permanecem vulneráveis a deslocamentos de distribuição fora de distribuição (OOD) em características de nós ($X$) e na estrutura do grafo ($A$). Abordagens de aprendizado supervisionado (SL) existentes geralmente aprendem uma representação mista $Z = f(X, A)$ que confunde três tipos de sinais:

1. Sinais específicos de características: Correlações dependentes apenas de $X$.
2. Sinais específicos de estrutura: Correlações dependentes apenas de $A$.
3. Sinais de entrada conjunta: Interações entre $X$ e $A$.

Embora todos os três possam ser preditivos dentro da distribuição de treinamento, sinais apenas de características e apenas de estrutura frequentemente capturam correlações espúrias que falham sob deslocamentos de distribuição. Por exemplo, um modelo que depende de correlações espúrias entre estrutura e rótulo pode classificar erroneamente com confiança nós OOD com características deslocadas, mas estrutura intacta, como dentro da distribuição (ID). O SL padrão falha em distinguir entre esses sinais, levando a previsões excessivamente confiantes em dados OOD e a uma separação pobre entre nós ID e OOD.

2. Metodologia: O Framework TIDE

Os autores propõem o TIDE (Decomposição de Informação Tri-Componente), um framework projetado para decompor explicitamente a informação preditiva em componentes específicos de características, específicos de estrutura e conjuntos. O objetivo central é preservar apenas a informação conjunta relevante para o rótulo, filtrando correlações espúrias de entrada única e ruído irrelevante para o rótulo.

2.1 Decomposição de Informação Tri-Componente

O TIDE formaliza a informação mútua entre as entradas $(X, A)$ e o rótulo $Y$ como uma soma de três componentes:
$$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$$
Onde:

• $I(Z; Y)$: Informação de entrada conjunta (capturada pelo codificador principal $Z$).
• $I(X; Y|Z)$: Informação específica de características (capturada por uma rede auxiliar de características $V$).
• $I(A; Y|Z)$: Informação específica de estrutura (capturada por uma rede auxiliar de estrutura $Q$).

O framework emprega três redes dedicadas:

1. Codificador Conjunto ($Z$): Um classificador GNN que captura interações estáveis entre características e estrutura.
2. Rede de Características ($V$): Um MLP que isola sinais apenas de características.
3. Rede de Estrutura ($Q$): Um GNN (com características constantes) que isola sinais apenas de estrutura.

2.2 Objetivos de Otimização

Para alcançar a decomposição desejada, o TIDE otimiza uma função objetivo composta que combina uma espinha dorsal de Gargalo de Informação (IB) com dois regularizadores principiais:

1. Objetivo de Gargalo de Informação (IB):
   Aplicado a todas as três redes, o objetivo IB maximiza a informação relevante para o rótulo enquanto minimiza o ruído irrelevante para o rótulo:
   $$\max I(Z; Y) - \beta_Z I(X, A; Z)$$
   Isso incentiva a representação a comprimir detalhes irrelevantes, teoricamente afiando as previsões ID e aumentando a lacuna de entropia entre dados ID e OOD.

2. Regularizador de Independência Condicional:
   Para garantir que $Z$ capture o sinal conjunto e não dependências residuais, o TIDE impõe $A \perp\!\!\!\perp X | Z$:
   $$\min I(A; X | Z)$$
   Isso é implementado via uma função de perda de reconstrução, incentivando $Z$ a codificar todas as informações de $X$ relevantes para $A$ (e vice-versa), tratando qualquer dependência remanescente como espúria.

3. Minimização de Informação Mútua Pares (PMI):
   Para evitar que as três redes codifiquem redundantemente a mesma informação, o TIDE minimiza a informação mútua entre pares de representações:
   $$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$$
   Isso é implementado usando o estimador CLUB (Limite Superior Log-Razão Contrastivo).

2.3 Inferência

Durante a inferência, apenas o Codificador Conjunto ($Z$) é utilizado. As redes auxiliares ($V$ e $Q$) servem exclusivamente como regularizadores em tempo de treinamento para guiar a desconexão dos sinais. A detecção OOD é realizada usando pontuação baseada em energia derivada dos logits de $Z$.

3. Contribuições Principais

1. Metodológica: A proposta do TIDE, um framework inovador que decompõe explicitamente a informação preditiva em grafos em componentes específicos de características, específicos de estrutura e conjuntos. Introduz regularizadores específicos para suprimir correlações espúrias e impor independência condicional.
2. Teórica: Os autores fornecem insights teóricos demonstrando que o objetivo IB melhora a confiança de previsão dentro da distribuição e amplia a lacuna de entropia entre dados ID e OOD em comparação com o SL padrão. Isso fornece uma base teórica para o motivo pelo qual modelos treinados com IB são naturalmente mais adequados para detecção OOD baseada em logits.
3. Empírica: Experimentos extensivos em sete conjuntos de dados (incluindo Cora, Citeseer, Pubmed, Amazon, Twitch e Arxiv) sob vários tipos de deslocamento (deslocamentos de características, estrutura, conjunta e de rótulo). O TIDE alcança até uma melhoria de 34% no FPR95 sobre bases fortes, mantendo uma precisão ID competitiva.

4. Resultados Experimentais

• Desempenho: O TIDE supera significativamente as bases de última geração (SOTA) sem exposição a OOD (por exemplo, GNNSAFE, NODESAFE) e métodos OOD gerais (por exemplo, MSP, Energy).
  • No conjunto de dados Twitch, o TIDE melhorou a AUROC em mais de 23% e reduziu o FPR95 em 34% em comparação com as bases.
  • No Pubmed, o TIDE reduziu o FPR95 de ~37% (GNNSAFE) para ~12,75%.
• Estudos de Ablação: A remoção da espinha dorsal IB aumenta o FPR95 em ~20%, e a remoção da restrição de independência condicional degrada ainda mais o desempenho, confirmando a necessidade de ambos os componentes.
• Comparação com Métodos Avançados: Quando o objetivo do TIDE é integrado a outros métodos avançados (por exemplo, DeGEM, GOLD), ele melhora consistentemente suas métricas de detecção, sugerindo que o framework de decomposição é complementar às arquiteturas existentes.
• Eficiência: Embora o TIDE incorra em um aumento de 2 a 3 vezes no tempo de treinamento devido às redes auxiliares, o tempo de inferência e o uso de memória permanecem comparáveis aos métodos SOTA.

5. Significado e Alegações

O artigo afirma que o TIDE aborda uma limitação fundamental na detecção atual de OOD em grafos: a dependência de representações mistas que capturam correlações espúrias. Ao decompor explicitamente a informação e utilizar o princípio do Gargalo de Informação, o TIDE força o modelo a depender de sinais conjuntos de entrada indicativos de deslocamento em vez de pistas frágeis de entrada única.

Os autores afirmam que seu trabalho fornece um elo teórico entre a compressão de informação e o desempenho de detecção OOD, mostrando que a minimização de informações irrelevantes leva a uma confiança ID mais afiada e a lacunas de entropia ID-OOD maiores. Eles posicionam o TIDE como um passo fundamental para melhorar a robustez em aplicações de grafos do mundo real, onde deslocamentos de distribuição em características e estrutura são comuns, sem exigir dados OOD auxiliares durante o treinamento. O trabalho é apresentado como um avanço metodológico com ampla aplicabilidade a tarefas de grafos em nível de nó, embora os autores observem que estender o framework para detecção OOD em nível de grafo e grafos heterofílicos permaneça uma direção para pesquisa futura.