Resumen Técnico: TIDE – Detección de Fuera de Distribución en Grafos mediante Descomposición de Información de Tres Componentes

1. Enunciado del Problema

Las Redes Neuronales de Grafos (GNN) se utilizan ampliamente para la clasificación de nodos, pero siguen siendo vulnerables a desplazamientos fuera de distribución (OOD) en las características de los nodos ($X$) y en la estructura del grafo ($A$). Los enfoques de aprendizaje supervisado (SL) existentes suelen aprender una representación mixta $Z = f(X, A)$ que confunde tres tipos de señales:

1. Señales específicas de características: Correlaciones que dependen únicamente de $X$.
2. Señales específicas de estructura: Correlaciones que dependen únicamente de $A$.
3. Señales de entrada conjunta: Interacciones entre $X$ y $A$.

Aunque las tres pueden ser predictivas dentro de la distribución de entrenamiento, las señales solo de características y solo de estructura a menudo capturan correlaciones espurias que fallan bajo desplazamientos distribucionales. Por ejemplo, un modelo que depende de correlaciones espurias entre estructura y etiquetas puede clasificar erróneamente con alta confianza nodos OOD con características desplazadas pero estructura intacta como si fueran dentro de la distribución (ID). El SL estándar no logra distinguir entre estas señales, lo que conduce a predicciones excesivamente seguras sobre datos OOD y a una pobre separación entre nodos ID y OOD.

2. Metodología: El Marco TIDE

Los autores proponen TIDE (Descomposición de Información de Tres Componentes), un marco diseñado para descomponer explícitamente la información predictiva en componentes específicos de características, específicos de estructura y conjuntos. El objetivo central es preservar únicamente la información conjunta relevante para la etiqueta, filtrando las correlaciones espurias de entrada única y el ruido irrelevante para la etiqueta.

2.1 Descomposición de Información de Tres Componentes

TIDE formaliza la información mutua entre las entradas $(X, A)$ y la etiqueta $Y$ como una suma de tres componentes:
$$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$$
Donde:

• $I(Z; Y)$: Información de entrada conjunta (capturada por el codificador principal $Z$).
• $I(X; Y|Z)$: Información específica de características (capturada por una red auxiliar de características $V$).
• $I(A; Y|Z)$: Información específica de estructura (capturada por una red auxiliar de estructura $Q$).

El marco emplea tres redes dedicadas:

1. Codificador Conjunto ($Z$): Un clasificador GNN que captura interacciones estables entre características y estructura.
2. Red de Características ($V$): Un MLP que aísla señales solo de características.
3. Red de Estructura ($Q$): Un GNN (con características constantes) que aísla señales solo de estructura.

2.2 Objetivos de Optimización

Para lograr la descomposición deseada, TIDE optimiza una función objetivo compuesta que combina una base de Cuello de Botella de Información (IB) con dos regularizadores fundamentados:

1. Objetivo de Cuello de Botella de Información (IB):
   Aplicado a las tres redes, el objetivo IB maximiza la información relevante para la etiqueta mientras minimiza el ruido irrelevante para la etiqueta:
   $$\max I(Z; Y) - \beta_Z I(X, A; Z)$$
   Esto fomenta que la representación comprima detalles irrelevantes, agudizando teóricamente las predicciones ID y aumentando la brecha de entropía entre los datos ID y OOD.

2. Regularizador de Independencia Condicional:
   Para asegurar que $Z$ capture la señal conjunta y no dependencias residuales, TIDE impone $A \perp\!\!\!\perp X | Z$:
   $$\min I(A; X | Z)$$
   Esto se implementa mediante una pérdida de reconstrucción, fomentando que $Z$ codifique toda la información de $X$ relevante para $A$ (y viceversa), tratando cualquier dependencia restante como espuria.

3. Minimización de Información Mutua Pareada (PMI):
   Para evitar que las tres redes codifiquen redundantemente la misma información, TIDE minimiza la información mutua pareada entre las representaciones:
   $$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$$
   Esto se implementa utilizando el estimador CLUB (Límite Superior de Log-ratio Contrastivo).

2.3 Inferencia

Durante la inferencia, solo se utiliza el Codificador Conjunto ($Z$). Las redes auxiliares ($V$ y $Q$) sirven únicamente como regularizadores durante el entrenamiento para guiar el desentrelazado de señales. La detección OOD se realiza mediante puntuación basada en energía derivada de los logits de $Z$.

3. Contribuciones Clave

1. Metodológica: La propuesta de TIDE, un marco novedoso que descompone explícitamente la información predictiva de grafos en componentes específicos de características, específicos de estructura y conjuntos. Introduce regularizadores específicos para suprimir correlaciones espurias e imponer independencia condicional.
2. Teórica: Los autores proporcionan conocimientos teóricos que demuestran que el objetivo IB mejora la confianza de predicción dentro de la distribución y amplía la brecha de entropía entre datos ID y OOD en comparación con el SL estándar. Esto proporciona una base teórica para por qué los modelos entrenados con IB son naturalmente más adecuados para la detección OOD basada en logits.
3. Empírica: Experimentos extensos en siete conjuntos de datos (incluyendo Cora, Citeseer, Pubmed, Amazon, Twitch y Arxiv) bajo diversos tipos de desplazamiento (desplazamientos de características, estructura, conjunta y de etiquetas). TIDE logra hasta una mejora del 34% en FPR95 sobre líneas base fuertes, manteniendo una precisión ID competitiva.

4. Resultados Experimentales

• Rendimiento: TIDE supera significativamente a las líneas base de vanguardia (SOTA) sin exposición a OOD (por ejemplo, GNNSAFE, NODESAFE) y a métodos OOD generales (por ejemplo, MSP, Energy).
  • En el conjunto de datos Twitch, TIDE mejoró el AUROC en más del 23% y redujo el FPR95 en un 34% en comparación con las líneas base.
  • En Pubmed, TIDE redujo el FPR95 de ~37% (GNNSAFE) a ~12.75%.
• Estudios de Ablación: Eliminar la base IB aumenta el FPR95 en ~20%, y eliminar la restricción de independencia condicional degrada aún más el rendimiento, confirmando la necesidad de ambos componentes.
• Comparación con Métodos Avanzados: Cuando el objetivo de TIDE se integra en otros métodos avanzados (por ejemplo, DeGEM, GOLD), mejora consistentemente sus métricas de detección, lo que sugiere que el marco de descomposición es complementario a las arquitecturas existentes.
• Eficiencia: Aunque TIDE incurre en un aumento de 2-3 veces en el tiempo de entrenamiento debido a las redes auxiliares, el tiempo de inferencia y el uso de memoria permanecen comparables a los métodos SOTA.

5. Significado y Afirmaciones

El artículo afirma que TIDE aborda una limitación fundamental en la detección actual de OOD en grafos: la dependencia de representaciones mixtas que capturan correlaciones espurias. Al descomponer explícitamente la información y utilizar el principio del Cuello de Botella de Información, TIDE obliga al modelo a depender de señales conjuntas de entrada indicativas de desplazamiento en lugar de señales de entrada única frágiles.

Los autores afirman que su trabajo proporciona un vínculo teórico entre la compresión de información y el rendimiento de detección OOD, mostrando que minimizar la información irrelevante conduce a una mayor confianza ID y a brechas de entropía ID-OOD más grandes. Sitúan a TIDE como un paso fundamental para mejorar la robustez en aplicaciones de grafos del mundo real donde los desplazamientos distribucionales en características y estructura son comunes, sin requerir datos OOD auxiliares durante el entrenamiento. El trabajo se presenta como un avance metodológico con amplia aplicabilidad a tareas de grafos a nivel de nodo, aunque los autores señalan que extender el marco a la detección OOD a nivel de grafo y a grafos heterofílicos sigue siendo una dirección para futuras investigaciones.