Improving Graph Few-shot Learning with Hyperbolic Space and Denoising Diffusion

A continuación se presenta un resumen técnico detallado del artículo "Mejora del Aprendizaje de Pocos Ejemplos en Grafos con Espacio Hiperbólico y Difusión Desruidificadora" (IMPRESS).

1. Enunciado del Problema

El artículo aborda los desafíos del Aprendizaje de Pocos Ejemplos en Grafos (FSL), específicamente la tarea de clasificación de nodos no supervisada con pocos ejemplos. El objetivo es clasificar nodos en categorías novedosas utilizando únicamente un número reducido de nodos de soporte etiquetados ($M$-shot) y un gran número de nodos de consulta sin etiquetar, sin depender de datos etiquetados durante la fase de meta-entrenamiento.

Los autores identifican dos limitaciones críticas en los métodos existentes de FSL en grafos:

1. Limitaciones del Espacio Euclidiano: La mayoría de los modelos actuales aprenden representaciones de nodos en espacio euclidiano. Sin embargo, los datos de grafos del mundo real (por ejemplo, estructuras organizativas, taxonomías académicas) a menudo poseen estructuras jerárquicas o similares a árboles inherentes. La geometría euclidiana sufre una distorsión significativa al incrustar dichas estructuras, fallando en capturar las relaciones geométricas verdaderas.
2. Sesgo Distribucional y Sobreajuste: En la fase de meta-prueba, los modelos suelen entrenar clasificadores sobre un conjunto de soporte muy pequeño. Esto conduce a dos problemas:
   • La distribución empírica del pequeño conjunto de soporte a menudo se desvía significativamente de la distribución de clase subyacente real (cambio distribucional).
   • El entrenamiento directo sobre datos dispersos provoca un sobreajuste severo, perjudicando la generalización al conjunto de consulta.

2. Metodología: Marco IMPRESS

El marco propuesto, IMPRESS (Improves Praph Representation with Enhanced Space and Sampling), opera en dos fases: Meta-Entrenamiento y Meta-Prueba. Integra Geometría Hiperbólica y Modelos de Difusión Desruidificadora.

A. Fase de Meta-Entrenamiento

1. Aprendizaje de Representación de Nodos Hiperbólica:

   • En lugar del espacio euclidiano, el modelo aprende incrustaciones de nodos en una bola de Poincaré (espacio hiperbólico), que acomoda naturalmente las estructuras jerárquicas.
   • Arquitectura: Se utiliza un Autoencoder Variacional de Grafos (VGAE).
     • Codificador: Las características de los nodos se proyectan desde el espacio euclidiano al espacio tangente de la variedad hiperbólica utilizando el mapa logarítmico. Se realiza una convolución de grafos (GCN) en el espacio tangente. Las incrustaciones resultantes se mapean de nuevo al espacio hiperbólico mediante el mapa exponencial.
     • Decodificador: Reconstruye la matriz de adyacencia del grafo utilizando el producto interno de las variables latentes en el espacio hiperbólico.
   • Objetivo: El modelo se entrena de forma no supervisada (utilizando únicamente la estructura del grafo y las características) para minimizar la pérdida de reconstrucción y la divergencia KL, aprendiendo distribuciones latentes que preservan la geometría jerárquica.

2. Difusión Desruidificadora Guiada por Prototipos:

   • Dado que las etiquetas no están disponibles durante el meta-entrenamiento, el modelo utiliza agrupamiento no supervisado (DBSCAN) sobre las incrustaciones latentes aprendidas para asignar pseudo-etiquetas y calcular prototipos de clase.
   • Se entrena un Modelo Probabilístico de Difusión Desruidificadora (DDPM) sobre estas incrustaciones latentes.
   • Condicionamiento: El proceso de difusión se condiciona a los prototipos de clase mediante un mecanismo de atención cruzada. Esto permite que el modelo aprenda la distribución de datos de cada clase sin etiquetas de verdad fundamental explícitas, preparándolo para generar muestras para clases novedosas más adelante.

B. Fase de Meta-Prueba

1. Generación de Incrustaciones:
   • Para una nueva tarea con un pequeño conjunto de soporte ($S_{tes}$) y un conjunto de consulta ($Q_{tes}$), el VGAE preentrenado codifica los nodos en el espacio latente hiperbólico.
   • Se calculan los prototipos de clase a partir del conjunto de soporte etiquetado.
2. Aumento de Datos:
   • El modelo de difusión entrenado genera $D$ nuevas incrustaciones de nodos sintéticas para cada clase novedosa, condicionadas a los prototipos del conjunto de soporte.
   • Estas muestras generadas se combinan con el conjunto de soporte original para formar un conjunto de soporte aumentado ($\tilde{S}_{tes}$), aumentando efectivamente el tamaño de la muestra de $M$ a $M+D$.
3. Clasificación:
   • Se entrena un clasificador lineal sobre el conjunto de soporte aumentado y se evalúa en el conjunto de consulta.

3. Contribuciones Clave

1. Marco Novel (IMPRESS): El primer marco que combina Espacio Hiperbólico para la representación estructural y Difusión Desruidificadora para el enriquecimiento distribucional en el contexto del aprendizaje de pocos ejemplos en grafos no supervisado.
2. Avance Teórico:
   • Demostró que la codificación hiperbólica proporciona un límite de generalización más ajustado ($O(e^{-\delta})$) en comparación con la codificación euclidiana para grafos $\delta$-hiperbólicos.
   • Derivó un límite de error de clasificación que muestra que el método propuesto reduce el error minimizando la varianza intraclase, maximizando la distancia interclase y reduciendo la distancia de Wasserstein entre las distribuciones generadas y las reales.
3. Difusión Guiada por Prototipos: Introdujo un mecanismo para guiar modelos de difusión utilizando prototipos de clase en un entorno no supervisado, resolviendo el desafío de generar muestras para clases novedosas sin información previa de etiquetas.
4. Superioridad Empírica: Demostró un rendimiento consistente de vanguardia en múltiples puntos de referencia.

4. Resultados Experimentales

El modelo se evaluó en seis conjuntos de datos de referencia: CoraFull, Coauthor-CS, Cora, WikiCS, Cora-ML, CiteSeer, y el de gran escala ogbn-arxiv.

• Rendimiento: IMPRESS superó consistentemente a una amplia gama de líneas base, incluyendo:
  • Métodos de incrustación de grafos (GCN, SGC).
  • Meta-aprendizaje tradicional (ProtoNet, MAML).
  • Meta-aprendizaje en grafos (Meta-GNN, GPN, TEG, COSMIC).
  • Meta-aprendizaje de grafos no supervisado (VNT, NaQ).
  • Ejemplo: En ogbn-arxiv (5 vías, 3 shots), IMPRESS logró una precisión del 61.11%, superando significativamente al segundo clasificado (COSMIC con 52.98%). En CoraFull, alcanzó el 85.49% (frente al 75.18% del siguiente mejor).
• Estudios de Ablación:
  • Eliminar el componente hiperbólico (w/o hyp) causó una caída significativa en el rendimiento, confirmando la necesidad de la geometría hiperbólica para datos jerárquicos.
  • Eliminar el componente de difusión (w/o dif) también degradó el rendimiento, validando que el aumento de datos mediante difusión mitiga eficazmente la escasez de etiquetas y el sesgo distribucional.
• Sensibilidad a Hiperparámetros:
  • Se encontró que la curvatura óptima ($c$) estaba entre 0.5 y 2.0.
  • El número de muestras generadas ($D$) mostró una tendencia en forma de U invertida, con un rendimiento óptimo en $D=50$.

5. Significado

Este trabajo cierra la brecha entre el aprendizaje profundo geométrico y el modelado generativo para datos de grafos.

• Insight Geométrico: Valida que los grafos del mundo real se modelan mejor en el espacio hiperbólico, ofreciendo una solución teórica y práctica al problema de "distorsión" de las incrustaciones euclidianas.
• Solución a la Escasez de Datos: Al aprovechar modelos de difusión para sintetizar muestras de alta calidad condicionadas a la clase, ofrece una estrategia robusta para superar el cuello de botella de los "pocos datos" en el aprendizaje de pocos ejemplos, reduciendo el sobreajuste y mejorando los límites de decisión.
• Capacidad No Supervisada: La capacidad de entrenar modelos de difusión utilizando pseudo-etiquetas derivadas del agrupamiento no supervisado hace que el marco sea altamente aplicable a escenarios del mundo real donde los datos etiquetados son costosos o inexistentes.