Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

Resumen Técnico: Congelar, Promptear y Adaptar (UGPrompt)

Formulación del Problema: Problema de Prompting de Grafos No Supervisado (UGPP)
El artículo identifica una brecha crítica en la adaptación actual de las Redes Neuronales de Grafos (GNN): los métodos de prompting existentes dependen fuertemente de datos etiquetados y a menudo requieren el ajuste fino de cabezales de predicción específicos para la tarea (ajuste fino ligero). Esto socava el objetivo de la adaptación eficiente en parámetros, particularmente en escenarios donde los datos de origen son inaccesibles (por ejemplo, debido a la privacidad) y no hay etiquetas disponibles en el destino.

Para abordar esto, los autores proponen el Problema de Prompting de Grafos No Supervisado (UGPP). Este es un entorno de problema riguroso definido por cuatro condiciones estrictas:

1. Modelo de Origen Congelado: La GNN preentrenada (incluyendo tanto el codificador como el cabezal de predicción) permanece completamente congelada; no se actualiza ningún parámetro del modelo entrenado en el origen.
2. Sin Etiquetas de Destino: La adaptación ocurre sin ningún dato etiquetado del dominio de destino.
3. Inaccesibilidad del Origen: El conjunto de datos de origen original utilizado para el preentrenamiento no está disponible.
4. Desplazamiento de Covariables (Covariate Shift): La distribución de los datos de destino exhibe un desplazamiento respecto a la distribución de origen ($P_s^X \neq P_t^X$), mientras que la distribución condicional de etiquetas permanece invariante ($P_t^{Y|X} = P_s^{Y|X}$).

Este entorno distingue al UGPP de la Adaptación de Dominio Libre de Fuente (SFDA) no supervisada, que típicamente permite el ajuste fino de los parámetros del modelo. El UGPP aísla la efectividad de la propia función de prompting como el único mecanismo de adaptación.

Metodología: UGPrompt
Los autores introducen UGPrompt, el primer marco de prompting para GNN totalmente no supervisado diseñado para resolver el UGPP. El marco entrena una función de prompting aprendible $f(\cdot; \theta_f)$ para adaptar una GNN congelada a la distribución de destino. La metodología consta de tres componentes principales:

1. Prompting Basado en Consistencia:

   • Aumentación: Para cada grafo de entrada $G$, el método genera una aumentación débil $G_w$ (mediante el enmascaramiento aleatorio de características) y una aumentación fuerte $G_s$.
   • Prompting: La aumentación fuerte $G_s$ es procesada por la función de prompting aprendible $f$ para producir un grafo con prompt $G_p$. La función $f$ enriquece los vectores de características de los nodos utilizando un enfoque de módulo de prefijo.
   • Objetivo: El modelo minimiza la discrepancia entre las puntuaciones de predicción de la GNN para $G_w$ y $G_p$. Crucialmente, las pseudo-etiquetas se generan solo desde $G_w$ si la confianza de la GNN supera un umbral $\tau$. Esto asegura que la optimización dependa de predicciones de alta confianza del modelo congelado, utilizando efectivamente el conocimiento de origen para reducir la entropía en el dominio de destino.

2. Regularización de Diversidad ($L_{div}$):

   • Para evitar que el modelo colapse hacia una solución trivial (por ejemplo, predecir una sola clase para todas las muestras debido al desequilibrio de clases), el marco maximiza la entropía de las puntuaciones de predicción esperadas sobre un lote (batch). Esto fomenta predicciones diversas a través del conjunto de datos de destino.

3. Regularización de Dominio ($L_{adv}$):

   • Para evitar que la función de prompting genere grafos fuera de la distribución (OOD), se entrena un discriminador adversarial para distinguir entre la aumentación débil no prompteada ($G_w$) y el grafo con prompt ($G_p$).
   • La función de prompting se regulariza para engañar a este discriminador, asegurando que las representaciones latentes de los grafos con prompt permanezcan cercanas a la distribución de las aumentaciones no prompteadas (y, por extensión, a la distribución de origen preservada en la GNN congelada).

La función de objetivo final combina estos términos: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

Contribuciones Clave

• Definición del Problema: La formalización del UGPP, un nuevo escenario que aísla la verdadera efectividad del prompting al prohibir las actualizaciones de los parámetros de la GNN entrenada en el origen y requerir cero datos etiquetados.
• Metodología Novel: La propuesta de UGPrompt, que aprovecha la regularización de consistencia, el etiquetado de pseudo-etiquetas de alta confianza y la doble regularización (diversidad y dominio) para adaptar GNNs congeladas de forma no supervisada.
• Validación Empírica: Experimentos extensos que demuestran que UGPrompt supera a los métodos de prompting supervisados de última generación (SOTA) (que tienen acceso a datos etiquetados) tanto en tareas de clasificación de grafos como de nodos bajo desplazamiento de covariables.

Resultados Experimentales
Los autores evaluaron UGPrompt en seis conjuntos de datos estándar para clasificación de grafos (ENZYMES, PROTEINS, DHFR, BBBP, BACE) y clasificación de nodos (Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin).

• Rendimiento vs. Baselines Supervisados: A pesar de utilizar un 0% de datos etiquetados, UGPrompt superó consistentemente a los métodos de prompting supervisados SOTA (ej. GraphPrompt, GPF-Plus, All-In-One) que fueron entrenados con un 25% de datos etiquetados.
• Robustez al Desplazamiento: El método mantuvo una transferencia positiva incluso bajo desplazamientos severos de covariables (por ejemplo, variaciones en la razón de homofilia y desplazamientos de popularidad basados en PageRank), mientras que muchos baselines sufrieron de transferencia negativa.
• Capacidad Few-Shot: Cuando se introdujeron datos etiquetados limitados (5-25%), UGPrompt mejoró aún más, demostrando que puede utilizar eficazmente las etiquetas cuando están disponibles, manteniendo su superioridad en el escenario totalmente no supervisado.
• Pruebas de Estrés: En pruebas de estrés de categorías disjuntas (donde las clases de destino eran semánticamente diferentes de las clases de origen pero el cabezal estaba congelado), UGPrompt recuperó un rendimiento significativo, mientras que los baselines a menudo colapsaron.

Significado y Reivindicaciones
El artículo afirma que UGPrompt demuestra la viabilidad del prompting no supervisado como un paradigma de adaptación práctico para las GNN. Al probar que una GNN congelada puede adaptarse eficazmente a nuevas distribuciones desplazadas sin datos etiquetados ni acceso al origen, este trabajo desafía la necesidad de realizar un ajuste fino de los cabezales de predicción para cada nueva tarea. Los autores posicionan esto como un paso hacia los "modelos fundacionales de grafos" que pueden generalizar a través de diversos conjuntos de datos no etiquetados.

Los autores reconocen modestamente las limitaciones: el UGPP asume que los dominios de origen y destino comparten el mismo espacio de etiquetas. El método no está diseñado para escenarios de vocabulario abierto con nuevas clases de destino, ya que el cabezal de predicción congelado no puede acomodar nuevas etiquetas sin reentrenamiento. Se sugiere trabajo futuro para abordar vocabularios de grafos universales y la selección de pseudo-etiquetas de alta calidad bajo desplazamientos severos.