Resumen Técnico: Ajuste de Prompt Universal a Nivel de Subgrafo (SUPT)

Declaración del Problema

La adaptación de Redes Neuronales de Grafos (GNN) preentrenadas a tareas posteriores enfrenta desafíos significativos. El marco tradicional de "preentrenar, ajustar fino" a menudo sufre de desalineación entre los objetivos de preentrenamiento (por ejemplo, predicción de aristas) y las tareas posteriores (por ejemplo, clasificación de grafos), lo que conduce al olvido catastrófico y a una generalización limitada. Además, el ajuste fino requiere actualizar un vasto número de parámetros, lo cual es intensivo en recursos.

Aunque el ajuste de prompt ha surgido como una alternativa eficiente en parámetros en el Procesamiento del Lenguaje Natural (NLP) y la Visión por Computadora, su aplicación a grafos sigue siendo poco explorada. Los métodos existentes de ajuste de prompt para grafos, como Graph Prompt Feature (GPF) y su extensión GPF-plus, ofrecen universalidad a través de estrategias de preentrenamiento, pero dependen de mecanismos de prompt relativamente simples. GPF aplica un prompt uniforme a todos los nodos, mientras que GPF-plus asigna prompts específicos por nodo basados en los tipos de nodo. Los autores argumentan que estos enfoques carecen de la capacidad para comprender plenamente los contextos complejos e intrincados inherentes a las estructuras de grafos, particularmente las relaciones matizadas dentro de los subgrafos locales. Existe la necesidad de un método de ajuste de prompt universal que pueda capturar el contexto a nivel de subgrafo sin sacrificar la eficiencia de parámetros ni la universalidad.

Metodología: Ajuste de Prompt Universal a Nivel de Subgrafo (SUPT)

El artículo introduce SUPT, un método que asigna características de prompt a nivel de subgrafo en lugar de a nivel de nodo o global. SUPT opera dentro del espacio de características de entrada del grafo, modificando las características de los nodos antes de que sean procesadas por la GNN preentrenada fija.

Mecanismo Central

A diferencia de GPF-plus, que calcula los pesos del prompt basándose únicamente en las características de entrada del nodo ($x_i$), SUPT calcula las puntuaciones de asignación de prompt basándose en la información contextual de los nodos derivada de una GNN simple (por ejemplo, GCN o SGC).

La característica de prompt $p_i$ para el $i$-ésimo nodo se calcula como una suma ponderada de vectores base aprendibles ($b_j$):
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
donde $\alpha$ se deriva de una agregación de GNN sobre $m$ saltos:
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
Aquí, $W$ es una matriz de pesos aprendible, $k$ es el número de subgrafos (vectores base) y $\sigma$ es una operación no lineal.

Dos Variantes

Los autores proponen dos variantes de SUPT basadas en la definición de $\sigma$:

1. SUPTsoft: Inspirado en el agrupamiento de grafos basado en clústeres (por ejemplo, DiffPool), esta variante utiliza una función softmax por columnas. Asigna cada nodo a todas las $k$ bases con diversos grados de influencia (asignación suave). Esto asegura que cada nodo reciba un prompt, pero la magnitud depende de la asignación de clúster aprendida.
2. SUPThard: Inspirado en el agrupamiento de grafos por selección de nodos, esta variante emplea un mecanismo de selección de rango superior. Para cada base, solo se seleccionan los $\lceil rN \rceil$ nodos superiores (donde $r$ es una relación de agrupamiento) para recibir el prompt. Los nodos no seleccionados conservan sus características originales sin ninguna adición de prompt. Esto crea una asignación dispersa y dura de prompts a subgrafos específicos.

Universalidad Teórica

El artículo proporciona un análisis teórico (Teorema 1) que demuestra que SUPT mantiene la universalidad. Aunque el prompt se aplica solo a un subconjunto de nodos (un subgrafo $S \subseteq V$) en lugar de todo el grafo, el marco es teóricamente capaz de alcanzar el mismo límite superior de rendimiento que cualquier función de prompt arbitraria. Esto confirma que el prompting a nivel de subgrafo no limita inherentemente la expresividad requerida para la adaptación universal.

Contribuciones Clave

1. Granularidad a Nivel de Subgrafo: La contribución principal es el cambio del prompting a nivel de nodo o global al prompting a nivel de subgrafo. Esto permite que el modelo capture matices contextuales intrincados que los prompts uniformes o específicos por tipo pasan por alto.
2. Eficiencia de Parámetros: SUPT requiere significativamente menos parámetros ajustables que el ajuste fino completo (menos del 0.2% de los parámetros del modelo preentrenado) y es comparable o ligeramente superior a GPF/GPF-plus, aunque ofrece un rendimiento superior.
3. Universalidad: El método está diseñado para ser agnóstico a la estrategia de preentrenamiento (por ejemplo, Infomax, Enmascaramiento de Atributos, Predicción de Contexto, Aprendizaje Contrastivo de Grafos, Predicción de Aristas), funcionando eficazmente a través de diversos objetivos de preentrenamiento.
4. Garantía Teórica: El artículo establece una prueba teórica de que el prompting a nivel de subgrafo puede teóricamente emular cualquier función de prompt, validando la versatilidad del enfoque.

Resultados Experimentales

Los autores evaluaron SUPT en 9 conjuntos de datos posteriores (incluyendo predicción de función de proteínas y predicción de propiedades moleculares) y 5 estrategias de preentrenamiento, totalizando 45 configuraciones experimentales.

• Escenarios Full-Shot:
  • SUPT superó al ajuste fino completo (FT) en 42 de 45 experimentos.
  • Logró una mejora de rendimiento promedio de más del 2.5% en comparación con FT.
  • Por el contrario, GPF y GPF-plus superaron a FT solo en 27 de 45 casos.
• Escenarios Few-Shot (50-shot):
  • SUPT destacó en 41 de 45 experimentos.
  • Logró un aumento de rendimiento promedio de más del 6.6% en comparación con FT.
  • Las ganancias de rendimiento fueron notablemente mayores en configuraciones few-shot en comparación con configuraciones full-shot, destacando la eficacia del método cuando los datos etiquetados son escasos.
• Eficiencia: Aunque SUPThard incurre en un costo computacional ligeramente mayor debido a las operaciones de selección de rango superior, el tiempo de inferencia añadido es despreciable (por ejemplo, ~$1.86 \times 10^{-4}$ segundos por grafo para BBBP), lo que lo hace viable en la práctica.

Significado y Afirmaciones

El artículo afirma que SUPT representa un avance significativo en el ajuste de prompt para grafos al abordar la limitación de los métodos existentes en la captura de contextos complejos de grafos. Al aprovechar la información a nivel de subgrafo, SUPT logra un equilibrio entre eficiencia (parámetros mínimos) y eficacia (rendimiento de vanguardia en diversas tareas).

Los autores enfatizan que, aunque los prompts simples (como GPF) tienen universalidad teórica, su capacidad práctica para comprender contextos complejos es limitada. SUPT cierra esta brecha introduciendo una asignación de subgrafos consciente del contexto sin sacrificar la aplicabilidad universal requerida para diversas estrategias de preentrenamiento. El estudio sugiere que SUPT es una alternativa viable y eficiente para adaptar GNNs preentrenadas, particularmente en escenarios donde los datos son limitados o los recursos computacionales para el ajuste fino completo están restringidos. El trabajo contribuye a una comprensión más amplia de cómo el ajuste de prompt puede adaptarse eficazmente a las complejidades estructurales de los datos de grafos.