Resumen Técnico: CondPSE

Planteamiento del Problema

Las Redes Neuronales de Grafos de paso de mensajes (MPNN) están fundamentalmente limitadas por la prueba 1-Weisfeiler-Lehman (1-WL), lo que las hace incapaces de distinguir ciertos grafos no isomórficos o de capturar estructuras topológicas específicas. Para abordar esto, los codificadores de Posición y Estructura (PSE) inyectan señales derivadas de la topología en las características de los nodos. Aunque existen codificadores manuales (por ejemplo, autovectores del Laplaciano, estadísticas de paseos aleatorios), los codificadores de PSE aprendidos como GPSE ofrecen una alternativa transferible al preentrenar un único codificador para reconstruir múltiples objetivos estructurales a partir de sondas de nodos aleatorias. Sin embargo, persiste una brecha crítica: no está claro si las capacidades de discriminación estructural fuerte a nivel de benchmark (por ejemplo, distinguir clases de isomorfismo de grafos) se traducen automáticamente en un mejor rendimiento en tareas de predicción a nivel de grafo, particularmente en la predicación de propiedades moleculares.

Metodología

Los autores proponen CondPSE, un codificador estructural aprendido diseñado para generar señales posicionales y estructurales robustas mediante un proceso de dos etapas: filtrado polinómico seguido de modulación condicional.

1. Fase de Entrada y Extracción

CondPSE comienza con sondas de nodos gaussianas estándar ($Z$) muestreadas i.i.d. de una distribución normal estándar. Estas sondas sirven como entradas aleatorias para los operadores de grafos de consulta.

• Banco de Filtros de Grafos Polinómicos: En lugar de utilizar capas de paso de mensajes apiladas (como en GPSE), CondPSE aplica un banco de $K$ filtros de grafos polinómicos aprendibles de grado $d$.
• Los filtros computan mezclas de respuestas de profundidad de propagación utilizando potencias de la matriz de adyacencia ($A^i Z$).
• La salida de cada filtro se normaliza y se proyecta a la dimensión del modelo $D$, formando $K$ ramas iniciales de respuesta estructural. Esta etapa captura información estructural del grafo a través de la propagación de la adyacencia en lugar de los valores iniciales de la sonda.

2. Fase de Condicionamiento y Modulación

Las $K$ ramas de respuesta estructural se refinan a través de $B$ bloques de condicionamiento. Cada bloque emplea modulación de estilo FiLM (Modulación Lineal por Características) para escalar y desplazar adaptativamente las ramas basándose en tres señales de condicionamiento distintas:

• Condicionamiento de Filtro Cruzado (Cross-filter): Computa características de comparación por pares entre diferentes ramas de filtros para facilitar el intercambio de información entre las respuestas estructurales.
• Condicionamiento Local: Aplica un ResGatedGCN compartido sobre cada rama de filtro de forma independiente para agregar información de vecindad de aristas.
• Condicionamiento Global: Computa estadísticas de todo el grafo (media, desviación estándar, máximo) para cada rama y las transmite a los nodos.
• Estas señales se concatenan y se mapean mediante un MLP para generar vectores de escala ($\gamma$) y desplazamiento ($\beta$), que modulan los estados ocultos de las ramas de los filtros.

3. Entrenamiento e Integración

• Preentrenamiento: El codificador se preentrena para reconstruir objetivos posicionales/estructurales a nivel de nodo (por ejemplo, ElectrostaticPE, LapPE, RWSE) e invariantes a nivel de grafo (por ejemplo, autovalores, conteo de ciclos). Crucialmente, este preentrenamiento no utiliza etiquetas de propiedades de la tarea descendente.
• Congelación: Una vez preentrenado, el codificador CondPSE se congela.
• Uso en Tareas Descendentes (Downstream): La matriz de codificación de nodos resultante se pasa a través de un adaptador ligero (proyección lineal o MLP) y se concatena con las características originales de los nodos antes de ser alimentada a los backbones de GNN (por ejemplo, GIN, GraphGPS, Transformers).

Principales Contribuciones

1. Arquitectura: Introducción de CondPSE, un codificador estructural que utiliza una etapa de extracción filtrada polinómicamente seguida de modulación condicional (filtro cruzado, local y global) para refinar las respuestas estructurales.
2. Perspectivas de Ablación: Demostración de que el banco de filtros polinómicos es el principal motor de las mejoras de rendimiento en la discriminación estructural, mientras que los módulos de condicionamiento proporcionan refinamientos adicionales, aunque menores.
3. Análisis de la Brecha Empírica: Evidencia de que una discriminación estructural superior en benchmarks (en los conjuntos de datos CSL y EXP) no garantiza automáticamente un rendimiento de transferencia superior en la predicción de propiedades moleculares.

Resultados Experimentales

Discriminación Estructural Sintética

CondPSE fue evaluado en los benchmarks de isomorfismo de grafos Circular Skip Link (CSL) y EXP utilizando un backbone GIN.

• CSL: La precisión mejoró del 42.9% (GPSE) al 97.3% (CondPSE).
• EXP: La precisión mejoró del 68.3% (GPSE) al 99.9% (CondPSE).
• Ablaciones: La eliminación del banco de filtros polinómicos causó la caída de rendimiento más significativa, confirmando su papel como el mecanismo central de extracción. La eliminación de los módulos de condicionamiento resultó en descensos menores pero visibles.

Predicción de Propiedades Moleculares

CondPSE fue evaluado en conjuntos de datos moleculares (ZINC, MolHIV, MolPCBA, PCQM4Mv2) utilizando varios backbones.

• Backbone GraphGPS: CondPSE se desempeñó de manera comparable a GPSE en todos los conjuntos de datos, con ligeras variaciones (por ejemplo, ligeramente mejor en MolPCBA, ligeramente peor en ZINC y MolHIV).
• Barrido de Backbones en ZINC: Al probarse en diferentes backbones (GCN, GatedGCN, GIN, GINE, Transformer), el rendimiento relativo de CondPSE y GPSE varió:
  • CondPSE superó a GPSE en los backbones GCN, GatedGCN y Transformer.
  • GPSE superó a CondPSE en los backbones GIN y GINE.
• Conclusión: No existe un orden consistente entre los dos codificadores; la utilidad de un codificador estructural específico depende fuertemente de la arquitectura descendente.

Significancia y Reivindicaciones

El artículo posiciona a CondPSE principalmente como una herramienta de diagnóstico para estudiar la alineación entre la discriminación estructural de nivel de benchmark y la utilidad en tareas descendentes.

• Desacoplamiento de la Discriminación y la Transferencia: Los autores afirman que las capacidades fuertes de discriminación estructural (separar grafos no isomórficos) no se traducen automáticamente en mejores predicciones de grafos a nivel de propiedad.
• Papel de la Integración: Los resultados sugieren que el mecanismo de "integración descendente" —cómo un backbone específico combina características originales, paso de mensajes y codificaciones estructurales— es un factor crítico. Diferentes arquitecturas pueden favorecer diferentes representaciones estructurales.
• Desajuste de Objetivos: Los autores hipotetizan que un desajuste entre los objetivos de preentrenamiento (reconstrucción de estadísticas estructurales genéricas) y las etiquetas de la tarea descendente (propiedades moleculares) puede limitar la transferencia, incluso cuando el codificador es altamente expresivo.
• Alcance Modesto: El artículo no pretende que CondPSE sea un codificador superior universal. En su lugar, destaca que la elección del codificador estructural debe verse como un hiperparámetro arquitectónico dependiente del modelo descendente, en lugar de una solución única impulsada únicamente por las puntuaciones de los benchmarks de isomorfismo.