🤖 machine learning

TopoFormer: Topology Meets Attention for Graph Learning

TopoFormer es un marco ligero y escalable que integra la estructura topológica en modelos basados en atención mediante un novedoso módulo Topo-Scan, el cual descompone los grafos en secuencias paralelizables para lograr un rendimiento de vanguardia en el aprendizaje de grafos sin los costos computacionales de la homología persistente tradicional.

Autores originales: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md Joshem Uddin, Astrit Tola, Cuneyt Gurcan Akcora, Baris Coskunuzer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un ordenador a comprender la forma de las cosas. En el mundo de los datos, a menudo utilizamos "grafos" para representar conexiones: como amigos en una red social, átomos en una molécula o paradas en un mapa de metro. Estos no son cuadrículas ordenadas como una hoja de cálculo; son redes irregulares y desordenadas. Durante mucho tiempo, los ordenadores tuvieron dificultades para ver el panorama general en estas redes porque estaban demasiado ocupados mirando los puntos individuales (nodos) y las líneas (aristas), perdiendo de vista el bosque por centrarse en los árboles.

Para ayudar a los ordenadores a ver la "forma" de estas redes, los científicos utilizan una rama de las matemáticas llamada Análisis de Datos Topológicos (TDA). Piensa en el TDA como una forma de contar los agujeros, bucles e islas de una forma sin importar el tamaño o la posición exacta de los puntos. Es como mirar una dona y saber que tiene un agujero, independientemente de si la dona es gigante o diminuta. Otra idea clave es el "Transformer", un tipo de IA famosa por leer lenguaje y analizar imágenes. Los Transformers son excelentes detectando patrones en largas listas de palabras o píxeles, pero suelen tener dificultades con los grafos irregulares y desordenados. La gran pregunta que los investigadores se han estado haciendo es: ¿Cómo podemos convertir estas redes desordenadas e irregulares en una lista ordenada y limpia que un Transformer pueda leer, manteniendo intacta la información importante de la "forma"?

Aquí es donde entra en juego un nuevo artículo llamado TOPOFORMER. Los autores, un equipo de investigadores de universidades de EE. UU., han construido una herramienta ingeniosa que actúa como un escáner de alta tecnología para grafos. En lugar de intentar forzar un grafo desordenado en una cuadrícula rígida, TOPOFORMER lo corta en una serie de capas finas y ordenadas, muy parecido a rebanar una hogaza de pan o realizar una serie de tomografías computarizadas de un cuerpo.

Así es como funciona su truco de magia: Utilizan un método que llaman Topo-Scan. Imagina que tienes un nudo complejo de cuerda. Los métodos tradicionales podrían intentar medir todo el nudo a la vez o construir un mapa 3D complicado de cada giro, lo que requiere una enorme cantidad de tiempo y potencia de cálculo. TOPOFORMER, sin embargo, adopta un enfoque diferente. "Rebanan" lentamente el grafo utilizando una ventana deslizante. A medida que se mueve a través del grafo, cuenta cosas simples en cada rebanada: ¿cuántas piezas separadas de cuerda hay? ¿Cuántos bucles se han formado? ¿Cuántos nudos son visibles en este momento?

Estos recuentos crean una lista de números corta y ordenada: una "secuencia de tokens topológicos". Esta lista tiene la forma perfecta para que un Transformer la lea. El Transformer luego observa esta lista y aprende a reconocer la estructura general del grafo, desde pequeños bucles locales hasta la gran forma global. Los autores descubrieron que este método no solo es más rápido y ligero en recursos informáticos que las técnicas anteriores (que a menudo se quedan estancadas en cálculos costosos), sino que también funciona increíblemente bien.

En sus experimentos, TOPOFORMER fue probado en dos tareas principales: clasificar diferentes tipos de grafos (como distinguir si un grafo representa una molécula química o una red social) y predecir propiedades de moléculas (como si un fármaco será eficaz o tóxico). Los resultados fueron impresionantes. En ocho bancos de pruebas de clasificación de grafos diferentes, TOPOFORMER logró la mejor precisión o la segunda mejor, superando a muchos modelos complejos y pesados que han sido el estándar durante años. Cuando se trató de predecir propiedades moleculares, funcionó tan bien como, o mejor que, los mejores modelos actuales, situándose a menudo en los tres primeros puestos.

Lo que hace que esto sea particularmente emocionante es que TOPOFORMER no necesita aprender un "embedding" único (un código interno complejo) para cada nodo individual del grafo primero. En su lugar, trata a todo el grafo como un objeto único y estructurado y lo escanea directamente. Los autores sugieren que este enfoque ofrece un nuevo y eficiente camino hacia la creación de "modelos fundacionales" para grafos: sistemas de IA superinteligentes que pueden comprender cualquier tipo de red, desde la biología hasta las redes sociales, sin necesidad de ser reentrenados desde cero cada vez. También demostraron matemáticamente que su método es estable, lo que significa que si se cambia ligeramente el grafo de entrada, el resultado no se vuelve errático, lo cual es crucial para la fiabilidad en el mundo real.

En resumen, TOPOFORMER toma el mundo desordenado e irregular de los grafos, lo corta en una historia limpia y legible, y permite que una IA poderosa lea esa historia para comprender la forma de los datos. Es una forma más ligera, rápida y sorprendentemente efectiva de enseñar a las máquinas a ver el mundo en términos de conexiones y formas.

Resumen Técnico: TOPOFORMER

Planteamiento del Problema

El aprendizaje de representaciones de grafos enfrenta desafíos significativos para lograr las capacidades de generalización que poseen los modelos fundacionales de visión y lenguaje. La naturaleza irregular y no euclidiana de los grafos complica el diseño de sesgos inductivos transferibles. Aunque el Análisis de Datos Topológicos (TDA), específicamente la Homología Persistente (PH), ofrece una forma fundamentada de codificar información estructural estable y multiescala (conectividad global y ciclos), su adopción en el aprendizaje profundo se ha visto obstaculizada por dos cuellos de botella principales:

Costo Computacional: Los procesos estándar de PH requieren reducciones globales costosas para computar diagramas de persistencia, los cuales no se paralelizan bien.
Fricción de Vectorización: Convertir diagramas de persistencia en vectores (por ejemplo, imágenes de persistencia, paisajes) suele ser ad hoc, puede destruir la información estructural secuencial y afecta significativamente el rendimiento posterior. Además, las filtraciones de subnivel tradicionales en grafos suelen sufrir de "saturación temprana", donde los nodos de alto valor se activan prematuramente, llenando el complejo y suprimiendo características topológicas que emergen tardíamente.

Los transformadores de grafos existentes (por ejemplo, Graphormer, GPS) operan típicamente directamente sobre tokens de nodos, inyectando estructura mediante codificaciones posicionales o sesgos de atención, lo cual puede ser computacionalmente pesado y menos enfocado en invariantes topológicos globales.

Metodología: TOPOFORMER y Topo-Scan

Los autores proponen TOPOFORMER, un marco ligero y escalable que codifica la estructura topológica en secuencias aptas para la atención, evitando la necesidad de diagramas de persistencia completos y pasos complejos de vectorización.

Componente Central: Topo-Scan

La innovación central es Topo-Scan, un módulo que descompone un grafo en una secuencia corta y ordenada de tokens topológicos. A diferencia de la PH estándar que construye una única filtración anidada, Topo-Scan emplea un enfoque de ventana deslizante:

Filtración: Se define una función escalar $f: V \to \mathbb{R}$ en los vértices (por ejemplo, grado, curvatura, firma del núcleo de calor/Heat Kernel Signature).
Segmentación (Slicing): En lugar de un umbral acumulativo, el grafo se segmenta en subgrafos superpuestos $G_i$ basados en intervalos $[\alpha_i, \alpha_i + m]$ de la función de filtración.
Generación de Tokens: Para cada segmento, se forma el complejo de cliques y se computan cuatro invariantes:
1. $\beta_0$ : Número de componentes conexas (Betti-0).
2. $\beta_1$ : Número de ciclos/huecos (Betti-1).
3. $|V_i|$ : Conteo de nodos.
4. $|E_i|$ : Conteo de aristas.
Formación de la Secuencia: Estos invariantes forman una secuencia compacta y ordenada $\Gamma(G)$ de longitud $4N$ (donde $N$ es el número de segmentos). Esta secuencia preserva la evolución de las características topológicas a través de las escalas sin los problemas de saturación temprana de las filtraciones de subnivel estándar.

Arquitectura Transformer

Las secuencias topológicas generadas se introducen directamente en un codificador Transformer.

Entrada: Una secuencia de tokens donde cada token representa el estado topológico de un segmento específico.
Procesamiento: El Transformer utiliza mecanismos de auto-atención para capturar dependencias a lo largo de la secuencia, modelando efectivamente patrones estructurales de multiresolución.
Marco de Transformer Dual: El modelo puede procesar múltiples funciones de filtración (por ejemplo, curvatura de Ollivier-Ricci, Firma del Núcleo de Calor) en paralelo. Las salidas de los transformers independientes se fusionan mediante una suma ponderada aprendible y un clasificador MLP para producir embeddings a nivel de grafo.
Predicción de Propiedades Moleculares (MPP): Para tareas moleculares, el marco integra secuencias topológicas con huellas dactilares moleculares estándar (por ejemplo, ECFPs) procesadas por un MLP, combinándolas mediante concatenación basada en atención.

Garantías Teóricas

El artículo proporciona garantías de estabilidad teórica para Topo-Scan. Establece un límite de estabilidad $\ell_1$ discreto, demostrando que las pequeñas perturbaciones en la función de filtración resultan en cambios acotados en la secuencia de salida. Esto se basa en la relación entre los tokens de Topo-Scan y los módulos de persistencia de nivel intermedio, mostrando que el método es robusto al ruido en la señal de entrada.

Contribuciones Clave

Codificación Topológica Escalable: Un método para convertir la estructura topológica en secuencias aptas para la atención, permitiendo que los Transformers procesen grafos sin depender de embeddings de nodos o preprocesamientos pesados.
Puente entre TDA y Aprendizaje Profundo: Un marco unificado que captura tanto la estructura local como la global del grafo a través de un mecanismo de atención secuencial, evitando la sobrecarga computacional de los diagramas de persistencia.
Evaluación Exhaustiva: Experimentos extensos que demuestran un rendimiento de estado del arte (SOTA) en tareas de clasificación de grafos y predicción de propiedades moleculares.
Eficiencia y Estabilidad: Garantías teóricas de robustez de representación y evidencia empírica de un cómputo predecible y eficiente, adecuado para aplicaciones a gran escala.

Resultados Experimentales

Los autores evaluaron TOPOFORMER en diversos conjuntos de datos:

Clasificación de Grafos: Probado en 9 benchmarks (incluyendo BZR, MUTAG, IMDB-B/M, REDDIT-B/5K, y OGBG-MOLHIV).
- TOPOFORMER alcanzó el mejor o segundo mejor desempeño en 7 de 8 benchmarks.
- Estableció un nuevo SOTA en BZR, MUTAG, PROTEINS, IMDB-M, REDDIT-B, y REDDIT-5K.
- Superó a 20 baselines, incluyendo GNNs, métodos topológicos (PersLay, DMP) y modelos de aprendizaje contrastivo.
- En el conjunto de datos a gran escala OGBG-MOLHIV, logró un AUC a un ~2% de distancia del fuerte baseline Graphormer, demostrando escalabilidad.
Predicción de Propiedades Moleculares (MPP): Probado en 7 conjuntos de datos de MoleculeNet (BBBP, Tox21, ToxCast, ClinTox, SIDER, BACE, HIV).
- TOPOFORMER* (combinado con huellas dactilares) logró el mejor ROC AUC en ToxCast, ClinTox y BACE.
- Fue el segundo mejor en Tox21 y altamente competitivo en HIV.
- Logró la segunda desviación promedio más baja respecto al mejor modelo y el segundo rango promedio más bajo en todos los datasets.
Estudios de Ablación:
- vs. PH: TOPOFORMER superó tanto a los baselines de PH-MLP como a los de PH-Transformer, confirmando que Topo-Scan captura una estructura más expresiva que las filtraciones de PH estándar y que la codificación secuencial es superior a la vectorización estática.
- Sensibilidad de la Filtración: El modelo mostró robustez a través de diferentes funciones de filtración (Grado, Ollivier-Ricci, HKS) y anchos de ventana.
- Combinación de Características: La combinación de características topológicas con huellas dactilares moleculares superó consistentemente el uso de una sola modalidad.

Significado y Reivindicaciones

El artículo posiciona a TOPOFORMER no como un modelo fundacional completo en sí mismo, sino como un paso hacia modelos fundacionales de grafos conscientes de la topología. Su importancia radica en:

Enfoque Unificador: Ofrece un enfoque paralelizable y unificador para el aprendizaje de representaciones de grafos que integra sesgos inductivos topológicos directamente en los marcos de atención.
Eficiencia: Al evitar los cálculos de diagramas de persistencia globales, ofrece un cómputo predecible y eficiente, lo que lo hace práctico para aplicaciones a gran escala donde el TDA tradicional es demasiado lento.
Generalización: Las representaciones de tamaño fijo y transferibles producidas por TOPOFORMER son bien adecuadas para tareas que requieren embeddings consistentes a través de grafos de diferentes tamaños y dominios, abordando un desafío central en el aprendizaje de grafos.
Alcance Modesto: Los autores declaran explícitamente que su trabajo se centra en una instancia simplificada a nivel de grafo. Dejan las tareas a nivel de nodo/arista, entornos heterogéneos (grafos temporales/de citas) y el preentrenamiento a gran escala en corpora heterogéneas para trabajos futuros. Ven a Topo-Scan como un resumen ligero que complementa en lugar de reemplazar la persistencia homológica completa.