🤖 machine learning

Differentiable Lifting for Topological Neural Networks

El artículo introduce $\partial$ lift (DiffLift), un marco general que permite el aprendizaje diferenciable de extremo a extremo de elevaciones de grafos a estructuras de orden superior, superando así las limitaciones de los métodos estáticos y no supervisados y potenciando significativamente el rendimiento de las Redes Neuronales Topológicas a través de diversos bancos de pruebas.

Autores originales: Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

Publicado 2026-08-04

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Jorge Luiz Franco, Gabriel Duarte, Alexander Nikitin, Moacir Ponti, Diego Mesquita, Amauri H. Souza

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a entender el mundo mirando un mapa de conexiones. En el mundo de la inteligencia artificial, estos mapas se llaman grafos, donde los puntos (como personas o átomos) están vinculados por líneas (como amistades o enlaces químicos). Durante años, programas informáticos inteligentes llamados Redes Neuronales de Grafos han sido excelentes leyendo estos mapas, pero tienen un punto ciego: la mayoría de las veces solo ven quién está conectado directamente con quién. Se pierden el panorama general, como cómo un grupo entero de amigos pasa el tiempo juntos o cómo una forma compleja es formada por muchos círculos superpuestos.

Para solucionar esto, los científicos inventaron las Redes Neuronales Topológicas. Piensa en estas como lectoras superpotentes que pueden mirar un grafo y decir: "¡Oye, estos tres puntos no son solo amigos; forman un triángulo!" o "Estos cinco puntos forman un pequeño grupo". Esta capacidad de ver formas y grupos (llamados estructuras de orden superior) ayuda a la computadora a entender datos complejos mucho mejor. Pero aquí está la parte difícil: para ver estas formas, la computadora primero tiene que ser instruida sobre cómo mirar. Necesita un "elevador" (lifter) para convertir el mapa plano de puntos y líneas en una estructura 3D de formas. Hasta ahora, los científicos tenían que adivinar qué método de elevación usar, como intentar adivinar la llave correcta para una cerradura sin haber visto nunca la cerradura. A veces la suposición funciona, y otras veces falla estrepitosamente, dejando a la computadora confundida.

Aquí es donde entra un nuevo artículo con una solución ingeniosa llamada $\partial$ lift (pronunciado "DiffLift"). En lugar de adivinar la llave correcta, los autores construyeron una máquina de aprendizaje inteligente que descubre la forma perfecta de elevar el mapa para cada tarea específica. Imagina que tienes una caja de piezas de Lego (tus datos). Los métodos antiguos eran como seguir un manual de instrucciones rígido que decía: "Construye siempre un castillo", incluso si estabas intentando construir una nave espacial. $\partial$ lift es como tener un robot que mira tus piezas y tu objetivo, y luego decide: "Bien, para esta nave espacial, necesito agrupar estas piezas en alas, y para ese cohete, necesito agruparlas en aletas".

Los investigadores probaron esta idea en un montón de rompecabezas diferentes, desde la predicción de propiedades químicas hasta la clasificación de redes sociales. Descubrieron que $\partial$ lift cambia las reglas del juego. En muchas pruebas, superó a los viejos métodos de adivinación estática por un margen enorme, mejorando la precisión hasta en un 45%. Funciona analizando los datos, aprendiendo qué grupos de puntos son importantes y luego "elevándolos" a las formas adecuadas (como triángulos o burbujas) para ayudar a la computadora a resolver el problema.

El artículo muestra que este método funciona para diferentes tipos de estructuras, incluyendo hipergrafos (donde una línea puede conectar muchos puntos a la vez) y complejos celulares (que son como bloques de construcción de diferentes tamaños). Los autores sugieren que, al hacer que el proceso de "elevación" sea aprendible y adaptable, podemos dejar de perder el tiempo con malas suposiciones y permitir que la IA diseñe su propia mejor manera de ver el mundo. Si bien el método requiere un poco más de potencia de cómputo para descubrir las mejores formas, los resultados sugieren que el esfuerzo extra vale la pena, especialmente para problemas complicados donde los métodos antiguos se quedan estancados. Es un paso hacia una IA que no solo sigue reglas, sino que entiende la forma de los datos que recibe.

Resumen Técnico: Elevación Diferenciable para Redes Neuronales Topológicas

Planteamiento del Problema

Las Redes Neuronales Topológicas (TNN) han emergido como una clase poderosa de modelos capaces de aprovechar estructuras de orden superior (por ejemplo, ciclos, clics, símplices) para mejorar el poder expresivo de las Redes Neuronales de Grafos (GNN) tradicionales. Sin embargo, existe un cuello de botella crítico en el proceso de "elevación" (lifting): la transformación de grafos de entrada en dominios topológicos (como hipergrafos, complejos simpliciales o complejos celulares).

Actualmente, esta operación de elevación es predominantemente no supervisada y estática. Los métodos como la elevación por ciclos, la elevación $k$ -hop o la elevación $k$ -vecinos más cercanos ( $k$ -NN) dependen de heurísticas predefinidas basadas en la conectividad del grafo o en las características de los nodos. Como demuestra el artículo, la elección óptima del dominio topológico y del procedimiento de elevación es altamente dependiente de los datos y de la tarea. Las elevaciones estáticas y no supervisadas suelen resultar en representaciones topológicas subóptimas, lo que limita el rendimiento de las TNN en tareas de aplicación. Aunque la elevación diferenciable ha sido explorada previamente para complejos celulares (por ejemplo, DCM), la falta un marco general aplicable a diversos dominios topológicos (incluyendo hipergrafos y complejos simpliciales).

Metodología: $\partial$ lift (DiffLift)

Los autores proponen $\partial$ lift, un marco general y end-to-end diferenciable para aprender elevaciones de grafos. En lugar de utilizar reglas fijas, $\partial$ lift aprende a identificar y parametrizar distribuciones sobre candidatos de celdas de orden superior para su inclusión en la estructura resultante.

Mecanismo Central

El marco opera a través de un proceso de muestreo jerárquico e iterativo:

Embeddings de Nodos: Una GNN arbitraria (por ejemplo, GIN, GPS) computa representaciones latentes ( $z_v$ ) para cada nodo en el grafo de entrada.
Elicitación de Candidatos: Basándose en estos embeddings, el modelo define un conjunto de celdas candidatas.
- Para hipergrafos, los candidatos se forman seleccionando $k_v$ vecinos más cercanos de un nodo $v$ en el espacio de embeddings, donde $k_v$ se muestrea de forma adaptativa de una distribución parametrizada por $z_v$ .
- Para complejos celulares, el proceso es jerárquico. Para la dimensión $D=1$ , los candidatos de aristas se forman de manera similar a las hiperaristas. Para $D \ge 2$ , las celdas candidatas (por ejemplo, 2-celdas) se derivan de ciclos (o clics) en el complejo actual, respetando las restricciones jerárquicas del dominio objetivo.
Aceptación/Rechazo: Para cada celda candidata $C$ , una red neuronal (típicamente un MLP o DeepSet) procesa el multiconjunto de embeddings de los nodos dentro de $C$ para producir una probabilidad de aceptación $\phi(z_C)$ .
Muestreo Estocástico: Un muestreo de Bernoulli determina si la celda se incluye en la estructura elevada. Los gradientes se propagan a través de este paso de muestreo discreto utilizando el estimador straight-through.
Iteración: El proceso se repite para dimensiones crecientes ( $D \to D+1$ ) hasta alcanzar una dimensión máxima $D_{max}$ .

Elevación de Características (Feature Lifting)

Las características para las nuevas celdas de orden superior formadas se computan mediante una proyección de suma escalada de las características de los nodos constituyentes, asegurando que la estructura elevada sea compatible con las capas estándar de paso de mensajes de las TNN.

Principales Contribuciones

Marco Diferenciable General: $\partial$ lift es un marco general que permite el aprendizaje de elevaciones de grafos de extremo a extremo en múltiples dominios topológicos, incluyendo hipergrafos, complejos simpliciales y complejos celulares, extendiéndose más allá del trabajo previo limitado a dominios específicos.
Aprendizaje de Estructura Adaptativa: A diferencia de los métodos estáticos, $\partial$ lift aprende el tamaño y la composición de las celdas de orden superior (por ejemplo, tamaños de hiperarista adaptativos) basándose en objetivos específicos de la tarea y representaciones de nodos aprendidas.
Muestreo Jerárquico: El método introduce un procedimiento de muestreo iterativo donde las celdas de menor dimensión informan la generación de las de mayor dimensión, modelando naturalmente la naturaleza jerárquica de los objetos topológicos.
Integración: El marco está diseñado para integrarse sin problemas en las canalizaciones (pipelines) de TNN existentes, actuando como una capa de preprocesamiento aprendible que alimenta arquitecturas TNN listas para usar.

Resultados Experimentales

Los autores evaluaron $\partial$ lift en 12 conjuntos de datos que abarcan clasificación de grafos (propiedades moleculares) y tareas de clasificación de nodos, utilizando cuatro arquitecturas de TNN diferentes (CWN, CXN, CIN, UniGCNII, UniGIN).

Clasificación de Grafos: $\partial$ lift superó consistentemente a los métodos de elevación estática (ciclo, $k$ -hop, $k$ -NN, kernel) en 22 de 24 experimentos. Logró mejoras de rendimiento de hasta un 45% sobre las elevaciones estáticas. Por ejemplo, en el conjunto de datos ZINC, $\partial$ lift redujo el Error Absoluto Medio (MAE) de 0.46 a 0.17 al usar CWN.
Clasificación de Nodos: $\partial$ lift logró un rendimiento competitivo o superior en comparación con las elevaciones estáticas y la línea base diferenciable DCM. Notablemente, superó significativamente a DCM en conjuntos de datos heterofílicos (por ejemplo, Texas). En el conjunto de datos Cora, mientras que DCM alcanzó el 80.73%, la combinación de $\partial$ lift con TopoTune alcanzó el 86.82%, aunque $\partial$ lift con CWN (80.17%) fue ligeramente inferior a DCM. En general, $\partial$ lift demostró un fuerte rendimiento en diversos conjuntos de datos, superando a menudo a DCM por un margen considerable.
Robustez: El método demostró robustez a través de diferentes GNN de base (GIN vs. GPS), aunque las representaciones más ricas (GPS) generalmente produjeron mejores resultados.
Eficiencia: Aunque $\partial$ lift incurre en una sobrecarga de tiempo de ejecución modesta en comparación con los métodos estáticos (debido al muestreo y al cómputo de probabilidades), sigue siendo computacionalmente factible. Para hipergrafos, el proceso es despreciablemente paralelo; para complejos celulares, el costo está dominado por el cómputo de la base de ciclos, pero sigue siendo manejable.

Significación y Reivindicaciones

El artículo afirma que $\partial$ lift aborda una limitación fundamental en el aprendizaje profundo topológico: la dependencia de procedimientos de elevación no supervisados y ajenos a la tarea. Al hacer que el proceso de elevación sea aprendible y orientado a la tarea, los autores demuestran que la estructura topológica de los datos puede optimizarse específicamente para la tarea de aplicación.

Los autores destacan que su enfoque conduce a ganancias empíricas sustanciales, sugiriendo que el dominio topológico "óptimo" no es una propiedad fija de los datos, sino una función del objetivo de aprendizaje. Además, postulan que las elevaciones adaptativas pueden mitigar problemas como el oversquashing (aplastamiento excesivo) al aprender a introducir celdas de orden superior (por ejemplo, 2-celdas) que crean atajos a través de cuellos de botella en el grafo, mejorando así el flujo de información entre nodos distantes.

El trabajo concluye que, si bien las implementaciones actuales están limitadas a complejos celulares de 2 dimensiones debido a las restricciones de las librerías de TNN, el marco es generalizable a otros dominios (por ejemplo, nubes de puntos) y representa un paso significativo hacia un aprendizaje topológico totalmente adaptativo.