💻 computer science

Billion-Scale Graph Foundation Models

Este artículo presenta GraphBFF, un marco de extremo a extremo que cuenta con una arquitectura Transformer escalable que permite el entrenamiento exitoso de modelos base de mil millones de parámetros en grafos heterogéneos, demostrando leyes de escalado neuronal predecibles y un rendimiento superior en diversas tareas posteriores en comparación con las líneas base existentes.

Autores originales: Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Maya Bechler-Speicher, Yoel Gottlieb, Andrey Isakov, David Abensur, Ami Tavory, Daniel Haimovich, Ido Guy, Udi Weinsberg

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva y caótica donde cada libro está conectado a todos los demás mediante miles de tipos diferentes de cuerdas. Algunas cuerdas son rojas, otras azules, algunas están hechas de cuerda y otras de seda. Algunos libros tienen enormes pilas de notas adjuntas, mientras que otros tienen casi ninguna. Esto es lo que se ve como un grafo en el mundo de los datos: una gigantesca red de conexiones (como redes sociales, transacciones financieras o cadenas de suministro).

Durante mucho tiempo, las computadoras fueron excelentes leyendo texto (como libros) o mirando imágenes (como pinturas) porque esas cosas tienen una estructura muy ordenada y predecible. Pero intentar enseñar a una computadora a entender esta red desordenada y gigantesca de conexiones ha sido increíblemente difícil.

Este artículo presenta GraphBFF, una nueva "receta" para construir un Modelo Fundamental de Grafos. Imagina este modelo como un bibliotecario superinteligente que ha leído cada libro individual de esta biblioteca masiva y ha aprendido cómo todas las cuerdas los conectan.

Así es como lo hicieron, desglosado en conceptos simples:

1. El Problema: Una Talla No Sirve para Todos

Los intentos anteriores de enseñar a las computadoras sobre estas redes fueron como intentar forzar un clavo cuadrado en un agujero redondo.

El Enfoque de "Texto": Algunos intentaron convertir la red en una larga lista de palabras. Pero eso es como intentar describir una ciudad tridimensional simplemente listando nombres de calles en fila; pierdes el mapa.
El Enfoque de "Imagen": Otros intentaron tratar la red como una cuadrícula (como una foto). Pero las redes son desordenadas e irregulares, no cuadrículas ordenadas.

Los autores se dieron cuenta de que para manejar una red de mil millones de nodos, necesitas un modelo que entienda que diferentes conexiones significan cosas diferentes. Una conexión de "amigo" es diferente de una conexión de "transacción".

2. La Solución: El Transformador GraphBFF

El núcleo de su invención es una nueva arquitectura cerebral llamada el Transformador GraphBFF. Utiliza una estrategia inteligente de dos partes para escuchar la red:

Parte A: El Oído "Especialista" (Atención Condicionada por Tipo): Esta parte escucha atentamente tipos específicos de conexiones. Si estás mirando una conexión de "amigo", solo presta atención a otras conexiones de "amigo". Es como tener un traductor que solo habla francés cuando estás en una conversación en francés. Esto asegura que no se confunda con el ruido de otros tipos de conexiones.
Parte B: El Oído "Generalista" (Atención Agnóstica al Tipo): Esta parte escucha todo lo cercano, independientemente del tipo de conexión. Es como un sentido general de "¿quién está en la habitación?". Esto ayuda al modelo a ver el panorama general y no quedarse atascado en solo un tipo de detalle.

Al combinar estos dos oídos, el modelo obtiene lo mejor de ambos mundos: entiende detalles específicos y el vecindario general.

3. El Desafío: El "Atasco de Tráfico"

Entrenar en un grafo de mil millones de nodos es como intentar alimentar a mil millones de personas en un restaurante con una sola cocina. Si intentas servir a todos a la vez, la cocina explota (sobrecarga de memoria). Si los sirves al azar, el chef se confunde porque sigue cambiando entre servir sopa y servir filete.

Los autores inventaron dos nuevas estrategias de servicio:

KL-Batching (El Menú Inteligente): En lugar de agarrar mesas al azar, agrupan a los clientes según lo que pidieron (tipos de nodos) para asegurar que cada mesa reciba una mezcla equilibrada de comida. Esto evita que el chef se abrume con demasiados pedidos de "filete" a la vez.
Round-Robin Batching (La Cola Justa): Aseguran que el chef sirva a cada tipo de cliente en círculo. Si solo hay 5 pedidos de "plato raro" pero 1.000 pedidos de "plato común", aseguran que los platos raros también reciban atención, para que el chef no olvide cómo cocinarlos.

4. Los Resultados: El "Bibliotecario Súper"

Probaron este sistema en un grafo real a escala de mil millones (como una gigantesca red corporativa). Entrenaron el modelo con mil millones de piezas de datos y luego le pidieron que resolviera 10 acertijos diferentes que nunca había visto antes.

La Prueba: Le dieron al modelo un cerebro congelado (no podía aprender cosas nuevas) y solo le pidieron que usara lo que ya sabía para resolver nuevos problemas (como predecir si dos personas son amigos o si una transacción es sospechosa).
El Resultado: El modelo GraphBFF aplastó a la competencia. Superó a todos los modelos especializados diseñados para esas tareas específicas por márgenes enormes (hasta 31 puntos mejor).
La Magia "Few-Shot" (Pocos Ejemplos): Incluso cuando le dieron al modelo solo 1 o 2 ejemplos de una nueva tarea (como mostrándole una foto de un gato y pidiéndole que encontrara gatos), aún funcionó increíblemente bien. Fue como mostrarle al bibliotecario un libro nuevo y pedirle que encontrara libros similares en toda la biblioteca, y lo hizo perfectamente.

5. El Descubrimiento de la "Ley de Escalado"

El artículo también descubrió una regla empírica para estos modelos, similar a lo que sabemos sobre los modelos de lenguaje: Debes hacer crecer el cerebro y la biblioteca juntos.

Si haces el cerebro más grande pero no le das más libros para leer, deja de volverse más inteligente.
Si le das más libros pero el cerebro se mantiene pequeño, se abrumba y deja de aprender.
Para obtener los mejores resultados, debes escalar el tamaño del modelo y el tamaño de los datos al mismo tiempo.

Resumen

En resumen, los autores construyeron un cerebro de grafo universal que puede leer, entender y aprender de redes masivas, desordenadas y del mundo real. Resolvieron los problemas técnicos de cómo alimentar a este cerebro sin colapsar la computadora, y demostraron que este cerebro es tan inteligente que puede resolver nuevos problemas que nunca ha visto antes, a menudo mejor que expertos que pasaron años construyendo modelos solo para ese único problema específico.

Resumen Técnico: Graph Billion-Foundation-Fusion (GraphBFF)

Enunciado del Problema

Los datos estructurados en grafos son ubicuos en dominios que van desde la seguridad hasta los sistemas de recomendación, sin embargo, extender el paradigma de los modelos fundacionales a grafos generales del mundo real sigue siendo fundamentalmente desafiante. A diferencia del lenguaje o la visión, donde las distribuciones de datos son relativamente uniformes (tokens secuenciales o cuadrículas 2D fijas), los grafos exhiben una heterogeneidad significativa en los tipos de nodos y aristas, las estructuras topológicas y las escalas. Además, la escasez de conjuntos de datos de grafos públicos, de alta calidad y a escala de miles de millones ha obstaculizado el estudio riguroso de los Modelos Fundacionales de Grafos (GFMs). Los enfoques existentes a menudo dependen de fuertes sesgos inductivos adaptados a tipos específicos de grafos (por ejemplo, grafos moleculares o de conocimiento) o intentan reducir los grafos a secuencias de texto para Modelos de Lenguaje Grande (LLM), lo que puede conducir a un rendimiento deficiente, predicciones inestables o requerir órdenes de magnitud más parámetros de los necesarios.

Metodología: El Marco GraphBFF

Los autores presentan Graph Billion-Foundation-Fusion (GraphBFF), una receta integral para construir GFMs con miles de millones de parámetros en grafos heterogéneos a gran escala. El marco consta de una arquitectura novedosa, estrategias específicas de preentrenamiento y leyes de escalado.

1. La Arquitectura Transformer GraphBFF

Diseñada para grafos heterogéneos a escala de miles de millones, la Transformer GraphBFF reemplaza la autoatención estándar de todos los pares con dos módulos de atención complementarios y conscientes de la heterogeneidad:

Atención Condicionada por Tipo (TCA): Este componente realiza autoatención enmascarada dentro de vecindades limitadas a subconjuntos específicos de tipos de aristas. Crucialmente, aplica un softmax disperso por separado a cada tipo de vecino en lugar de a todos los vecinos a la vez. Esto mitiga los cuellos de botella de memoria y E/S asociados con la materialización de matrices de atención completas para vecindades grandes y heterogéneas. Incorpora características de las aristas mediante proyecciones específicas por tipo.
Atención Agnóstica al Tipo (TAA): Para permitir la atención cruzada entre tipos y evitar el sobreajuste a estructuras de grafos específicas (especialmente en casos de distribuciones de grado altamente no regulares), este componente aplica atención compartida a través de todos los tipos de nodos y aristas. Utiliza muestreo de vecinos de grado fijo para garantizar la eficiencia. La TAA comparte matrices de atención entre todos los tipos, introduciendo pocos parámetros adicionales mientras aumenta estrictamente la expresividad del modelo.

La representación final del nodo es una combinación aprendida de los embebimientos de TCA y TAA, seguida de componentes estándar del codificador transformer (conexiones residuales, normalización de capas y redes de alimentación hacia adelante). Los autores demuestran teóricamente que un modelo que contiene tanto TCA como TAA es estrictamente más expresivo que uno que contiene solo uno de los componentes.

2. Estrategias de Preentrenamiento y Agrupación en Lotes

Para manejar grafos a escala de miles de millones con distribuciones de tipos sesgadas, los autores introducen dos estrategias de agrupación en lotes:

KL-Batching (Nivel de almacenamiento): Para asegurar que los lotes de entrenamiento representen la distribución global de tipos de nodos y aristas, el grafo se particiona primero en clústeres. Luego, los clústeres se agrupan en lotes basándose en su divergencia de Kullback-Leibler (KL) con respecto a la distribución de referencia global. Los lotes se construyen añadiendo de forma codiciosa clústeres de baja KL hasta alcanzar un presupuesto de memoria, asegurando que los primeros pasos de entrenamiento sean representativos y estables.
Round-Robin Batching (Nivel de GPU): Para evitar que los mini-lotes estén dominados por tipos de aristas comunes, las aristas de supervisión se agrupan por tipo y se iteran en un orden cíclico fijo. Esto asegura que todos los tipos de aristas reciban supervisión continua, incluso si algunos son raros.

3. Objetivo de Preentrenamiento

El marco utiliza la predicción de enlaces enmascarada como único objetivo auto-supervisado. Las aristas positivas se muestrean del grafo, y las aristas negativas se muestrean uniformemente al azar. El modelo puntúa la existencia de la arista concatenando los embebimientos de los nodos de origen y destino y pasándolos a través de un MLP de dos capas. Los autores conjeturan que, a escala de miles de millones, el volumen masivo de datos compensa la falta de sesgos inductivos complejos, haciendo que este objetivo simple sea suficiente.

4. Leyes de Escalado Neuronal

El estudio establece leyes de escalado neuronal para GFMs, demostrando que la pérdida de validación sigue relaciones de ley de potencia predecibles con respecto tanto al tamaño del modelo ( $N$ ) como al tamaño de los datos ( $D$ ). Los resultados indican cuellos de botella estrictos: aumentar la capacidad del modelo sin aumentar los datos (o viceversa) produce rendimientos decrecientes. El escalado efectivo requiere aumentar tanto los parámetros del modelo como los datos de entrenamiento al mismo tiempo.

Resultados Clave

Los autores evaluaron una Transformer GraphBFF de 1.4 mil millones de parámetros preentrenada en mil millones de muestras de un grafo empresarial del mundo real (que contiene ~50 mil millones de nodos/aristas). La evaluación cubrió diez tareas descendentes diversas (clasificación y regresión de nodos y enlaces) en grafos no vistos durante el entrenamiento.

Rendimiento: La Transformer GraphBFF congelada, emparejada con una sonda lineal o no lineal simple, superó consistentemente a las líneas base específicas de la tarea (incluyendo HGT, HAN y GraphGPS) en las diez tareas.
Márgenes: Las mejoras fueron sustanciales, con ganancias de hasta 31 puntos de PRAUC (por ejemplo, la Tarea 9 mejoró de 63.66 a 95.19).
Capacidad de Few-Shot: El modelo demostró un rendimiento sólido en configuraciones de few-shot (1–10 muestras), a menudo rivalizando o superando el rendimiento de datos completos de modelos especializados entrenados en las mismas tareas.
Ablación: Eliminar cualquiera de los componentes TCA o TAA condujo a una degradación significativa del rendimiento, confirmando la necesidad de ambos mecanismos. La TCA fue identificada como el principal impulsor de la capacidad, mientras que la TAA proporcionó una generalización esencial.

Significado y Afirmaciones

El artículo afirma proporcionar una hoja de ruta concreta y reproducible para construir GFMs efectivos a escala industrial, respaldada por sólida evidencia empírica. Sus contribuciones principales son:

Escalabilidad: Demostrar que los modelos con miles de millones de parámetros pueden entrenarse en grafos heterogéneos a escala de miles de millones utilizando recursos factibles (por ejemplo, 64 GPUs durante 12 horas).
Arquitectura: Introducir la Transformer GraphBFF, que equilibra la expresividad y la eficiencia mediante mecanismos de atención duales y operaciones de softmax disperso.
Metodología: Establecer metodologías prácticas para la agrupación en lotes de datos (KL-Batching, Round-Robin) y el preentrenamiento que abordan los desafíos específicos de los grafos a gran escala con tipos sesgados.
Generalización: Probar que los GFMs pueden aprender representaciones transferibles que se generalizan a través de tareas diversas y topologías de grafos, incluso cuando los grafos descendentes no comparten nodos o aristas con los datos de preentrenamiento.

Los autores reconocen limitaciones, señalando que las leyes de escalado se derivan de un conjunto de datos empresarial específico y pueden no transferirse a grafos con distribuciones de grado fundamentalmente diferentes. También destacan que la asignación óptima de computación para modelos de grafos sigue siendo un problema abierto debido a la naturaleza condicional de los grafos de los costos de entrenamiento. No obstante, el trabajo posiciona a los GFMs como una base práctica y principista para el aprendizaje de grafos en entornos industriales.