DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

Resumen Técnico: DuConTE

1. Planteamiento del Problema

Los grafos atribuidos con texto (TAGs) integran información semántica de los textos de los nodos con su estructura topológica, siendo fundamentales en aplicaciones como clasificación de documentos, análisis de redes sociales y sistemas de citas académicas.

A pesar de su utilidad, los métodos existentes presentan limitaciones críticas:

• Granularidad insuficiente: La mayoría de los enfoques actuales utilizan Modelos de Lenguaje (LMs) para codificar texto, pero solo realizan interacciones semánticas a nivel de token de palabra. Ignoran las interacciones semánticas a nivel de nodo, donde el contenido textual de diferentes nodos debe tratarse como unidades holísticas que interactúan a través del grafo.
• Desacople estructural: Los métodos híbridos (LM + GNN) suelen codificar el texto y la estructura de forma desacoplada. O bien no inyectan información estructural en el LM, o las señales estructurales son insuficientes para guiar eficazmente el proceso de codificación.
• Composición de representaciones: Falta un mecanismo efectivo para componer las representaciones de los nodos a partir de los embeddings de los tokens, ignorando a menudo la diferencia entre el contexto del nodo central y el contexto de sus vecinos.

2. Metodología: DuConTE

El authors proponen DuConTE (Dual-Granularity Text Encoder with Topology-Constrained Attention), un codificador de texto en cascada diseñado específicamente para TAGs. Su arquitectura se compone de tres componentes principales:

A. Codificación Semántica de Doble Granularidad
El modelo emplea una arquitectura en cascada con dos LMs preentrenados secuenciales:

1. Codificador de Tokens de Palabra ($M_L$): Recibe la secuencia concatenada del texto del nodo objetivo y sus vecinos (separados por tokens [SEP]). Realiza interacciones semánticas a nivel de token de palabra.
2. Codificador de Nodos ($M_N$): Recibe las representaciones de los nodos generadas en la primera etapa. Realiza interacciones semánticas a nivel de nodo, tratando el contenido textual de los nodos vecinos como unidades completas.
3. Fusión: La representación final del nodo se obtiene mediante una combinación ponderada de las representaciones de primera etapa (granularidad de token) y segunda etapa (granularidad de nodo).

B. Mecanismo de Atención Restringida por Topología
Para integrar la información estructural sin modificar la arquitectura base del Transformer, DuConTE introduce una máscara de atención dinámica basada en la conectividad del grafo (asumiendo el principio de homofilia, donde nodos conectados tienden a tener etiquetas similares):

• Máscara a nivel de Token: En el codificador $M_L$, se permite la atención entre tokens solo si pertenecen al mismo nodo o a nodos conectados en el grafo.
• Máscara a nivel de Nodo: En el codificador $M_N$, se permite la atención entre representaciones de nodos solo si los nodos correspondientes están conectados o son el mismo nodo.
  Esto obliga al modelo a aprender correlaciones semánticas informadas por la estructura del grafo.

C. Compositor de Representación de Nodos
Para transformar los embeddings de tokens en representaciones de nodos de alta calidad, se diseña un compositor asimétrico:

• Contexto Dual: Evalúa la importancia de cada token de palabra bajo dos contextos distintos: el contexto del nodo central y el contexto del vecindario.
• Módulos Diferenciados: Utiliza un módulo sofisticado ($f_1$) para el nodo objetivo (que pondera tokens basándose en ambos contextos) y un módulo ligero ($f_2$) para los nodos vecinos (que utiliza un agrupamiento de atención local).
• Fusión Ponderada: Combina las importancias de ambos contextos mediante un coeficiente fijo $\beta$, permitiendo capturar información semántica más relevante y matizada.

3. Contribuciones Clave

1. Arquitectura de Doble Granularidad: Es el primer enfoque que codifica explícitamente la semántica tanto a nivel de token como a nivel de nodo de forma secuencial, capturando la naturaleza multi-escala inherente a los grafos atribuidos.
2. Atención Restringida por Topología: Introduce una estrategia de enmascaramiento específica para TAGs que inyecta información estructural en los LMs preentrenados sin necesidad de reentrenar el modelo desde cero ni alterar su arquitectura interna.
3. Composición Contextual Asimétrica: Diseña un mecanismo que distingue y pondera la importancia de los tokens basándose en si provienen del nodo central o de sus vecinos, mejorando la fusión de información.
4. Rendimiento Superior: Demuestra un estado del arte (SOTA) en múltiples conjuntos de datos de referencia.

4. Resultados Experimentales

El modelo fue evaluado en cinco conjuntos de datos estándar: Cora, CiteSeer, WikiCS, ArXiv-2023 y OGBN-Products.

• Precisión en Clasificación de Nodos: DuConTE superó consistentemente a los métodos baselines (incluyendo GraphBridge, ENGINE, GLEM y modelos puros de LM/GNN).
  • En Cora, alcanzó un 95.24% de precisión (vs. 93.60% de GraphBridge).
  • En ArXiv-2023, logró un 90.31% (vs. 86.43% de GraphBridge), una mejora del 2.7%.
• Eficiencia de Parámetros: Un análisis de eficiencia mostró que DuConTE, utilizando dos modelos RoBERTa-base (aprox. 150M parámetros cada uno), supera a métodos que utilizan modelos RoBERTa-large (340M parámetros) con un menor costo total de parámetros.
• Robustez: El análisis de sensibilidad demostró que el modelo es robusto a las variaciones de los hiperparámetros de fusión ($\alpha$ y $\beta$).
• Tareas Adicionales: También demostró superioridad en la tarea de predicción de enlaces, validando su capacidad de aprendizaje de representaciones generalizable.

5. Significado e Impacto

DuConTE representa un avance significativo en el aprendizaje de grafos atribuidos con texto al cerrar la brecha entre la comprensión del lenguaje natural y la estructura del grafo.

• Paradigma Eficiente: Propone un nuevo paradigma de escalado eficiente, donde el uso de múltiples modelos pequeños especializados (en lugar de un solo modelo masivo) logra mejores resultados con menos recursos computacionales.
• Integración Estructural: Resuelve el problema de cómo inyectar información topológica en modelos de lenguaje preentrenados de manera efectiva y sin modificaciones arquitectónicas complejas.
• Aplicabilidad: Su enfoque "plug-and-play" permite que actúe como un módulo de codificación de texto para cualquier pipeline de GNN existente, mejorando tareas downstream como la clasificación de nodos y la extracción de información en dominios científicos, sociales y comerciales.

En conclusión, DuConTE establece un nuevo estándar para el procesamiento de grafos con texto, demostrando que la consideración explícita de la granularidad dual y la restricción topológica en la atención son esenciales para capturar la riqueza semántica y estructural de estos datos.