Resumen Técnico: Las características de los LLM pueden perjudicar a los GNN

Declaración del Problema

Si bien la literatura reciente reporta ampliamente que la integración de características de nodos generadas por Modelos de Lenguaje de Gran Escala (LLM) mejora la precisión en benchmarks estándar (por ejemplo, TAPE, GLEM), este artículo identifica un modo de fallo contrastante. Específicamente, cuando las características de los LLM se introducen mediante concatenación pura de entrada —sin entrenamiento conjunto, destilación o condicionamiento por prompt— pueden degradar sistemáticamente el rendimiento en benchmarks homofílicos donde los pipelines de extremo a extremo de LLM suelen tener éxito.

Los autores aíslan el subpaso de la "concatenación pura" para demostrar que, bajo condiciones específicas (notablemente en entornos de pocas muestras y alta dimensionalidad), añadir características de LLM actúa como una fuente de interferencia en lugar de una señal, provocando caídas significativas en la precisión.

Metodología

El estudio emplea un diseño experimental riguroso a través de nueve conjuntos de datos de clasificación de nodos (abarcando niveles de homofilia $h \in [0.05, 0.81]$) para aislar los efectos de las características de los LLM.

• Configuración Experimental:

  • Características: Las características originales ($F_{orig}$, por ejemplo, BoW, Word2Vec) se concatenan con las características generadas por LLM ($F_{LLM}$, explicaciones de GPT-4o-mini codificadas con SBERT para TAPE).
  • Backbones: Los experimentos utilizan un backbone de MLP (primario) y backbones de GCN/GCNII/GAT (secundarios) para probar la dependencia arquitectónica.
  • Splits (Divisiones): Los resultados primarios utilizan la división pública estándar de Planetoid (régimen de etiquetas bajas: 60–140 etiquetas de entrenamiento), utilizándose divisiones aleatorias para verificar la dependencia del régimen.
  • Métricas: La métrica central es $\Delta_{concat}$, la diferencia de precisión de prueba entre $F_{orig} \parallel F_{LLM}$ y solo $F_{orig}$.

• Marcos Analíticos:

  • Contraste Directo: Comparación de coaliciones específicas (por ejemplo, $\{F_{orig}, F_{LLM}\}$ frente a $\{F_{orig}\}$) para evitar diluir los efectos de interferencia.
  • Descomposición de Shapley: Una descomposición de 4 factores (Estructura, $F_{orig}$, $F_{LLM}$, Profundidad) sobre 12 coaliciones efectivas para atribuir contribuciones marginales, reconociendo que el promedio puede enmascarar modos de fallo específicos.
  • Estudios de Ablación: Experimentos controlados reemplazando $F_{LLM}$ con ceros, proyecciones PCA de $F_{orig}$, o ruido gaussiano para distinguir entre penalizaciones de dimensionalidad, artefactos de decaimiento de pesos o efectos de contenido de información.
  • Análisis de Escalamiento: Ajuste de un perfil de ley de potencia a la relación entre el costo de concatenación y la razón de la dimensión de la característica respecto a las muestras ($\sqrt{d_l/n}$).

Contribuciones y Hallazgos Clave

F1: El Régimen de Interferencia

En el régimen de etiquetas bajas y alta dimensionalidad (específicamente el split público de Planetoid), la concatenación pura de características de LLM degrada el rendimiento.

• Observación: En PubMed, añadir características de LLM reduce la precisión del MLP en $-17.0 \pm 0.3$ puntos porcentuales (pp). Cora cae en $-4.3 \pm 0.6$ pp. CiteSeer muestra una caída insignificante dentro del ruido.
• Mecanismo: Esto no es un "mal de la dimensionalidad" genérico. La ablación muestra que mientras el ruido gaussiano puro causa una caída de $-37.3$ pp, las características reales de LLM causan una caída de $-17.0$ pp. Las características de LLM proporcionan un "rescate de contenido" de $\sim 20$ pp sobre el ruido puro, pero el resultado neto sigue siendo una penalización significativa debido al sobreajuste en el régimen de pocas muestras.
• Dependencia del Régimen: Cuando se utilizan divisiones aleatorias más grandes (50/25/25), la magnitud de la caída se comprime a $\le 1.2$ pp, confirmando que el problema es impulsado por el sobreajuste de muestras pequeñas en lugar de fallos inherentes de contenido.

F2: Umbral Predictivo vía Discriminabilidad de Solo-LLM

El artículo propone $\Delta_{sig}$ (la brecha de precisión de un MLP entrenado solo con $F_{LLM}$ frente al ruido aleatorio) como el predictor del éxito de la concatenación.

• Regla de Umbral: Un punto de cambio derivado de bootstrap $\tau = 13.8$ pp separa los regímenes.
  • Si $\Delta_{sig} \le \tau$: El costo de concatenación es no positivo (probablemente perjudica).
  • Si $\Delta_{sig} > \tau$: El costo de concatenación es positivo (probablemente ayuda).
• Rendimiento: Esta regla clasifica correctamente 7/9 conjuntos de datos.
• Comparación con Homofilia: La homofilia ($h$) es un predictor pobre ($r^2 = 0.06$), mientras que $\Delta_{sig}$ correlaciona significativamente mejor ($r^2 = 0.38$).

F3: Aislamiento del Mecanismo

A través de ablaciones en PubMed, los autores descartan hipótesis alternativas:

• Dimensionalidad: Reemplazar las características de LLM con ceros de la misma dimensión no causa degradación ($+0.1$ pp), descartando un simple desajuste de dimensiones.
• Auto-información: Reemplazar con PCA de las características originales causa solo una ligera interferencia ($-2.3$ pp).
• Regularización: Reducir a la mitad el decaimiento de pesos no cambia la caída, descartando artefactos de decaimiento de pesos.
• Conclusión: La caída de $-17$ pp es específica del contenido informativo de las características de LLM interactuando con la restricción de muestras finitas.

F4: Contexto de la Descomposición de Shapley

Aunque la concatenación directa muestra efectos negativos, una descomposición de Shapley de 4 factores muestra que $F_{LLM}$ tiene una contribución positiva (pero pequeña) en conjuntos de datos heterofílicos. Esto destaca que el "éxito" agregado reportado en benchmarks previos suele depender de entrenamientos conjuntos o módulos selectores que mitigan el costo de la concatenación pura.

F5: Ley de Escalamiento

El costo de concatenación sigue una escala de ley de potencia con respecto a la razón de la dimensión de la característica respecto a las etiquetas de entrenamiento:
$$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1.31}$$
Este perfil ($r^2 = 0.97$) explica la caída de $-17$ pp en $n=60$ y predice la atenuación del costo a medida que $n$ aumenta (por ejemplo, cayendo a $<1$ pp en $n \approx 10^4$).

Estrategias de Remediación

El artículo evalúa "soluciones baratas" para el régimen de bajo $\Delta_{sig}$:

1. Eliminar $F_{LLM}$: La solución más efectiva. Eliminar el canal de LLM por completo restaura la precisión base ($72.1\%$), dominando estrictamente a todas las soluciones aprendidas.
2. Puerta Escalar Aprendible: Una puerta escalar aprendible $g$ aplicada a $F_{LLM}$ (inicializada en 0) recupera el 89% de la brecha. Sin embargo, sigue rindiendo por debajo del baseline de "eliminar" por $\sim 1.8$ pp ($p \approx 0.008$).
   • Recomendación: Usar la puerta solo cuando los pipelines descendentes requieran estructuralmente la presencia del canal de LLM (por ejemplo, entradas multitareas compartidas). De lo contrario, eliminar el canal es superior.

Significancia y Afirmaciones

El artículo no afirma que los LLM sean universalmente perjudicialos. En su lugar, caracteriza un régimen específico donde el método de integración más simple (concatenación pura) resulta contraproducente.

• Reconciliación con Trabajos Previos: Los hallazgos no contradicen los benchmarks agregados (por ejemplo, Wu et al. [5]) que reportan ganancias. Esas ganancias se atribuyen al entrenamiento conjunto, EM variacional o módulos de fusión con compuertas (como se ve en TAPE, GLEM) que proporcionan el sesgo inductivo necesario para prevenir la interferencia observada en la concatenación pura.
• Guía Práctica:
  • Los profesionales deben realizar pruebas A/B de $F_{orig}$-solo frente a $F_{orig} \parallel F_{LLM}$ antes de la adopción.
  • $\Delta_{sig}$ sirve como una lente interpretativa para el régimen (ayuda vs. perjudica) en lugar de un filtro A/B preciso, ya que medirlo requiere un cómputo similar al de la propia prueba A/B.
  • En regímenes de bajo $\Delta_{sig}$ y pocas etiquetas, la "solución trivial" de eliminar las características de LLM es a menudo la estrategia óptima.

El artículo concluye que el "cambio de signo" de beneficioso a perjudicial es impulsado por la elección de diseño específica de la concatenación pura en entornos de muestras pequeñas, y que el éxito agregado de los GNN mejorados con LLM depende de andamiajes de integración más sofisticados que mitigan esta interferencia específica.