When Graph Structure Becomes a Liability: A Critical Re-Evaluation of Graph Neural Networks for Bitcoin Fraud Detection under Temporal Distribution Shift

Resumen Técnico: Cuando la Estructura de Grafos se Convierte en una Carga

1. El Problema y el Contexto

El consenso actual en la literatura sobre el Dataset Elliptic de Bitcoin sostiene que las Redes Neuronales de Grafos (GNN), como GCN, GraphSAGE, GAT y EvolveGCN, superan a los baselines que solo utilizan características (features). Sin embargo, este artículo argumenta que este consenso se basa en errores metodológicos en los protocolos de evaluación, específicamente en la presencia de "fugas de datos" (data leakage) debido al uso de protocolos transductivos en lugar de inductivos estrictos.

• La Fuga de Datos: La mayoría de los estudios anteriores entrenan los modelos con acceso a todo el grafo (incluyendo nodos y aristas del periodo de prueba) durante el paso forward del entrenamiento. Esto permite que el modelo "vea" estadísticas del periodo de prueba a través de la agregación de vecinos y la normalización por lotes (BatchNorm), inflando artificialmente el rendimiento.
• Desplazamiento Temporal (Distribution Shift): El dataset presenta un cambio drástico en la distribución de las etiquetas. La tasa de fraude en el periodo de entrenamiento es del 11.6%, pero cae abruptamente a niveles cercanos al 0.3% en las etapas finales del periodo de prueba (tras el cierre de mercados oscuros). Este cambio en la probabilidad a priori (prior shift) hace que los modelos entrenados bajo supuestos estacionarios fallen catastróficamente.

2. Metodología

El autor reevalúa el problema bajo un protocolo estrictamente inductivo y riguroso:

• Protocolo de Evaluación:

  • Entrenamiento: El codificador (encoder) se entrena únicamente en el subgrafo inducido por los pasos de tiempo $\le 34$. Ninguna arista o característica de los nodos del periodo de prueba (pasos 35-49) se observa durante el entrenamiento.
  • Inferencia: Se evalúa en el grafo completo, pero el modelo nunca ha visto la estructura de vecinos del periodo de prueba.
  • Métricas: Se reporta el F1-score por paso de tiempo (no solo un promedio agregado) para revelar el colapso del modelo tras el paso 42.
  • Validación Estadística: Se ejecutan 10 semillas (seeds) independientes para cada configuración, reportando intervalos de confianza del 95% mediante bootstrap.

• Arquitecturas Comparadas:

  • GNNs: GCN, GraphSAGE, GAT.
  • Baselines: MLP (Red Neuronal sin grafos), Random Forest (RF) sobre características crudas.
  • Híbridos: Combinación de embeddings de GNN + características crudas.
  • Ablaciones: Se prueban grafos con aristas aleatorias (shuffled) y sin aristas para aislar el efecto de la topología.

3. Contribuciones Clave

El artículo presenta cinco contribuciones principales que desafían el estado del arte:

1. Experimento Emparejado Transductivo vs. Inductivo: Se demuestra que la diferencia de rendimiento no es arquitectónica, sino de protocolo. Al mantener todo constante (semilla, hiperparámetros) y solo cambiar el protocolo, GraphSAGE cae de un F1 de 0.689 (inductivo) a 0.294 (transductivo) en ciertos contextos de comparación, o viceversa dependiendo de la fuga. La brecha de 39.5 puntos F1 se atribuye enteramente a la exposición a aristas del periodo de prueba durante el entrenamiento.
2. Inversión del Ranking: Bajo el protocolo estricto, Random Forest sobre características crudas (F1 = 0.821) supera a todas las GNN probadas. GraphSAGE (la mejor GNN) alcanza solo 0.689, y un MLP alcanza 0.549. Esto invierte el consenso previo donde las GNN superaban a los baselines clásicos.
3. Ablación de Estructura de Grafos (El hallazgo más sorprendente):
   • Aristas Aleatorias > Aristas Reales: En este dataset, un grafo con aristas aleatoriamente permutadas (shuffled edges) supera al grafo de transacciones real por 8.9 puntos F1.
   • Sin Grafos > Grafo Real: Incluso eliminar las aristas por completo (reduciendo el GNN a un MLP) supera al grafo real.
   • Interpretación: La topología real de Bitcoin es esparsa (grado medio 2.3) y mezcla nodos fraudulentos con legítimos. Bajo el desplazamiento de distribución, la agregación de vecinos "arrastra" las representaciones de fraude hacia el manifold de transacciones legítimas, actuando como ruido sistemático en lugar de señal.
4. Falsificación del Ensamble Híbrido: Un enfoque anterior que combinaba embeddings de GraphSAGE con características crudas reportaba un F1 de 0.807. Bajo el protocolo estricto, este híbrido cae a 0.699. La contribución de la estructura de grafos es estadísticamente significativa pero prácticamente insignificante (+0.018 F1 sobre un MLP equivalente), y es superada por un margen enorme (0.124 F1) por el uso de características crudas solas.
5. Auditoría de Protocolos: Se demuestra que el colapso del rendimiento después del paso 42 es debido al cambio en la probabilidad a priori del fraude, no a un cambio en las características (covariadas). La calibración (temperature scaling) no soluciona el problema porque el umbral de decisión óptimo ha cambiado, no la confianza del modelo.

4. Resultados Principales

• Colapso Temporal: Todos los modelos colapsan después del paso 42 cuando la tasa de fraude cae del 11% al 0.3%. La precisión se mantiene, pero la recuperación (recall) cae a casi cero.
• Importancia de Características: Las características locales (transacción individual) dominan la importancia predictiva, no las agregadas de vecinos.

5. Significado e Implicaciones

• Reevaluación del Estado del Arte: Los resultados publicados anteriormente (F1 entre 0.70 y 0.77) son artefactos de protocolos de evaluación que permiten fugas de datos. No son comparables "manzana con manzana" con los resultados bajo un protocolo inductivo estricto.
• La Estructura de Grafos puede ser Nociva: En escenarios con grafos esparsos, heterogéneos y con cambios drásticos en la distribución de clases (prior shift), la agregación de vecinos en GNNs puede introducir un sesgo sistemático que degrada el rendimiento por debajo de modelos que ignoran la estructura.
• Recomendaciones para la Industria:
  1. Validación Estricta: Cualquier pipeline de detección de fraude en grafos temporales debe validarse bajo un protocolo inductivo estricto que excluya nodos del periodo de prueba del entrenamiento.
  2. Baseline Obligatoria: Antes de justificar el uso de GNNs, deben superar a un ensemble de árboles (Random Forest/XGBoost) entrenado solo con características crudas bajo el mismo protocolo.
  3. Reentrenamiento vs. Calibración: El problema principal es el desplazamiento de la distribución (cambio en la tasa de fraude), no la calibración de probabilidades. La solución es el reentrenamiento periódico con ventanas deslizantes, no ajustar la temperatura del modelo.

Conclusión Final:
En el Dataset Elliptic, bajo condiciones de evaluación que eliminan fugas de datos, la estructura del grafo es actualmente una carga (liability) en lugar de un activo. Los modelos basados en características crudas (Random Forest) superan consistentemente a las GNNs. El artículo no descarta el aprendizaje en grafos en general, sino que exige que los benchmarks demuestren su valor real bajo protocolos de despliegue realistas y sin fugas de datos.