Does Graph Attention Improve Weighted-Polling Classification on the Pima Indians Diabetes Dataset? A Nested Cross-Validation Comparison with Standard Models

Resumen Técnico: ¿Mejora la atención de grafos la clasificación por votación ponderada en el conjunto de datos de diabetes de Pima Indians?

Planteamiento del problema
El estudio aborda la cuestión de si un codificador de Redes de Atención de Grafos (GATv2) mejora la clasificación por votación ponderada en conjuntos de datos clínicos tabulares pequeños y estructurados. Aunque las arquitecturas basadas en GATv2 han mostrado potencial en datos de morfología agrícola (específicamente en el conjunto de datos de Dry Bean), se desconoce si generalizan a dominios clínicos caracterizados por recuentos de instancias menores, desequilibrio de clases y problemas de calidad de datos como los valores faltantes codificados como ceros. Un problema metodológico crítico identificado es la "fuga de evaluación" (evaluation leakage) en los procesos de grafos transductivos: si un codificador se entrena con las etiquetas de los nodos que posteriormente se califican, el rendimiento se infla artificialmente. Además, seleccionar hiperparámetros en los mismos pliegues (folds) utilizados para la evaluación introduce optimismo. Este artículo busca determinar si el aumento mediante GATv2 ofrece un beneficio de rendimiento genuino sobre la votación ponderada de características puras y los clasificadores estándar cuando se evalúa bajo un protocolo de validación cruzada anidada riguroso y libre de fugas.

Metodología
La investigación emplea un proceso de dos etapas: un codificador GATv2 que genera incrustaciones relacionales (embeddings) a partir de un grafo de k-vecinos más cercanos (k-NN) de similitud, seguido de un clasificador de votación ponderada (variantes de KNN/Naive Bayes) que agrega votos de los vecinos más cercanos en el espacio latente.

• Conjunto de datos: Pima Indians Diabetes Dataset (768 instancias, 8 características, resultado binario). Los datos presentan desequilibrio de clases (65% negativo, 35% positivo) y problemas conocidos de calidad de datos donde los valores faltantes en cinco características se registran como ceros.
• Preprocesamiento: Los valores faltantes (ceros) fueron imputados utilizando la mediana del pliego de entrenamiento únicamente. Las características fueron normalizadas mediante z-score.
• Construcción del grafo: Se construyó un grafo k-NN utilizando la distancia euclidiana sobre los vectores de características. El peso de las aristas (distancia inversa) fue evaluado como un hiperparámetro.
• Validación cruzada anidada: Para prevenir la fuga de datos y el sobreajuste, se utilizó un protocolo de validación cruzada estratificada anidada:
  • Bucle externo (Outer Loop): Validación cruzada de 10 pliegues, repetida tres veces con diferentes semillas.
  • Bucle interno (Inner Loop): Validación cruzada de 5 pliegues utilizada exclusivamente para el ajuste de hiperparámetros. Esto incluyó el ajuste del codificador (tamaño del grafo, peso de las aristas, ancho de la capa oculta, cabezales de atención, dropout, tasa de aprendizaje, decaimiento de peso, épocas) y la configuración de votación (número de vecinos, esquema de votación).
  • Restricción: El codificador se reentrenó dentro de cada pliegue utilizando solo las etiquetas de entrenamiento; las características de los nodos de prueba fueron visibles para la construcción del grafo, pero sus etiquetas nunca se utilizaron en la función de pérdida.
• Comparadores: El clasificador GATv2 ajustado se comparó contra:
  1. Votación ponderada de características puras (sin codificador).
  2. GATv2 con el codificador original (no ajustado).
  3. Cinco clasificadores estándar: Regresión Logística, SVM con núcleo RBF, Random Forest, Gradient Boosting y k-Nearest Neighbours (k-NN).
• Métricas: Exactitud (accuracy), macro-F1, sensibilidad (recall de la clase diabética), especificidad y Área Bajo la Curva ROC (AUROC). La significancia estadística se evaluó mediante intervalos de confianza de bootstrap del 95% para diferencias emparejadas.

Contribuciones clave

1. Protocolo de evaluación riguroso: El estudio implementa un marco de validación cruzada anidada donde el codificador, la estructura del grafo y la configuración de votación se ajustan estrictamente dentro del bucle interno, eliminando la fuga de datos común en las evaluaciones de grafos transductivos.
2. Comparación directa dentro de la arquitectura: Proporciona una comparación emparejada de la votación ponderada aumentada con GATv2 frente a la votación ponderada de características puras en los mismos pliegues, aislando la contribución específica del mecanismo de atención de grafos.
3. Cuantificación del sesgo de evaluación: El artículo cuantifica la inflación del rendimiento causada por el protocolo original (calificar nodos utilizados para entrenar el codificador), demostrando una brecha significativa entre las estimaciones optimistas y las realistas.
4. Reproducibilidad abierta: El código para el protocolo anidado, la evaluación original y los controles de permutación de etiquetas se publica de forma abierta.

Resultados

• Rendimiento: El clasificador GATv2 ajustado logró una exactitud del 75.22% y un AUROC de 0.808.
• Comparación con características puras: El GATv2 ajustado no superó a la votación ponderada de características puras (75.35% de exactitud). La diferencia emparejada en exactitud fue de −0.13 puntos (IC 95%: −2.13 a +1.87). Aunque no se puede excluir un beneficio de hasta ~1.9 puntos, se excluyen diferencias mayores a ~2 puntos en cualquier dirección.
• Comparación con modelos estándar: El GATV2 ajustado tuvo un rendimiento inferior comparado con los clasificadores estándar. La Regresión Logística logró la mayor exactitud (76.74%). El AUROC de GATv2 fue significativamente menor (por 1.4 a 2.5 puntos) que el de la Regresión Logística, SVM, Random Forest y k-NN, con intervalos de confianza que excluyen el cero para estas comparaciones.
• Sensibilidad vs. Especificidad: Las variantes de GATv2 mostraron una mayor sensibilidad (58.58%–62.56%) pero una menor especificidad en comparación con algunos modelos estándar, lo que indica un cambio en el punto de operación en lugar de una mejora en la discriminación.
• Impacto del ajuste (Tuning): El ajuste del codificador no mejoró la exactitud respecto a la configuración del codificador original (diferencia de −0.04 puntos).
• Análisis de fuga: El protocolo original, que calificaba los nodos utilizados para entrenar el codificador, produjo una exactitud del 79.01%. Esto es aproximadamente 3.8 puntos porcentuales más alto que la estimación de la validación cruzada anidada, confirmando que la evaluación previa sobreestimó el rendimiento.

Significancia y Reivindicaciones
El artículo concluye que, en el conjunto de datos de Pima Indians Diabetes, el ajuste de un codificador GATv2 bajo validación cruzada anidada no hace que la clasificación por votación ponderada sea más precisa que la votación ponderada de características puras o los clasificadores estándar.

El autor establece explícitamente que estos hallazgos están limitados a este único conjunto de datos y no prueban que la atención de grafos no pueda ayudar en otros datos clínicos. El estudio destaca que, para conjuntos de datos tabulares pequeños y ruidosos con un solapamiento de clases sustancial, el grafo k-NN construido a partir de las características puras puede no contener información adicional suficiente para justificar la complejidad de un codificador de atención de grafos. La principal significancia del trabajo radica en demostrar la necesidad de una validación rigurosa (validación cruzada anidada) para evitar la sobreestimación de la utilidad de los métodos basados en grafos en dominios tabulares, donde el "optimismo" de la fuga puede enmascarar la falta de una mejora genuina.