💻 computer science

Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?

Este artículo revela que los conjuntos profundos no logran capturar eficazmente la incertidumbre en las redes neuronales de grafos porque los modelos entrenados de forma independiente convergen hacia predicciones funcionalmente idénticas, lo que provoca un colapso epistémico y limita los beneficios del conjunto a simplemente estabilizar las predicciones puntuales en lugar de mejorar las estimaciones de incertidumbre.

Autores originales: Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Pregunta: ¿Funcionan las "Multitudes" para la IA de Grafos?

Imagina que estás intentando resolver un rompecabezas difícil. En el mundo de la Inteligencia Artificial (IA), un truco popular para obtener una mejor respuesta es pedirle a un grupo de expertos (un "conjunto" o ensemble) en lugar de solo a uno. Entrenas cinco modelos de IA diferentes con los mismos datos, comenzándolos con semillas aleatorias distintas (como darles diferentes suposiciones iniciales) y luego les permites votar por la respuesta final.

En tareas estándar de IA (como reconocer gatos en fotos), esta "sabiduría de las multitudes" funciona maravillosamente. Los expertos a menudo discrepan sobre por qué piensan que algo es un gato, y esa discrepancia ayuda al grupo a darse cuenta: "¡Oye, no estamos 100% seguros de este!". Esto se llama capturar la incertidumbre.

Este artículo pregunta: ¿Funciona este mismo truco de "sabiduría de las multitudes" cuando la IA está mirando grafos?

¿Qué es un grafo? Piensa en un grafo no como un gráfico, sino como un mapa de conexiones. Podría ser una red social (personas conectadas por amistades), un mapa de carreteras (ciudades conectadas por calles) o una molécula (átomos conectados por enlaces). La IA utilizada para esto se llama Red Neuronal de Grafos (GNN).

La Respuesta Corta: No, la Multitud es Solo un Espejo

Los investigadores descubrieron que para las Redes Neuronales de Grafos, el truco de la "multitud" falla.

Cuando entrenaron cinco GNN diferentes para trabajar como equipo, el equipo no actuó como un grupo diverso de expertos. En cambio, todos terminaron pensando y actuando exactamente igual.

La Analogía: Imagina pedirle a cinco chefs diferentes que cocinen una sopa específica. En una cocina normal (IA estándar), podrían usar especias o técnicas diferentes, y si todos coinciden en que la sopa está demasiado salada, sabes con seguridad que lo está.
La Realidad de los Grafos: En este estudio, los cinco chefs terminaron usando exactamente la misma receta, la misma cantidad de sal y la misma técnica. No solo coincidieron; eran clones. Como eran tan idénticos, el grupo no podía decirte si estaban inseguros sobre el sabor. Solo te daban una única respuesta segura, incluso si estaban equivocados.

¿Qué Descubrieron?

El artículo desglosa tres hallazgos principales:

1. El "Colapso Epistémico" (El Pensamiento de Grupo)
Los autores acuñaron un término para este fenómeno: Colapso Epistémico.

Epistémico significa "conocimiento".
Colapso significa "desmoronarse".
Básicamente, la parte de "conocimiento" de la incertidumbre del grupo desapareció. Aunque los cinco modelos fueron entrenados por separado, todos convergieron en exactamente la misma solución. Como no discreparon entre sí, el sistema no pudo medir cuán inseguro estaba. La "multitud" no proporcionó ninguna red de seguridad adicional.

2. ¿Por Qué Mejoraron en Absoluto? (El Filtro de Ruido)
Podrías preguntar: "Si todos son iguales, ¿por qué dice el artículo que el grupo a veces obtuvo puntuaciones ligeramente mejores?"
La respuesta es el ruido de optimización.

La Analogía: Imagina intentar dar en el blanco de un blanco de dardos mientras estás de pie en un barco inestable. A veces fallas porque el barco se movió, no porque seas un mal apuntador.
Si tomas cinco lanzamientos de cinco personas diferentes en ese barco y promedias sus posiciones, la "inestabilidad" (ruido) se cancela, y el punto promedio está más cerca del blanco.
El artículo encontró que los conjuntos de GNN solo mejoraron ligeramente al predecir el número exacto (la predicción puntual) porque promediar cinco modelos similares suavizó los errores aleatorios del entrenamiento. No los hizo mejores para saber cuándo estaban inseguros.

3. El Misterio "Convexo" (¿Por qué son tan similares?)
¿Por qué terminaron pensando lo mismo cinco modelos diferentes?

En la IA estándar, el "paisaje" de soluciones posibles es como una cordillera accidentada con muchos valles diferentes. Modelos diferentes se quedan atrapados en valles distintos, lo que lleva a opiniones diversas.
Los autores sospechan que, para las Redes Neuronales de Grafos, el paisaje es en realidad más como un cuenco único y suave. No importa dónde empieces a rodar una bola (entrenar un modelo), siempre rueda al mismo punto exacto en el fondo.
Lo probaron mezclando los "cerebros" (pesos) de los modelos. Si los modelos estuvieran en valles diferentes, mezclarlos debería haber creado un modelo peor. Pero como todos se dirigían al mismo punto funcional, mezclarlos no ayudó mucho. Esto sugiere que la naturaleza de "paso de mensajes" de estas redes los fuerza a una única y estrecha forma de pensar.

La Conclusión

El artículo concluye que los Conjuntos Profundos no son una bala mágica para la IA de Grafos.

Si estás construyendo un sistema que necesita saber cuándo está inseguro (como un coche autónomo o una herramienta de diagnóstico médico), simplemente entrenar cinco Redes Neuronales de Grafos y promediarlas no funcionará. Solo te darán cinco copias de la misma respuesta segura (pero potencialmente incorrecta).

En lugar de desperdiciar dinero y potencia informática entrenando cinco modelos idénticos, el artículo sugiere que es mejor entrenar un modelo, elegir el que funcionó mejor por casualidad y usar ese. La "multitud" no agrega valor real porque la multitud no es realmente diversa.

Resumen Técnico: ¿Capturan Realmente los Ensembles Profundos la Incertidumbre en las Redes Neuronales de Grafos?

Enunciado del Problema

Los ensembles profundos (DEs) son el método estándar para la cuantificación de la incertidumbre (UQ) en el aprendizaje profundo, particularmente en visión por computadora, donde se basan en el desacuerdo entre modelos entrenados independientemente para capturar la incertidumbre epistémica. Sin embargo, su eficacia para datos con estructura de grafo, específicamente en las Redes Neuronales de Grafos (GNNs) de paso de mensajes, se ha asumido en gran medida en lugar de ser rigurosamente probada. Aunque la evidencia anecdótica y estudios limitados sugieren que los DEs pueden fallar en grafos (por ejemplo, en el benchmark de la red vial PEMS), falta una evaluación sistemática a través de diversas tareas de grafos. El problema central es si las propiedades estructurales de las GNNs y la naturaleza de los mecanismos de paso de mensajes impiden que los DEs generen la diversidad de modelos necesaria para cuantificar eficazmente la incertidumbre.

Metodología

Los autores realizan una evaluación empírica exhaustiva de los ensembles profundos estándar aplicados a GNNs. Su metodología implica:

Conjuntos de datos: Una suite de benchmark de siete conjuntos de datos de grafos diversos que cubren clasificación de nodos (Cora, Citeseer, Tolokers2), regresión de nodos (Artnetviews, Chameleon) y regresión de grafos (QM9-5%).
Modelos: Arquitecturas estándar de paso de mensajes (GCNs y GATv2) entrenadas como ensembles profundos (típicamente $M=5$ modelos) con diferentes inicializaciones aleatorias de pesos. Para tareas de regresión, los modelos incluyen una cabeza de varianza dedicada para capturar la incertidumbre aleatoria.
Líneas base: Las comparaciones se realizan frente a GNNs individuales, una línea base "Trivial" (que predice una distribución gaussiana constante derivada de las etiquetas de entrenamiento) y, en casos específicos, GNNs bayesianas o Procesos Gaussianos de Grafos.
Métricas:
- Primarias: Negativo de la Verosimilitud Logarítmica (NLL) para evaluar el rendimiento predictivo conjunto y la incertidumbre.
- Secundarias: Métricas de estimación puntual (RMSE para regresión, Precisión para clasificación) y métricas de calibración (Error de Calibración Esperado - ECE).
- Descomposición: Separación explícita de los componentes de incertidumbre aleatoria y epistémica mediante descomposición de varianza para regresión y descomposición de entropía para clasificación.
- Análisis de diversidad: Investigación del "colapso epistémico" analizando el desacuerdo entre los miembros del ensemble y probando la convexidad en el espacio de pesos frente al espacio funcional mediante "sopas de modelos" (promedio de pesos).

Contribuciones Clave

Benchmarking Sistemático: El artículo proporciona el primer benchmark a gran escala y sistemático de ensembles profundos estándar para GNNs a través de múltiples tareas y complejidades, yendo más allá de estudios de caso aislados.
Identificación del Colapso Epistémico: Los autores demuestran empíricamente un fenómeno denominado "colapso epistémico", donde GNNs entrenadas independientemente convergen hacia funciones predictivas altamente similares independientemente de la inicialización. Esta falta de diversidad funcional neutraliza el mecanismo principal (desacuerdo) mediante el cual los ensembles capturan la incertidumbre epistémica.
Deconstrucción de las Ganancias en NLL: El estudio revela que las mejoras marginales en el NLL observadas con ensembles de GNNs son impulsadas casi en su totalidad por la estabilización de las predicciones puntuales (reduciendo el ruido de optimización) en lugar de por mejoras genuinas en la calibración de la incertidumbre o la captura de incertidumbre epistémica.
Análisis de Convexidad: A través de experimentos de promediado en el espacio de pesos, los autores muestran que, si bien el espacio de pesos de las GNNs sigue siendo altamente no convexo (los modelos residen en diferentes cuencas de pesos), el espacio funcional parece exhibir una forma de convexidad. Soluciones de pesos distintas inducen comportamientos casi idénticos, lo que sugiere que la propia arquitectura de paso de mensajes restringe el espacio de hipótesis.

Resultados

Mejora Limitada: En la mayoría de los conjuntos de datos, los ensembles profundos proporcionan solo mejoras marginales sobre GNNs individuales en términos de NLL (por ejemplo, una ganancia de verosimilitud del 0,1% al 1% para clasificación, en comparación con ~20% en visión por computadora).
Degradación de la Calibración: En varios casos (por ejemplo, Chameleon, QM9-5%), los ensembles en realidad empeoran la calibración (ECE) mientras mejoran ligeramente la precisión puntual, lo que indica que la ganancia en NLL no se debe a mejores estimaciones de incertidumbre.
Colapso Epistémico: La descomposición de la incertidumbre muestra que la incertidumbre epistémica en los ensembles de GNNs es negligible (a menudo cercana a cero) en comparación con la incertidumbre aleatoria. La relación entre la incertidumbre epistémica y la aleatoria es consistentemente baja, contrastando fuertemente con los benchmarks de visión por computadora donde la incertidumbre epistémica es dominante.
Fallo de la Sopa de Modelos: Promediar los pesos de los miembros del ensemble ("sopa de modelos") resulta en un rendimiento degradado en comparación con modelos individuales. Esto confirma que los modelos no comparten una cuenca convexa simple en el espacio de pesos; más bien, encuentran pesos diferentes que mapean a la misma función.
Benchmark PEMS: El estudio revisita el benchmark de la red vial PEMS, confirmando que los ensembles de GNNs pueden desempeñarse catastróficamente peor que una línea base trivial en la cuantificación de la incertidumbre, un fallo atribuido a la interacción entre el paso de mensajes y el mecanismo del ensemble.

Significado y Afirmaciones

El artículo concluye que el éxito de los ensembles profundos en visión por computadora no se transfiere fluidamente al aprendizaje de grafos. Los autores afirman que los ensembles profundos estándar son ineficientes para GNNs de paso de mensajes porque fallan en capturar incertidumbre epistémica significativa.

Ineficiencia: Entrenar y desplegar un ensemble incurre en costos computacionales y de memoria significativos, sin embargo, el ensemble actúa meramente como un suavizador de reducción de varianza para el ruido de optimización en lugar de proporcionar estimaciones de incertidumbre diversas.
Implicación Práctica: Un solo modelo "afortunado" (seleccionado mediante validación) a menudo puede igualar o superar el rendimiento de un ensemble completo. Por lo tanto, el costo multiplicativo del ensembling no está justificado para GNNs estándar.
Perspectiva Teórica: Los hallazgos sugieren que el mecanismo de paso de mensajes impone un sesgo arquitectónico fundamental que homogeneiza el comportamiento del modelo, llevando a una convexidad funcional incluso en espacios de pesos no convexos. Esto desafía la suposición de que la inicialización aleatoria por sí sola es suficiente para generar la diversidad requerida para la UQ basada en ensembles en dominios de grafos.

El artículo postula que lograr una cuantificación de alta calidad de la incertidumbre en el aprendizaje de grafos requiere ir más allá del ensembling ingenuo de arquitecturas estándar de paso de mensajes, posiblemente necesitando nuevos métodos que aborden explícitamente la falta de diversidad funcional.