💻 computer science

Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?

Este artigo revela que os deep ensembles falham em capturar efetivamente a incerteza em redes neurais de grafos porque modelos treinados independentemente convergem para previsões funcionalmente idênticas, causando colapso epistêmico e limitando os benefícios do ensemble a meramente estabilizar previsões pontuais em vez de melhorar as estimativas de incerteza.

Autores originais: Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Pergunta: As "Multidões" Funcionam para IA em Grafos?

Imagine que você está tentando resolver um quebra-cabeça difícil. No mundo da Inteligência Artificial (IA), um truque popular para obter uma resposta melhor é pedir a um grupo de especialistas (um "ensemble") em vez de apenas um. Você treina cinco modelos de IA diferentes nos mesmos dados, começando-os com sementes aleatórias diferentes (como dar a eles palpites iniciais distintos) e, em seguida, permite que eles votem na resposta final.

Em tarefas padrão de IA (como reconhecer gatos em fotos), essa "sabedoria das multidões" funciona maravilhosamente. Os especialistas frequentemente discordam sobre por que acham que algo é um gato, e essa discordância ajuda o grupo a perceber: "Ei, não temos 100% de certeza sobre este!". Isso é chamado de captura de incerteza.

Este artigo pergunta: Esse mesmo truque de "sabedoria das multidões" funciona quando a IA está olhando para grafos?

O que é um grafo? Pense em um grafo não como um gráfico, mas como um mapa de conexões. Pode ser uma rede social (pessoas conectadas por amizades), um mapa de estradas (cidades conectadas por ruas) ou uma molécula (átomos conectados por ligações). A IA usada para isso é chamada de Rede Neural de Grafos (GNN).

A Resposta Curta: Não, a Multidão é Apenas um Espelho

Os pesquisadores descobriram que, para Redes Neurais de Grafos, o truque da "multidão" falha.

Quando treinaram cinco GNNs diferentes para trabalhar como uma equipe, a equipe não agiu como um grupo diversificado de especialistas. Em vez disso, todos acabaram pensando e agindo exatamente da mesma maneira.

A Analogia: Imagine pedir a cinco chefs diferentes que cozinhem uma sopa específica. Em uma cozinha normal (IA padrão), eles podem usar especiarias ou técnicas diferentes, e se todos concordarem que a sopa está muito salgada, você sabe com certeza que está salgada.
A Realidade dos Grafos: Neste estudo, os cinco chefs acabaram usando a receita exata, a mesma quantidade exata de sal e a mesma técnica exata. Eles não apenas concordaram; eram clones. Como eram tão idênticos, o grupo não podia dizer se estavam inseguros sobre o sabor. Eles apenas lhe deram uma única resposta confiante, mesmo que estivessem errados.

O Que Eles Descobriram?

O artigo detalha três principais descobertas:

1. O "Colapso Epistêmico" (O Pensamento de Grupo)
Os autores cunharam um termo para esse fenômeno: Colapso Epistêmico.

Epistêmico significa "conhecimento".
Colapso significa "desmoronar".
Basicamente, a parte de "conhecimento" da incerteza do grupo desapareceu. Mesmo que os cinco modelos tenham sido treinados separadamente, todos convergiram para a mesma solução exata. Como não discordavam uns dos outros, o sistema não podia medir o quão inseguro estava. A "multidão" não forneceu nenhuma rede de segurança extra.

2. Por Que Eles Melhoraram de Qualquer Maneira? (O Filtro de Ruído)
Você pode perguntar: "Se eles são todos iguais, por que o artigo disse que o grupo às vezes obteve pontuações ligeiramente melhores?"
A resposta é ruído de otimização.

A Analogia: Imagine tentar acertar o alvo em um alvo de dardos enquanto está em um barco instável. Às vezes você erra porque o barco balançou, não porque você tem mira ruim.
Se você der cinco arremessos de cinco pessoas diferentes naquele barco e calcular a média de suas posições, a "instabilidade" (ruído) se cancela, e o ponto médio fica mais próximo do alvo.
O artigo descobriu que os ensembles de GNNs ficaram apenas ligeiramente melhores em prever o número exato (a previsão pontual) porque a média de cinco modelos semelhantes suavizou os erros aleatórios do treinamento. Isso não os tornou melhores em saber quando estavam inseguros.

3. O Mistério "Convexo" (Por que são tão semelhantes?)
Por que cinco modelos diferentes acabaram pensando a mesma coisa?

Na IA padrão, a "paisagem" de soluções possíveis é como uma cadeia de montanhas acidentada com muitos vales diferentes. Modelos diferentes ficam presos em vales diferentes, levando a opiniões diversas.
Os autores suspeitam que, para Redes Neurais de Grafos, a paisagem é na verdade mais como uma tigela única e suave. Não importa onde você comece a rolar uma bola (treinar um modelo), ela sempre rola para o mesmo ponto exato no fundo.
Eles testaram isso misturando os "cérebros" (pesos) dos modelos. Se os modelos estivessem em vales diferentes, misturá-los deveria ter criado um modelo pior. Mas como todos estavam indo para o mesmo ponto funcional, misturá-los não ajudou muito. Isso sugere que a natureza de "passagem de mensagens" dessas redes força-as para uma única e estreita maneira de pensar.

A Conclusão

O artigo conclui que Ensembles Profundos não são uma bala mágica para IA em Grafos.

Se você está construindo um sistema que precisa saber quando está inseguro (como um carro autônomo ou uma ferramenta de diagnóstico médico), simplesmente treinar cinco Redes Neurais de Grafos e calculá-los não funcionará. Eles apenas lhe darão cinco cópias da mesma resposta confiante (mas potencialmente errada).

Em vez de desperdiçar dinheiro e poder computacional treinando cinco modelos idênticos, o artigo sugere que é melhor treinar um modelo, escolher aquele que funcionou melhor por acaso e usá-lo. A "multidão" não agrega valor real porque a multidão não é realmente diversificada.

Resumo Técnico: Deep Ensembles Capturam Realmente a Incerteza em Redes Neurais em Grafos?

Declaração do Problema

Deep ensembles (DEs) são o método padrão para quantificação de incerteza (UQ) em aprendizado profundo, particularmente em visão computacional, onde dependem da discordância entre modelos treinados independentemente para capturar incerteza epistêmica. No entanto, sua eficácia para dados estruturados em grafos, especificamente Redes Neurais em Grafos (GNNs) de passagem de mensagens, tem sido amplamente assumida em vez de rigorosamente testada. Embora evidências anecdóticas e estudos limitados sugiram que DEs podem falhar em grafos (por exemplo, no benchmark de rede rodoviária PEMS), falta uma avaliação sistemática em tarefas de grafos diversas. O problema central é se as propriedades estruturais das GNNs e a natureza dos mecanismos de passagem de mensagens impedem que DEs gerem a diversidade de modelos necessária para quantificar efetivamente a incerteza.

Metodologia

Os autores realizam uma avaliação empírica abrangente de deep ensembles padrão aplicados a GNNs. Sua metodologia envolve:

Conjuntos de Dados: Um conjunto de benchmarks com sete conjuntos de dados de grafos diversos cobrindo classificação de nós (Cora, Citeseer, Tolokers2), regressão de nós (Artnetviews, Chameleon) e regressão de grafos (QM9-5%).
Modelos: Arquiteturas padrão de passagem de mensagens (GCNs e GATv2) treinadas como deep ensembles (tipicamente $M=5$ modelos) com diferentes inicializações aleatórias de pesos. Para tarefas de regressão, os modelos incluem um cabeçalho de variância dedicado para capturar incerteza aleatória.
Baselines: Comparações são feitas contra GNNs únicas, uma baseline "Trivial" (prevendo uma distribuição Gaussiana constante derivada dos rótulos de treinamento) e, em casos específicos, GNNs Bayesianas ou Processos Gaussianos em Grafos.
Métricas:
- Primária: Negativa da Verossimilhança Logarítmica (NLL) para avaliar o desempenho preditivo conjunto e a incerteza.
- Secundária: Métricas de estimativa pontual (RMSE para regressão, Acurácia para classificação) e métricas de calibração (Erro de Calibração Esperado - ECE).
- Decomposição: Separação explícita dos componentes de incerteza aleatória e epistêmica usando decomposição de variância para regressão e decomposição de entropia para classificação.
- Análise de Diversidade: Investigação do "colapso epistêmico" analisando a discordância entre os membros do ensemble e testando a convexidade no espaço de pesos versus espaço funcional via "model soups" (média de pesos).

Principais Contribuições

Benchmarking Sistemático: O artigo fornece o primeiro benchmark em grande escala e sistemático de deep ensembles padrão para GNNs em múltiplas tarefas e complexidades, indo além de estudos de caso isolados.
Identificação do Colapso Epistêmico: Os autores demonstram empiricamente um fenômeno denominado "colapso epistêmico", onde GNNs treinadas independentemente convergem para funções preditivas altamente semelhantes, independentemente da inicialização. Essa falta de diversidade funcional neutraliza o mecanismo primário (discordância) pelo qual os ensembles capturam incerteza epistêmica.
Desconstrução dos Ganhos de NLL: O estudo revela que as melhorias marginais no NLL observadas com ensembles de GNNs são impulsionadas quase inteiramente pela estabilização das previsões pontuais (reduzindo o ruído de otimização) e não por melhorias genuínas na calibração da incerteza ou na captura de incerteza epistêmica.
Análise de Convexidade: Através de experimentos de média de pesos, os autores mostram que, embora o espaço de pesos das GNNs permaneça altamente não convexo (os modelos residem em diferentes bacias de pesos), o espaço funcional parece exibir uma forma de convexidade. Soluções de pesos distintas induzem comportamentos quase idênticos, sugerindo que a própria arquitetura de passagem de mensagens restringe o espaço de hipóteses.

Resultados

Melhoria Limitada: Na maioria dos conjuntos de dados, deep ensembles fornecem apenas melhorias marginais sobre GNNs únicas em termos de NLL (por exemplo, ganho de verossimilhança de 0,1% a 1% para classificação, comparado a ~20% em visão computacional).
Degradação da Calibração: Em vários casos (por exemplo, Chameleon, QM9-5%), os ensembles na verdade pioram a calibração (ECE) enquanto melhoram ligeiramente a acurácia pontual, indicando que o ganho de NLL não se deve a melhores estimativas de incerteza.
Colapso Epistêmico: A decomposição da incerteza mostra que a incerteza epistêmica em ensembles de GNNs é negligenciável (frequentemente próxima de zero) em comparação com a incerteza aleatória. A razão entre incerteza epistêmica e aleatória é consistentemente baixa, contrastando fortemente com benchmarks de visão computacional onde a incerteza epistêmica é dominante.
Falha do Model Soup: A média dos pesos dos membros do ensemble ("model soup") resulta em desempenho degradado em comparação com modelos únicos. Isso confirma que os modelos não compartilham uma bacia convexa simples no espaço de pesos; em vez disso, eles encontram pesos diferentes que mapeiam para a mesma função.
Benchmark PEMS: O estudo revisita o benchmark de rede rodoviária PEMS, confirmando que ensembles de GNNs podem performar catastróficamente pior do que uma baseline trivial na quantificação de incerteza, uma falha atribuída à interação entre a passagem de mensagens e o mecanismo de ensemble.

Significado e Alegações

O artigo conclui que o sucesso dos deep ensembles em visão computacional não se transfere de forma contínua para o aprendizado de máquina em grafos. Os autores afirmam que deep ensembles padrão são ineficientes para GNNs de passagem de mensagens porque falham em capturar incerteza epistêmica significativa.

Ineficiência: Treinar e implantar um ensemble incorre em custos computacionais e de memória significativos, ainda assim o ensemble atua meramente como um suavizador de redução de variância para ruído de otimização, em vez de fornecer estimativas de incerteza diversas.
Implicação Prática: Um único modelo "sortudo" (selecionado via validação) frequentemente pode igualar ou superar o desempenho de um ensemble completo. Portanto, o custo multiplicativo do ensemble é injustificado para GNNs padrão.
Insight Teórico: As descobertas sugerem que o mecanismo de passagem de mensagens impõe um viés arquitetônico fundamental que homogeneíza o comportamento do modelo, levando à convexidade funcional mesmo em espaços de pesos não convexos. Isso desafia a suposição de que a inicialização aleatória sozinha é suficiente para gerar a diversidade necessária para UQ baseada em ensemble em domínios de grafos.

O artigo postula que alcançar quantificação de incerteza de alta qualidade em aprendizado de grafos requer ir além do ensemble ingênuo de arquiteturas padrão de passagem de mensagens, potencialmente necessitando de novos métodos que abordem explicitamente a falta de diversidade funcional.