📊 statistics

Simulation-consistent Estimation of the Marginal Likelihood for Block Models

Este artigo propõe um estimador consistente com a simulação, assintoticamente normal e invariante à troca de rótulos para computar verossimilhanças marginais de modelos de blocos usando amostras de MCMC, demonstrando sua eficácia por meio de benchmarks analíticos e uma aplicação a um conjunto de dados de rede social da COP28.

Autores originais: Martin Metodiev, Marie Perrot-Dockès, Guilhem Fouetillou, Pierre Latouche, Adrian E. Raftery

Publicado 2026-07-28

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Martin Metodiev, Marie Perrot-Dockès, Guilhem Fouetillou, Pierre Latouche, Adrian E. Raftery

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está entrando em uma festa enorme e caótica, onde milhares de pessoas se misturam, gritam e compartilham histórias. Seu objetivo é descobrir quem pertence a qual grupo. As pessoas no canto discutindo o último filme de ficção científica são um público diferente daqueles junto à mesa de ponche debatendo as mudanças climáticas? No mundo da ciência de dados, esta festa é uma "rede" (network), e os grupos são chamados de "clusters". Cientistas usam ferramentas matemáticas chamadas "modelos de blocos" (block models) para mapear esses círculos sociais invisíveis. Mas aqui está a parte complicada: assim como tentar adivinhar o número perfeito de grupos em uma festa sem saber a resposta, é incrivelmente difícil saber se você encontrou o número certo de clusters. Você pode supor que existem 5 grupos, ou talvez 50, e sem uma maneira confiável de verificar, você pode estar completamente errado. Isso é um grande problema porque, se você não consegue contar os grupos com precisão, não consegue entender como informações, ideias ou até mesmo vírus se espalham por uma rede.

É aqui que um novo método chamado THAMES (Truncated Harmonic Mean Estimator for Block Models) entra, agindo como um detetive superinteligente impulsionado por simulações. Os pesquisadores por trás deste artigo, liderados por Martin Metodiev e colegas, construíram uma ferramenta que pode calcular a "pontuação" de diferentes configurações de grupos para ver qual faz mais sentido. Ao contrário de métodos antigos que frequentemente ficam travados, desistem ou produzem resultados absurdamente instáveis, o THAMES foi projetado para ser "consistente com a simulação" (simulation-consistent). Pense nisso como provar uma sopa: se você tomar apenas uma colherada, pode não saber se ela está salgada o suficiente. Mas se você continuar tomando mais e mais colheradas (simulações), seu paladar se torna cada vez mais preciso até que você tenha absoluta certeza. O THAMES faz isso com dados de redes, permitindo que cientistas determinem com confiança o verdadeiro número de grupos ocultos, mesmo em conjuntos de dados massivos e desordenados. Eles testaram isso em um exemplo do mundo real envolvendo milhões de postagens sobre uma importante conferência climática, provando que pode encontrar padrões claros onde outros métodos se confundem.

O Problema: A Confusão da "Troca de Rótulos" (Label Switching)

Para entender por que esta nova ferramenta é tão especial, primeiro precisamos olhar para a desordem dos dados. Imagine que você está separando uma pilha de bolas coloridas em baldes. Você tem bolas vermelhas, azuis e verdes. Mas, na mente do computador, o balde "vermelho" pode ser chamado de "Balde 1" hoje e "Balde 3" amanhã, mesmo que esteja contendo exatamente as mesmas bolas. Isso é um fenômeno chamado troca de rótulos (label switching).

Na matemática complexa usada para analisar redes, o computador executa uma simulação (um pouco como um experimento virtual) milhares de vezes para descobrir os grupos. Devido à troca de rótulos, o computador pode dizer: "Ok, nesta execução, os ativistas climáticos são o Grupo A", e na próxima: "Os ativistas climáticos são o Grupo B". Se você tentar tirar a média desses resultados, obterá uma bagunça gigante e confusa. É como tentar calcular a altura média de um grupo de pessoas se, toda vez que você mede alguém, você troca aleatoriamente o nome dessa pessoa pelo de outra. A média torna-se inútil.

A maioria dos métodos existentes para contar grupos em redes tem dificuldade com isso. Ou eles falham quando os dados ficam muito grandes, ou dependem de atalhos (chamados de aproximações) que funcionam bem na teoria, mas podem ser absurdamente imprecisos na vida real. Alguns métodos são como tentar adivinhar o número de grãos de feij ever em um pote olhando através do vidro; outros são como tentar contá-los sacudindo o pote e esperando que eles não grudem uns nos outros. Os autores argumentam que essas formas antigas são frequentemente pouco confiáveis, especialmente quando os dados são finitos (não infinitos) e os grupos são difíceis de distinguir.

A Solução: THAMES, o Detetive "Truncado"

O artigo apresenta o THAMES, uma nova forma de calcular a "verossimilhança marginal" (marginal likelihood). Em termos simples, a verossimilhança marginal é uma pontuação que diz o quão bem um número específico de grupos explica os dados que você possui. Uma pontuação mais alta significa que o modelo se ajusta melhor.

Os autores criaram o THames combinando duas ideias existentes, mas corrigindo seus maiores defeitos.

O Estimador da Média Harmônica (Harmonic Mean Estimator): Este é um truque antigo que é fácil de calcular, mas notoriamente instável. É como tentar equilibrar uma casa de cartas em um furacão; uma pequena rajada (um ponto de dado estranho) pode derrubar tudo.
A Aproximação Variacional (Variational Approximation): Esta é uma estimativa rápida e inteligente baseada em uma versão simplificada do problema. Geralmente é precisa, mas pode ser enviesada (ligeiramente errada) porque é uma simplificação.

O THAMES pega o melhor dos dois mundos. Ele usa a estimativa inteligente para definir um "conjunto de truncamento" — uma lista específica e gerenciável das configurações de grupo mais prováveis para focar. Ao ignorar os valores discrepantes (outliers) estranhos e improváveis (a "cauda" da distribuição), ele evita a instabilidade do antigo método da Média Harmônica. Ao mesmo tempo, utiliza os dados reais da simulação para garantir que o resultado seja preciso, evitando o viés da estimativa simplificada.

Crucialmente, o THAMES é simétrico. Isso significa que não importa se o computador chama um grupo de "Cluster 1" ou "Cluster 100". Ele trata todos os grupos como um conjunto único e unificado. Isso resolve o problema da "troca de rótulos" automaticamente. Se o computador trocar os nomes dos grupos, a pontuação do THAMES permanece exatamente a mesma. É como um juiz que se preocupa apenas com a qualidade da performance, não com o nome do competidor.

A Prova: Simulações e Testes do Mundo Real

Os autores não apenas construíram esta ferramenta; eles a submeteram a testes rigorosos.

O Teste de Simulação:
Eles criaram redes falsas onde sabiam a resposta exata (o número "verdadeiro" de grupos). Testaram o THAMES contra outros métodos populares, incluindo o antigo estimador da Média Harmônica e um método chamado ChibPartition.

O Resultado: À medida que o número de simulações aumentava (de 1.000 para 10.000), o erro no cálculo do THAMES diminuía constantemente. Ele era "consistente com a simulação", o que significa que, quanto mais eles rodavam a simulação, mais se aproximavam da verdade.
A Comparação: O antigo estimador da Média Harmônica era totalmente errático, às vezes falhando completamente quando os dados eram complicados. O método ChibPartition funcionava bem apenas quando um grupo específico era esmagadoramente popular, mas perdia a eficácia quando os grupos eram mais equilibrados. O THAMES, no entanto, permaneceu estável e preciso em todos os cenários.

O Teste do Mundo Real: COP28
Para ver se o THAMES poderia lidar com uma situação real e desordenada, os autores o aplicaram a um conjunto de dados massivo da Conferência das Nações Unidas sobre Mudanças Climáticas de 2023 (COP28). Eles coletaram mais de 4 milhões de postagens da rede social X (antigo Twitter), o que envolveu mais de 1 milhão de usuários. Após a limpeza dos dados, analisaram uma rede de cerca de 11.000 usuários.

A Descoberta: O THAMES determinou que a rede era melhor explicada por 12 clusters distintos.
O Contraste: Eles compararam isso com um método alternativo popular chamado ICL (Integrated Complete Likelihood), que sugeriu a existência de 37 clusters.
O Insight: Quando os autores analisaram os 37 clusters do método ICL, encontraram que eles estavam "fraturados". Por exemplo, o método ICL dividiu o grupo central de figuras influentes (como Al Gore e a ONU para Mudanças Climáticas) em vários grupos minúsculos e separados. Também fragmentou o movimento #SaveSoil em quatro clusters diferentes e desconectados.
A Visão do THAMES: Em contraste, os 12 clusters encontrados pelo THAMES faziam muito mais sentido sociológico. Ele identificou uma estrutura clara de "núcleo-periferia" (core-periphery). Havia um pequeno cluster central (Cluster 11) contendo apenas 5 usuários: ONU Mudanças Climáticas, Al Gore, COP28 UAE, Colaboração Perdas e Danos, e António Guterres. Todos os outros usuários na rede eram "grupos periféricos" que majoritariamente citavam ou republicavam esse núcleo central. Isso revelou um padrão em forma de estrela, onde algumas vozes dominantes impulsionavam a conversa, e todos os outros reagiam a elas.

Os autores observam que essa estrutura faz sentido no mundo real: grandes eventos climáticos frequentemente têm algumas figuras centrais que dominam a narrativa, enquanto movimentos de base e bots orbitam ao redor delas. O fato de o THAMES ter encontrado essa estrutura limpa e lógica, enquanto o outro método encontrou uma bagunça caótica de 37 pequenos grupos, sugere que o THAMES é melhor em encontrar a "verdadeira" estrutura oculta em redes sociais complexas.

Por Que Isso Importa

O artigo conclui que o THAMES é um passo significativo à frente porque é o primeiro método do seu tipo que é tanto consistente com a simulação (torna-se mais preciso com mais poder computacional) quanto invariante à troca de rótulos (não se confunde com convenções de nomenclatura).

Embora os autores sejam cautelosos ao notar que esta é uma ferramenta para estimativa e seleção de modelos, e não uma solução mágica para todos os problemas da ciência de redes, os resultados são convincentes. Eles mostram que, ao combinar aproximações inteligentes com simulações rigorosas, podemos finalmente contar os grupos ocultos em nosso mundo digital com muito mais confiança. Quer seja para entender como a informação climática se espalha, como bolhas políticas se formam ou como doenças se movem através de uma população, ter uma maneira confiável de contar os grupos é o primeiro passo para entender o quadro completo.

Em suma, o THAMES é a nova e confiável régua para medir as formas ocultas de nossas redes sociais, provando que, às vezes, a melhor maneira de encontrar a verdade é parar de adivinhar e começar a simular com precisão.

Resumo Técnico: Estimativa de Consistência de Simulação da Verossimilhança Marginal para Modelos de Blocos

Declaração do Problema
O modelo de blocos estocásticos (SBM) é um modelo de grafo aleatório padrão para agrupamento de nós, capaz de lidar com estruturas heterogêneas como comunidades ou padrões de estrela. No entanto, um grande problema não resolvido na inferência de SBM é a estimativa do número de clusters ( $G$ ). De uma perspectiva bayesiana, o critério de seleção de modelo ideal é o modelo que maximiza o produto da verossimilhança marginal e a probabilidade a priori do modelo. Contudo, a verossimilhança marginal $Z(G)$ envolve uma soma sobre todas as possíveis configurações de clusters, que cresce exponencialmente com o tamanho da rede, tornando-a computacionalmente intratável.

Os métodos existentes para estimar o número de clusters em SBM baseiam-se em aproximações assintóticas ou aproximações variacionais. Embora estes possam ser razoáveis em casos limites onde o tamanho da rede cresce, não existem resultados de consistência conhecidos para estas aproximações em relação a tamanhos de dados finitos. Além disso, a maioria dos estimadores de verossimilhança marginal consistentes de simulação (que convergem à medida que o número de simulações aumenta) requer a avaliação da função de verossimilhança, o que é impossível para o SBM devido à soma intratável sobre as configurações. Adicionalmente, a estimativa padrão por MCMC bayesiano dos parâmetros do SBM sofre do problema de "troca de rótulos" (label switching), onde os parâmetros trocam de rótulos aleatoriamente, causando alta variância nos estimadores ergódicos.

Metodologia: O Estimador de Média Harmônica Truncada (THAMES)
Os autores propõem o Estimador de Média Harmônica Truncada (THAMES), um estimador de consistência de simulação para a verossimilhança marginal do SBM que não requer a avaliação da função de verossimilhança intratável. O método baseia-se nas distribuições "colapsadas" dos vetores de alocação latente, que estão disponíveis em formas analíticas simples.

O núcleo da metodologia envolve as seguintes etapas:

Estrutura de Amostragem de Importância Recíproca (RIS): O estimador é enquadrado no contexto de RIS, onde a inversa da verossimilhança marginal é estimada pela média da razão entre uma densidade de proposta $h(C)$ e a densidade posterior.
Simetria e Troca de Rótulos: Para abordar a troca de rótulos, o estimador é construído para ser simétrico (invariante a permutações de rótulos). Isto é alcançado através da média sobre permutações ou pela definição da densidade de proposta sobre conjuntos simétricos.
Estratégia de Truncamento: O THAMES combina a densidade uniforme do estimador ChibPartition com uma aproximação variacional usada na Amostragem de Importância Recíproca de Variational Bayes (RISVB). Ele define um conjunto de truncamento $A$ $A$ (um subconjunto do espaço do vetor de alocação) para reduzir a variância.
- O conjunto $A$ é construído como a interseção de um conjunto de produto cartesiano $E_{\hat{C}, \hat{r}}$ (baseado nos vetores de alocação mais prováveis da primeira metade da amostra MCMC) e uma região de Densidade Posterior Mais Alta (HPD) $H_\alpha$ .
- O parâmetro $\alpha$ é escolhido empiricamente para minimizar a variância da amostra do estimador.
Computação Eficiente: Uma contribuição fundamental é uma otimização algorítmica que reduz drasticamente o custo computacional. Em vez de somar sobre todos os $G!$ permutações (que é superexponencial), o método identifica uma ordenação lexicográfica dos vetores de alocação. Sob a condição de que não existam clusters vazios na segunda metade da amostra MCMC, a soma sobre permutações pode ser reduzida a uma soma sobre um conjunto muito menor $\Omega$ , que frequentemente contém apenas um elemento.
Tratamento de Clusters Vazios: Se ocorrerem clusters vazios na amostra MCMC, os autores utilizam uma extensão da fórmula de Nobile para relacionar a verossimilhança marginal de um modelo com $G$ clusters a um com $G-1$ clusters, permitindo que o estimador prossiga sem o cluster vazio.

Principais Contribuições

Primeiro Estimador de Consistência de Simulação para SBM: Tanto quanto aos autores sabem, este é o primeiro estimador apresentado que converge para a verossimilhança marginal com o aumento do número de simulações, mesmo quando o tamanho da rede é fixo e pequeno.
Propriedades Teóricas: O THAMES é provado ser consistente de simulação e assintoticamente normal com variância finita sob condições padrão. É também simétrico, tornando-o invariante ao problema de troca de rótulos.
Eficiência Computacional: O método permite computação eficiente mesmo para modelos com um grande número de componentes, evitando a soma total de permutações e não requerendo a avaliação da função de verossimilhança.
Aplicabilidade: A abordagem é aplicável ao SBM e, por analogia, ao Modelo de Blocos Latentes (LBM) para co-agrupamento.

Resultados
O desempenho do THAMES foi avaliado através de estudos de simulação onde a verdadeira verossimilhança marginal podia ser computada analiticamente (usando redes pequenas com $n=10$ e $G=2$ ).

Convergência: O erro entre o log do estimador THAMES e o log da verdadeira verossimilhança marginal diminuiu à medida que o tamanho da amostra MCMC ( $T$ ) aumentou, confirmando a consistência de simulação.
Comparação: O THAMES foi comparado contra o Estimador de Média Harmônica (HME), o estimador ChibPartition, o estimador RISVB e aproximações variacionais (ILvb).
- O HME mostrou-se instável, particularmente quando a distribuição posterior era altamente concentrada.
- Os estimadores variacionais (ILvb) mostraram viés, particularmente quando as suposições variacionais não se sustentavam (ex: em regimes de baixo $\lambda$ ), e exigiam um fator de correção ( $G!$ ) para compensar o foco num único modo.
- Numa simulação específica que mimetiza o conjunto de dados COP28 (onde a probabilidade posterior do estimador de Máxima A Posteriori (MAP) era extremamente baixa e não ocorreram repetições na amostra), o THAMES superou significativamente outros estimadores. O estimador ChibPartition falhou neste cenário de baixa probabilidade porque o conjunto de estados MAP repetidos era vazio.
Aplicação no Mundo Real (COP28): O método foi aplicado a um conjunto de dados de rede social derivado da Conferência das Nações Unidas sobre Mudanças Climáticas de 2023 (COP28), contendo mais de 1 milhão de nós e 2 milhões de arestas (pré-processado para ~11k nós).
- O THAMES estimou o número ideal de clusters como sendo $G=12$ .
- Em contraste, o critério de Verossimilhança Completa Integrada (ICL), utilizando um algoritmo ganancioso (greedy), estimou $G=37$ .
- O agrupamento via THAMES revelou uma estrutura de núcleo-periferia onde um pequeno cluster central (Cluster 11, tamanho 5) contendo figuras chave (ex: Al Gore, ONU Mudanças Climáticas) era citado/repostado por todos os outros clusters, enquanto as conexões internas dentro de outros clusters eram raras. Esta estrutura foi interpretada como um padrão de "mistura desassortativa assimétrica".
- O resultado do ICL foi descrito como "fraturado", dividindo o núcleo e movimentos específicos (como #SaveSoil) em múltiplos clusters pequenos e instáveis, enquanto o THAMES forneceu uma identificação estrutural mais robusta.

Significância e Alegações
O artigo afirma que o THAMES fornece a primeira ferramenta de consistência de simulação para determinar o número de clusters em modelos de blocos, abordando uma lacuna crítica na seleção de modelos bayesianos para dados de redes. Ao ser invariante à troca de rótulos e computacionalmente eficiente, permite o uso de verossimilhanças marginais para comparação de modelos em cenários onde métodos anteriores eram ou inconsistentes ou intratáveis. A aplicação ao conjunto de dados COP28 demonstra a sua utilidade prática na identificação de estruturas sociais significativas em redes de grande escala e esparsas, oferecendo insights sobre a dinâmica de núcleo-periferia do discurso climático online que métodos alternativos (como o ICL) podem obscurecer através da sobre-segmentação. Os autores observam que, embora o método dependa de distribuições colapsadas, trabalhos futuros poderiam explorar a extensão da estimativa de consistência de simulação para modelos onde tais distribuições não estão disponíveis.

O Problema: A Confusão da "Troca de Rótulos" (Label Switching)

A Solução: THAMES, o Detetive "Truncado"

A Prova: Simulações e Testes do Mundo Real

Por Que Isso Importa

Mais como este