📊 statistics

Interpretable Network-assisted Random Forest+

Este artigo introduz uma família de modelos assistidos por redes interpretáveis construídos sobre uma estrutura de floresta aleatória generalizada que preenche a lacuna entre alta precisão de predição e transparência do modelo ao alavancar dependências de rede, enquanto fornece ferramentas abrangentes para quantificar contribuições de características e de rede.

Autores originais: Tiffany M. Tang, Elizaveta Levina, Ji Zhu

Publicado 2026-09-09

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tiffany M. Tang, Elizaveta Levina, Ji Zhu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da ciência de dados moderna, os computadores são frequentemente ensinados a aprender com exemplos, de forma muito semelhante a um estudante estudando para um exame. Durante décadas, a suposição padrão tem sido a de que cada exemplo é independente, um fato solitário que permanece isolado. Mas no mundo real, as coisas raramente são isoladas. As pessoas estão conectadas por amizades, cidades por estradas e genes por vias biológicas. Essas conexões criam uma teia de influência onde o comportamento de uma pessoa ou a condição de uma cidade pode propagar-se para afetar seus vizinhos. Quando os pontos de dados estão ligados desta forma, tratar cada um como independente cria um ponto cego, perdendo as forças sutis, mas poderosas, que moldam os resultados. O desafio para os cientistas é construir modelos que possam usar essas conexões para fazer previsões melhores sem transformar o modelo em uma caixa preta que ninguém consegue entender. Se um modelo prevê o futuro de um estudante ou a taxa de criminalidade de uma cidade com base em seu círculo social, precisamos saber exatamente o quanto esse círculo importa em comparação com seu histórico pessoal.

Este é o problema abordado por um novo método chamado NeRF+, desenvolvido por pesquisadores da Universidade de Notre Dame e da Universidade de Michigan. Eles buscaram criar uma ferramenta que pudesse aproveitar o poder das conexões de rede para melhorar as previsões, mantendo-se transparente o suficiente para que os humanos pudessem confiar. As abordagens tradicionais frequentemente forçam uma escolha: usar sistemas complexos e altamente precisos que são impossíveis de interpretar, ou usar sistemas simples e compreensíveis que falham em capturar a nuance dos dados conectados. Os pesquisadores preencheram essa lacuna construindo um modelo flexível que combina a força preditiva das árvores de decisão com a clareza das equações lineares. A abordagem deles permite que o computador aprenda com a estrutura dos dados, identificando não apenas quais traços pessoais importam, mas o quanto o ambiente ao redor influencia o resultado.

O cerne do trabalho deles envolve ensinar o computador a reconhecer duas formas distintas pelas quais uma rede pode moldar a realidade. Às vezes, pessoas que estão próximas em uma rede são semelhantes porque compartilham uma qualidade oculta e subjacente, como pertencer ao mesmo grupo social. Outras vezes, elas são semelhantes simplesmente porque estão diretamente conectadas e influenciam umas às outras, como vizinhos que adotam hábitos semelhantes. O novo método pode detectar ambos os padrões. Ele faz isso observando os dados de duas maneiras simultaneamente. Primeiro, mapeia a rede para encontrar agrupamentos ocultos, de forma muito semelhante a classificar pessoas em círculos baseando-se em quem elas conhecem. Segundo, aplica uma regra de suavização que incentiva o modelo a tratar vizinhos conectados como semelhantes, capturando o fluxo direto de influência entre eles. Ao combinar estes com os detalhes individuais de cada pessoa ou lugar, o modelo cria uma previsão que é ao mesmo tempo nítida e adaptável.

Para garantir que esta ferramenta seja útil para a tomada de decisões no mundo real, os pesquisadores a equiparam com um conjunto integrado de lentes para ver como ela funciona. Ao contrário de outros sistemas avançados que exigem ferramentas separadas, muitas vezes pouco confiáveis para explicar suas escolhas, este modelo explica a si mesmo. Ele pode dizer a um pesquisador exatamente o quanto uma característica específica, como a nota de um aluno ou a temperatura de uma cidade, contribuiu para uma previsão. Mais importante ainda, ele pode separar a influência da rede da influência dos traços pessoais. Pode quantificar o quanto de uma previsão veio do fato de uma pessoa estar conectada a outras, e o quanto veio de suas próprias características únicas. Essa capacidade de desvendar a teia do indivíduo é crucial para compreender os verdadeiros impulsionadores de resultados em sistemas complexos.

Os pesquisadores testaram seu método usando dados simulados onde eles conheciam as regras exatas do jogo. Eles criaram cenários onde a rede desempenhava um papel pequeno, um papel grande ou nenhum papel, e onde as relações entre variáveis eram simples ou extremamente complexas. Em todos os casos, o novo método teve um desempenho igual ou superior às técnicas existentes. Quando a rede era um fator forte, o método a utilizou para aumentar significativamente a precisão. Quando a rede era irrelevante, o método simplesmente a ignorou sem perder sua capacidade de previsão. Crucialmente, manteve seu alto desempenho mesmo quando as relações nos dados eram irregulares e imprevisíveis, uma situação em que modelos mais simples costumam falhar. As simulações também mostraram que o método poderia identificar corretamente quais partes da rede estavam impulsionando os resultados, distinguindo entre os agrupamentos ocultos e as conexões diretas.

Para provar que o método funcionava na realidade desordenada do mundo real, a equipe aplicou-o a dois estudos de caso distintos. O primeiro envolveu um grande experimento sobre conflitos escolares, onde pesquisadores tentaram prever o quão amigável um aluno perceberia sua escola ao final do ano. Os dados incluíam os históricos dos alunos e um mapa de suas amizades. O novo modelo previu com sucesso essas percepções, e sua análise interna revelou algo marcante: para algumas escolas, a estrutura social geral era o principal impulsionador, enquanto para outras, eram os grupos de amigos unidos que mais importavam. Em uma escola específica, o modelo identificou um pequeno grupo isolado de alunos do oitavo ano cujas amizades estavam fortemente ligadas a uma visão negativa da escola. Sem a capacidade do modelo de dar zoom nas conexões individuais, esse grupo específico poderia ter sido perdido no ruído médio dos dados.

O segundo estudo de caso observou as taxas de criminalidade em Filadélfia ao longo de quinze anos. Aqui, os dados consistiam em estatísticas mensais de crimes de centenas de bairros, ligados pela sua adjacência física. O objetivo era prever as taxas de criminalidade usando dados meteorológicos e o tempo. Os resultados foram claros: a rede de bairros vizinhos era o fator mais importante, superando em muito o clima ou a época do ano. As ferramentas internas do modelo mostraram que a influência vinha quase inteiramente da conexão direta entre vizinhos, confirmando que as taxas de criminalidade tendem a se suavizar através das fronteiras. O modelo podia inclusive identificar quais bairros específicos estavam impulsionando esses padrões, mostrando um gradiente claro e suave de influência que correspondia aos mapas de criminalidade observados. Tanto nas escolas quanto nas cidades, o método provou que poderia aprender com as conexões sem se confundir com elas.

Os pesquisadores enfatizam que esta ferramenta foi desenhada para situações onde entender o "porquê" é tão importante quanto a própria previsão. Seja um médico tentando entender um diagnóstico, um formulador de políticas avaliando uma intervenção ou um cientista estudando a dinâmica social, a capacidade de visualizar a contribuição da rede é vital. O método não afirma resolver o mistério do comportamento humano ou provar que uma coisa causa outra, mas fornece um mapa claro e honesto de como os dados estão sendo usados. Ele oferece uma maneira de navegar pela complexidade dos dados conectados com confiança, garantindo que os insights obtidos sejam não apenas precisos, mas também transparentes e dignos de confiança. Ao tornar visível a teia invisível de influência, este trabalho abre as portas para decisões mais informadas em um mundo onde tudo está conectado.

Resumo Técnico: NeRF+ (Interpretable Network-assisted Random Forest+)

Definição do Problema
Algoritmos de aprendizado de máquina tipicamente assumem que as amostras de treinamento são independentes. No entanto, em muitas aplicações modernas (ex: redes sociais, dados espaciais), os pontos de dados estão conectados via uma rede, induzindo dependências que reduzem o tamanho efetivo da amostra e introduzem viés. Embora aproveitar essas dependências (coesão de rede) possa melhorar a predição, os métodos existentes enfrentam um compromisso (trade-off):

Redes Neurais de Grafos (GNNs): Oferecem alta precisão de predição, mas são frequentemente "caixas pretas", carecendo de interpretabilidade intrínseca. Ferramentas de explicabilidade post-hoc para GNNs são frequentemente instáveis e suscetíveis a ataques adversários.
Regressão Linear Assistida por Rede (ex: RNC): Altamente interpretável, mas frequentemente carece da flexibilidade para capturar relações não lineares complexas, levando a um desempenho de predição subótimo.
Métodos de Árvore Assistidos por Rede (ex: Network BART, BAMDT): Melhoram a predição, mas carecem de ferramentas de interpretabilidade robustas. Medidas de importância existentes para esses modelos frequentemente sofrem de viés em direção às características de rede devido ao grande número de potenciais divisões de rede, tornando difícil o desentranhamento da importância da rede em relação à importância das características.

Há uma necessidade de um método que equilibre alta precisão de predição com interpretabilidade intrínseca, capaz especificamente de desentrançar a contribuição das conexões de rede daquela das características dos nós.

Metodologia: NeRF+
Os autores propõem o Network-assisted Random Forest Plus (NeRF+), uma família flexível de modelos construída sobre o Random Forest Plus (RF+). O RF+ generaliza as Florestas Aleatórias padrão representando as predições de árvores de decisão através de um modelo linear, combinando características baseadas em árvores não lineares com características lineares.

O NeRF+ incorpora informações de rede através de dois mecanismos complementares:

Características de Embedding de Rede ( $Z$ ): A matriz de covariáveis original $X$ é aumentada com características de embedding de rede $Z$ (ex: embeddings espectrais de Laplaciano) aprendidas puramente a partir da estrutura da rede. Isso captura a coesão no espaço latente.
Penalidade de Coesão de Rede ( $\alpha$ ): O modelo inclui um efeito específico do nó $\alpha$ regularizado por uma penalidade de coesão de rede ( $\alpha^\top L \alpha$ ), onde $L$ é o Laplaciano da rede. Isso incentiva que as predições para nós conectados sejam semelhantes, capturando a suavidade na rede observada.

Formulação do Modelo:
Para uma floresta de $T$ árvores, o NeRF+ prevê a resposta $\hat{y}$ como uma média de conjunto (ensemble average):
$\hat{y} = \frac{1}{T} \sum_{t=1}^T \left( \hat{\alpha}^{(t)} + \tilde{X}\hat{\beta}^{(t)} + \Psi_t(\tilde{X})\hat{\gamma}^{(t)} \right)$
Onde:

$\tilde{X} = [X, Z]$ é a matriz de características aumentada.
$\hat{\alpha}^{(t)}$ representa os efeitos dos nós (coesão de rede).
$\hat{\beta}^{(t)}$ são coeficientes para as características lineares.
$\Psi_t(\tilde{X})$ representa as características de decision stump derivadas das divisões da árvore.
$\hat{\gamma}^{(t)}$ são coeficientes para as características não lineares baseadas em árvores.

Os parâmetros são estimados minimizando uma função de perda (ex: erro quadrático) mais penalidades de regularização (ex: $\ell_2$ em $\beta$ e $\gamma$ , e a penalidade de coesão em $\alpha$ ).

Principais Contribuições: Ferramentas de Interpretabilidade
Uma contribuição primária do artigo é um conjunto de ferramentas de interpretabilidade intrínseca derivadas diretamente dos parâmetros do modelo, evitando a necessidade de aproximações post-hoc instáveis. Essas ferramentas permitem que pesquisadores realizem:

Importância Global de Características:
- Importância por Permutação: Mede a queda na precisão da predição quando os valores das características (ou características de rede) são permutados. Crucialmente, isso permite a quantificação separada da importância da coesção de rede ( $\alpha$ ) versus embeddings de rede ( $Z$ ).
- Importância MDI+: Uma generalização da Mean Decrease in Impurity adaptada para RF+. Mede a similaridade entre a resposta e as predições feitas usando apenas um subconjunto de características (imputando as outras com as médias das colunas), permitindo o desentranhamento das contribuições de rede vs. características.
Importância Local de Características:
- Aproveitando a forma linear do NeRF+, os autores definem escores de importância locais (semelhantes aos valores de Shapley) para amostras individuais. Isso quantifica o quanto uma característica específica ou a rede contribui para a predição de uma amostra específica em relação à média.
Influência da Amostra:
- Os autores derivam estimativas aproximadas de Leave-One-Out (LOO) de forma fechada para os coeficientes do modelo. Isso permite o cálculo de escores de influência de amostra para identificar outliers ou observações influentes sem reajustar o modelo $n$ vezes.

Resultados
O artigo avalia o NeRF+ através de simulações e dois estudos de caso:

Simulações: O NeRF+ atinge consistentemente uma precisão de predição competitiva ou superior (medida por $R^2$ $R^{2}$ ) comparado ao RNC, Network BART, RF+ padrão e regressão linear através de várias formas funcionais (linear, polinomial, esparsa localmente pontiaguda) e tipos de efeito de rede (bloco aditivo, autocorrelação de rede).
- O NeRF+ identifica corretamente características de sinal sobre características de não-sinal.
- Medidas de importância global refletem com precisão a força do efeito de rede e distinguem com sucesso as contribuições da coesão de rede e dos embeddings.
- Escores de influência de amostra identificam eficazmente outliers, classificando-os como as amostras mais influentes conforme a força da perturbação aumenta.
Estudo de Caso 1 (Conflito Escolar): Ao prever percepções de estudantes sobre a amigabilidade escolar, o NeRF+ teve desempenho competitivo com o RNC (o melhor executor em média), mas com maior consistência entre diferentes escolas. As ferramentas de interpretabilidade revelaram que, embora a amigabilidade basal fosse o preditor mais forte, os efeitos de rede variavam por escola: alguns eram impulsionados pela estrutura comunitária (embeddings), enquanto outros eram impulsionados pela coesão entre pares. Escores de importância local identificaram grupos de amigos específicos com fortes influências negativas de pares que não eram óbvios a partir dos dados brutos.
Estudo de Caso 2 (Crime em Filadélfia): Prevendo taxas mensais de crime em setores censitários. NeRF+ e RNC superaram métodos não assistidos por rede. Os resultados indicaram que a coesão de rede era o fator dominante (muito mais importante que covariáveis de clima ou tempo), refletindo a suavidade espacial das taxas de crime. Mapas de importância de rede local coincidem de perto com padrões observados de taxas de crime, destacando a capacidade do modelo de capturar dependências espaciais.

Significância e Alegações
O artigo afirma que o NeRF+ preenche a lacuna entre a flexibilidade do aprendizado profundo/ensembles de árvores e a interpretabilidade de modelos lineares no contexto de dados em rede.

Interpretabilidade Intrínseca: Ao contrário das GNNs, o NeRF+ fornece interpretações baseadas no modelo derivadas diretamente dos parâmetros, evitando a instabilidade de explicadores post-hoc.
Desentranhamento: Ele permite unicamente a quantificação de quanta potência de predição vem da estrutura de rede (coesão vs. embedding) versus as características dos nós.
Aplicabilidade: O método é particularmente valioso para domínios de alto risco (ex: biomédicos, ciências sociais) onde a transparência e a compreensão de como um modelo faz predições são tão críticas quanto a precisão.
Praticidade: Os autores fornecem um pacote R com uma aplicação Shiny para facilitar o uso dessas ferramentas, e demonstram que o NeRF+ pode ser ajustado eficientemente (em menos de 3 minutos para conjuntos de dados até $n=1500$ ), significativamente mais rápido que o Network BART.

Os autores observam modestamente que as interpretações são específicas ao modelo ajustado e não constituem inferência causal, que permanece uma área de pesquisa complexa e separada. Eles sugerem que trabalhos futuros poderiam envolver o aprendizado conjunto de embeddings e o modelo, ou extensões para redes dinâmicas.

Mais como este