path_boost: A Python Package for Interpretable Graph-Level Prediction using Path-Based Gradient Boosting

Resumo Técnico do "path boost: Um Pacote Python para Predição de Nível de Grafo Interpretável usando Gradient Boosting Baseado em Caminhos"

Problema
Dados estruturados em grafos são onipresentes em domínios científicos como a química molecular e a ciência dos materiais. Embora as Redes Neurais de Grafos (GNNs) tenham se tornado o paradigma dominante para o aprendizado de dados de grafos, elas sofrem de limitações significativas: são geralmente difíceis de interpretar e frequentemente exigem grandes conjuntos de dados para generalizar de forma eficaz. Por outro lado, métodos clássicos de kernel de grafos combinados com máquinas de vetores de suporte oferecem melhor interpretabilidade, mas dependem de representações de características fixas que não se adaptam durante o aprendizado, limitando seu desempenho em tarefas complexas. Há uma necessidade de um método que combine o poder preditivo do aprendizado adaptativo com a interpretabilidade necessária para a descoberta científica, especificamente para tarefas de predição de nível de grafo (regressão e classificação binária).

Metodologia
O artigo apresenta o PathBoost, um algoritmo de gradient boosting projetado para descobrir automaticamente caminhos rotulados preditivos dentro de grafos. A metodologia central envolve a construção de um espaço de características a partir de dados estruturados em grafos, selecionando e estendendo caminhos iterativamente com base em seu poder preditivo, em vez de enumerar todos os caminhos possíveis exaustivamente.

• Características Baseadas em Caminhos: O algoritmo opera sobre "caminhos rotulados", definidos como sequências ordenadas de valores de atributos de âncoras (ex: números atômicos em grafos moleculares) correspondentes a caminhadas através do grafo.
• Procedimento de Boosting: O algoritmo minimiza uma função de perda (erro quadrático para regressão, entropia cruzada binária para classificação) através de um processo iterativo:
  1. Inicialização: Uma Matriz de Boosting (BM) é inicializada com caminhos de nó único correspondentes a rótulos de âncora.
  2. Seleção de Caminho: Um "modelo seletor" simples (padrão: decision stump) opera na BM (apenas contagens de frequência) para identificar o caminho rotulado mais informativo.
  3. Construção de Características: Uma Matriz de Boosting Estendida (EBM) é construída para o caminho selecionado e seus prefixos. A EBM inclui não apenas contagens de ocorrência, mas também médias de atributos numéricos de nós e arestas (ex: massa atômica, ordem de ligação).
  4. Ajuste do Modelo Base: Um modelo base (padrão: regressor de árvore de decisão) é ajustado na EBM para prever pseudo-resíduos.
  5. Expansão Preguiçosa (Lazy Expansion): Quando um caminho é selecionado pela primeira vez, a BM é expandida com todas as extensões de um passo daquele caminho encontradas nos dados de treinamento. Isso evita a explosão combinatória de pré-enumerar todos os caminhos.
• Arquitetura: O pacote oferece duas classes principais: SequentialPathBoost para um único rótulo de âncora e PathBoost, que treina submodelos independentes para múltiplos rótulos de âncora em paralelo e agrega suas predições.
• Interpretabilidade: O modelo produz uma predição aditiva sobre características baseadas em caminhos. Ele inclui um framework de importância de variáveis com dois critérios:
  • Importância Absoluta: A soma das melhorias de erro quando um caminho é selecionado.
  • Importância Relativa: Mede o quanto um caminho selecionado é melhor do que a melhor alternativa disponível naquela iteração, identificando subestruturas insubstituíveis.
  • Ajuste de Correlação: Um mecanismo opcional para contabilizar dependências estruturais entre caminhos aninhados (prefixos).

Principais Contribuições
A principal contribuição deste trabalho é o lançamento do path boost, um pacote Python de código aberto que implementa o algoritmo PathBoost. As principais características do pacote incluem:

• Compatibilidade com Scikit-learn: O pacote adere às convenções do scikit-learn (implementando fit(), predict(), get_params(), set_params()), permitindo a integração contínua com ferramentas como GridSearchCV para ajuste de hiperparâmetros.
• Flexibilidade: Suporta tanto regressão quanto classificação binária, modelos base customizados e seletores customizados via uma interface duck-typed.
• Recursos Avançados: Inclui seleção automática de nó âncora, treinamento paralelo entre rótulos de âncora e computação de importância de variável integrada com ajustes de correlação.
• Detalhes de Implementação: Os grafos são manipulados via biblioteca networkx. O pacote suporta grafos direcionados e não direcionados e lida adequadamente com dados de caminho ausentes (NaNs) para diferentes modelos base.

Resultados
Os autores testaram o PathBoost contra duas linhas de base estabelecidas — Graph Isomorphism Network com características de aresta (GINE) e Weisfeiler–Leman com kernel de grafo e Support Vector Regression (WL + SVR) — em seis conjuntos de dados de regressão molecular (ESOL, FreeSolv, QM9 e três alvos de tmQMg).

• Desempenho: O PathBoost alcançou o melhor desempenho em cinco das seis tarefas. Ele superou significativamente ambas as linhas de base nos pequenos conjuntos de dados orgânicos (ESOL e FreeSolv), sugerindo que características baseadas em caminhos são eficazes quando os dados de treinamento são limitados. No grande e homogêneo conjunto de dados QM9, o GINE obteve o melhor desempenho, consistente com os pontos fortes conhecidos das GNNs nesses contextos. O PathBoost destacou-se nos conjuntos de dados de complexos de metais de transição (tmQMg), particularmente para predição de polarizabilidade e energia HOMO.
• Eficiência: O PathBoost demonstrou um compromisso favorável entre velocidade e precisão. Foi substancialmente mais rápido que o GINE (que depende de GPU para velocidade ideal, mas rodou em CPU aqui) enquanto geralmente superou a linha de base WL + SVR em precisão preditiva.
• Interpretabilidade: A análise de importância de variáveis identificou com sucesso caminhos rotulados específicos (ex: sequências de números atômicos) que impulsionam as predições, fornecendo insights sobre os determinantes estruturais das propriedades moleculares.

Significância
O artigo posiciona o path boost como uma solução prática para o problema da "caixa preta" no aprendizado de grafos. Embora trabalhos anteriores tenham introduzido o framework teórico de boosting baseado em caminhos, eles careciam de uma implementação de uso geral e fácil de usar. Este pacote preenche essa lacuna ao fornecer uma ferramenta robusta e de código aberto que permite aos pesquisadores aproveitar o gradient boosting para dados de grafos sem sacrificar a interpretabilidade. Os autores enfatizam que, em aplicações científicas como a química computacional, entender por que uma predição é feita é tão crítico quanto a própria predição. Ao decompor as predições em contribuições de subestruturas específicas (caminhos), o pacote permite que os usuários identifiquem as características químicas ou estruturais que impulsionam o comportamento do modelo, facilitando a descoberta científica e a geração de hipóteses. O pacote está disponível no PyPI e no GitHub sob uma licença de código aberto.