Gradient Boosted Risk Scores

Resumo Técnico: Pontuações de Risco por Gradiente Boosting (GBRS)

Definição do Problema
Pontuações de risco são uma classe de modelos de aprendizado de máquina interpretáveis amplamente utilizados na medicina, seguros e gestão de riscos. Diferente de algoritmos complexos de "caixa-preta", as pontuações de risco são projetadas para serem computadas manualmente por humanos, atribuindo pontos a amostras de dados com base em um conjunto limitado de critérios. Os métodos atuais para gerar essas pontuações dependem tipicamente de regressões lineares, logísticas ou de Cox. Essas abordagens enfrentam duas limitações primárias:

1. Restrições do Modelo: Elas são limitadas pelas suposições dos modelos de regressão subjacentes, que podem não se sustentar na prática.
2. Perda de Informação: Para criar pontuações baseadas em pontos interpretáveis, os coeficientes de regressão contínuos devem ser agrupados (discretizados) como uma etapa de pós-processamento. Esse agrupamento introduz perda de informação e reduz a precisão preditiva.
   Embora frameworks como o AutoScore tentem automatizar esse processo, eles ainda dependem da conversão de variáveis contínuas em categóricas antes da regressão, mantendo o problema da perda de informação. Além disso, métodos existentes baseados em regras (ex: RuleFit) ou modelos aditivos (ex: Explainable Boosting Machines) frequentemente geram regras a partir de árvores profundas ou exigem avaliação computacional de funções de forma, carecendo da transparência direta de um modelo simples de soma de pontos.

Metodologia
Os autores propõem o Gradient Boosted Risk Scores (GBRS), um método que modela diretamente pontuações de risco como um conjunto de regras de decisão aditivas usando um procedimento de gradient boosting.

• Arquitetura Central: O GBRS constrói um modelo aditivo $F(x_i) = \beta_0 + \sum_{k=1}^K s_k(x_{jk})$, onde cada termo $s_k$ é uma função de pontuação univariada e constante por partes aplicada a uma única covariável.
• Aprendizes Base (Base Learners): Ao contrário do gradient boosting padrão que utiliza árvores de profundidades variadas, o GBRS restringe todos os aprendizes base a decision stumps (divisões de limiar único).
• Otimização: O algoritmo agrega sequencialmente esses stumps para minimizar uma função de perda específica da tarefa (erro quadrático para regressão, log-verossimilhança para classificação binária e perda de ranking pareado para análise de sobrevivência) sem pós-processamento.
  • Para resultados binários, os valores das folhas são computados via um passo de Newton correspondente a uma atualização de regressão logística de duas folhas.
  • Para análise de sobrevivência, o método otimiza uma perda de ranking pareado sobre pares de eventos comparáveis.
• Agregação: Como os decision stumps carecem de dependências hierárquicas, condições de divisão idênticas podem ser selecionadas através de múltiplas iterações de boosting. O GBRS as agrega somando seus coeficientes, resultando em um conjunto compacto e esparso de regras baseadas em limiares.
• Interpretabilidade: A saída final é uma tabela de pontuação transparente. Os pontos representam contribuições aditivas em escalas específicas: escala de identidade para resultados contínuos, log-odds para resultados binários e log-risco (ou log-hazard) para resultados de tempo para o evento.
• Implementação: Os autores fornecem uma implementação eficiente em C++ com bindings para Python e R. O método utiliza um conjunto mínimo de hiperparâmetros (número de iterações, taxa de aprendizado e número de limiares) e não requer o ajuste de coeficientes de regularização, pois a restrição no número de bins atua como um regularizador natural.

Principais Contribuições

1. Primeira Abordagem de Gradient Boosting para Pontuações Baseadas em Pontos: Tanto quanto os autores saibam, o GBRS é o primeiro método de gradient boosting explicitamente projetado para produzir pontuações de risco computáveis por humanos.
2. Modelagem Direta: Ao contrário do AutoScore, o GBRS não exige a conversão de variáveis contínuas em categóricas antes da regressão; ele aprende a função de pontuação diretamente.
3. Compactação e Transparência: O método produz modelos que são significativamente mais compactos do que as alternativas baseadas em regressão, mantendo o desempenho preditivo.
4. Lançamento de Software: Os autores disponibilizam uma biblioteca em C++ com bindings para Python e R, permitindo a geração de pontuações com código mínimo.

Resultados
O método foi avaliado em 12 conjuntos de dados tabulares abrangendo tarefas de regressão, classificação binária e tempo para o evento (sobrevivência), incluindo dados do UK Biobank.

• Desempenho Preditivo: O GBRS alcançou um desempenho competitivo em comparação ao XGBoost (um método de caixa-preta de última geração) e à regressão tradicional. Embora o XGBoost tenha geralmente performado melhor em objetivos contínuos, o GBRS apresentou um desempenho similar em tarefas binárias e de tempo para o evento. Em vários casos de classificação binária e um de sobrevivência, o GBRS performou estatisticamente melhor que o AutoScore.
• Compactação do Modelo: O GBRS produziu pontuações substancialmente mais compactas. Em média, exigiu 60% menos regras para tarefas de classificação e 16% menos regras para tarefas de tempo para o evento em comparação ao AutoScore, dado o mesmo número de limiares iniciais.
• Interpretabilidade: O estudo demonstrou que os coeficientes do GBRS podem ser interpretados diretamente. Por exemplo, em um modelo de risco de insuficiência cardíaca, a pontuação indicou que o tabagismo aumentou a razão de risco por um fator de $\approx 3$ ($e^{1.1}$), e um LVEF < 50% aumentou o risco em mais de seis vezes. Essas relações foram capturadas via limiares rígidos em vez de interpolação linear, alinhando-se com marcadores clínicos.

Significância e Alegações
O artigo afirma que o GBRS oferece um equilíbrio favorável entre precisão preditiva e transparência. É particularmente adequado para domínios de alto risco (ex: tomada de decisão clínica) onde os outputs do modelo devem ser auditáveis e compreensíveis por humanos.

• Transparência vs. Flexibilidade: Os autores reconhecem que o GBRS não pode modelar interações entre variáveis e pode ter um desempenho inferior em datasets com relações aproximadamente lineares onde a discretização grosseira é prejudicial. No entanto, argumentam que estas são escolhas de design deliberadas que priorizam a estabilidade e a interpretabilidade sobre a flexibilidade preditiva máxima.
• Utilidade Prática: A capacidade de expressar previsões como pontuações compactas baseadas em pontos permite que os tomadores de decisão estimem visualmente o impacto de variáveis de entrada variáveis e estratifiquem pacientes sem depender de ferramentas computacionais complexas.
• Limitações: Os autores observam que as pontuações de risco não devem ser extrapoladas muito além da distribuição de treinamento e que a seleção de variáveis é crítica devido à incapacidade de modelar interações.

Em resumo, o GBRS fornece um método para gerar pontuações de risco interpretáveis e computáveis por humanos que capturam relações não lineares sem a perda de informação associada ao agrupamento tradicional baseado em regressão, oferecendo uma alternativa prática aos modelos de caixa-preta em cenários onde a transparência é primordial.