Federated Rule Ensemble Method in Medical Data

Título: Método de Ensemble de Regras Federado em Dados Médicos

Autores: Ke Wan, Kensuke Tanioka, Toshio Shimokawa.
Instituições: Universidade Médica de Wakayama e Universidade Doshisha (Japão).

---

1. Problema e Motivação

O aprendizado de máquina (ML) tornou-se fundamental na pesquisa médica e no suporte à decisão clínica. No entanto, seu desempenho depende de grandes conjuntos de dados diversos, que frequentemente estão fragmentados entre diferentes instituições devido a restrições de privacidade, regulamentações (como GDPR/HIPAA) e questões de propriedade de dados.

• Limitação Atual: A aprendizagem federada (FL) permite treinar modelos colaborativamente sem compartilhar dados brutos. Contudo, a maioria dos métodos de FL existentes baseia-se em arquiteturas complexas (como Redes Neurais Profundas) que atuam como "caixas pretas", carecendo de interpretabilidade.
• Necessidade Clínica: Em ambientes clínicos, a transparência e a interpretabilidade do modelo são essenciais para a tomada de decisão informada. Métodos baseados em regras são preferidos, mas sua extensão para ambientes federados é desafiadora devido à inconsistência nas definições de regras entre clientes com distribuições de dados heterogêneas.

2. Metodologia Proposta: Federated RuleFit

Os autores propõem um novo framework de três etapas para construir um modelo RuleFit (que combina termos lineares e regras baseadas em árvores) em um ambiente federado, garantindo privacidade e interpretabilidade.

O modelo global é definido como:
$$F(x) = \beta_0 + \sum_{k=1}^{K} \beta_k r_k(x) + \sum_{j=1}^{p} \beta^*_j l_j(x_j)$$
Onde $r_k(x)$ são termos de regras e $l_j(x_j)$ são termos lineares.

O framework opera em três etapas principais:

Etapa 1: Pré-processamento com Histogramas Diferencialmente Privados (DP-Histograms)

• Objetivo: Estimar valores de corte (cutoffs) globais compartilhados para cada covariável sem expor dados brutos. Isso reduz a heterogeneidade nas definições de regras entre os clientes.
• Mecanismo:
  1. Cada cliente constrói um histograma local de suas covariáveis.
  2. Ruído de Laplace é adicionado aos contagens do histograma para garantir Privacidade Diferencial ($\epsilon$-DP).
  3. O servidor agrega os histogramas ruidosos para aproximar a distribuição global e derivar quantis compartilhados.
  4. Esses quantis formam o conjunto de candidatos de corte ($C_j$) usados em todas as etapas subsequentes.

Etapa 2: Geração de Regras Descentralizada

• Cada cliente treina independentemente um modelo GBDT (Gradient Boosting Decision Trees) usando seus dados locais.
• Restrição Crucial: Os pontos de divisão (split points) das árvores são restritos ao conjunto de candidatos de corte compartilhado ($C$) definido na Etapa 1.
• As regras extraídas das árvores locais são enviadas ao servidor, agregadas e duplicatas removidas para formar um conjunto global de regras candidatas ($R^*$). Isso garante consistência estrutural entre os clientes.

Etapa 3: Ensemble de Regras via Otimização Federada

• O objetivo é estimar os coeficientes ($\beta$) das regras e termos lineares resolvendo um problema de otimização regularizada por $\ell_1$ (LASSO) em ambiente federado.
• Algoritmo: Utiliza-se o algoritmo Federated Dual Averaging (FedDA).
  • O servidor mantém variáveis duais globais.
  • Os clientes realizam atualizações locais baseadas em suas variáveis duais e retornam as diferenças acumuladas.
  • Isso permite a seleção de variáveis esparsa e consistente globalmente sem compartilhar dados ou gradientes brutos diretamente.

3. Contribuições Chave

1. Primeira Aplicação de RuleFit em FL: Adaptação do framework RuleFit (geralmente centralizado) para um cenário federado, preservando a interpretabilidade inerente baseada em regras.
2. Consistência de Regras via DP: Introdução de um pré-processamento com histogramas diferencialmente privados para alinhar os pontos de corte entre instituições heterogêneas, evitando a explosão combinatória de regras.
3. Otimização Federada para LASSO: Adaptação do algoritmo FedDA para estimar coeficientes esparsos em um modelo de ensemble de regras, garantindo que a seleção de variáveis seja coerente em toda a rede.
4. Interpretabilidade Clínica: O modelo final fornece regras explícitas (ex: "Idade < 57 e GCS >= 5") que podem ser diretamente interpretadas por médicos, ao contrário de redes neurais.

4. Resultados

Estudos de Simulação

O método foi comparado com:

• RuleFit Centralizado (Benchmark ideal).
• RuleFit Local (Sem colaboração).
• Inferência Federada Bayesiana (BFI).
• Random Forest Federado (FRF).

Desempenho:

• Precisão: O método proposto alcançou desempenho preditivo comparável ao RuleFit centralizado em todos os cenários (linear e não linear), superando consistentemente o FRF e o BFI (este último falhou em cenários não lineares).
• Robustez: O método manteve alta performance mesmo com:
  • Aumento no número de clientes (fragmentação de dados).
  • Desequilíbrio no tamanho da amostra entre clientes.
  • Desequilíbrio na prevalência do desfecho (outcome imbalance).
• O RuleFit local apresentou degradação severa de performance em cenários com dados limitados ou desbalanceados.

Aplicação em Dados Reais (Trauma)

• Dataset: Dados de 371 pacientes de três instituições (hospitais periféricos e centro acadêmico) com desfecho binário (mortalidade).
• Resultados:
  • O modelo identificou regras clinicamente significativas (ex: baixa Escala de Coma de Glasgow [GCS] e alto Injury Severity Score [ISS] associados a maior risco de morte).
  • O desempenho preditivo (AUC) foi competitivo e ligeiramente superior ao BFI.
  • A importância das variáveis (GCS, Idade, ISS) foi consistente com o conhecimento médico, demonstrando a capacidade do modelo de capturar interações clínicas relevantes.

5. Significado e Conclusão

O trabalho demonstra que é possível superar o dilema entre desempenho preditivo e interpretabilidade em ambientes de aprendizado federado.

• Impacto Clínico: Oferece uma solução prática para instituições médicas colaborarem na construção de modelos preditivos robustos sem violar a privacidade dos pacientes, gerando regras de decisão claras e acionáveis.
• Limitações: O estudo foca em desfechos binários (limitando-se a classificações) e em aprendizado federado horizontal. Extensões para desfechos contínuos, de sobrevivência e cenários verticais são sugeridas para trabalhos futuros.

Em suma, o Federated RuleFit proposto é uma ferramenta eficaz para modelagem médica distribuída, equilibrando rigor estatístico, privacidade de dados e transparência clínica.