A Reproducible Log-Driven AutoML Framework for Interpretable Pipeline Optimization in Healthcare Risk Prediction

Resumo Técnico: Um Framework AutoML Orientado a Logs Reprodutível para Otimização de Pipelines Interpretáveis em Predição de Risco de Saúde

Declaração do Problema
A predição precisa e reprodutível de risco de doenças na área da saúde é prejudicada por características heterogêneas, tamanhos de amostra limitados e desequilíbrio de classes severo. Embora o Aprendizado de Máquina Automatizado (AutoML) tenha surgido para reduzir o esforço manual, os frameworks existentes (por exemplo, Auto-sklearn, TPOT, AutoGluon) focam predominantemente na seleção de modelos e no ajuste de hiperparâmetros. Eles frequentemente tratam etapas de pré-processamento — como seleção de características, normalização e aumento de dados — como componentes fixos ou levemente otimizados. Consequentemente, as interações complexas entre estratégias de pré-processamento e algoritmos de aprendizado permanecem pouco exploradas, particularmente em conjuntos de dados clínicos pequenos e desequilibrados. Além disso, a natureza estocástica de muitos processos de busca do AutoML limita a interpretabilidade, a reprodutibilidade e a capacidade de analisar sistematicamente o comportamento do pipeline.

Metodologia: O Framework yvsoucom-iterkit
Os autores propõem o yvsoucom-iterkit, um framework AutoML determinístico e orientado a logs que redefine a otimização de pipeline como um sistema totalmente reprodutível em nível de configuração. Diferentemente de métodos de busca estocástica, este framework emprega enumeração determinística para explorar um espaço de busca combinatório unificado ($\mathcal{P}$) definido pelo produto cartesiano de dez componentes configuráveis:

1. Estratégia de seleção de características ($F$) e contagem ($K$)
2. Método de normalização ($N$) e ordem ($O$)
3. Método de aumento de dados ($A$)
4. Método de tratamento de desequilíbrio ($B$)
5. Modelo de classificação ($M$)
6. Proporção de divisão treino/teste ($S$)
7. Limiar de decisão ($T$)
8. Semente aleatória ($R$)

Características Arquiteturais Chave:

• Execução Orientada a Logs: Cada configuração de pipeline é codificada como uma entidade de log rastreável. O sistema gera logs estruturados para todos os detalhes experimentais, incluindo configurações, etapas de pré-processamento, parâmetros do modelo, saídas intermediárias e métricas de avaliação. Isso garante rastreabilidade completa da configuração ao resultado.
• Enumeração Determinística: O framework pré-enuncia todas as ramificações de pipeline válidas, permitindo uma exploração sistemática e exaustiva (ou controlada) do espaço de busca sem dependência de busca heurística ou probabilística.
• Análise Multi-Nível: O framework suporta uma abordagem analítica hierárquica:
  • Nível de Ramificação: Análise de distribuições de métricas globais e agrupamento.
  • Nível de Pipeline: Identificação de configurações de melhor desempenho.
  • Nível de Componente: Agregação de estatísticas de desempenho (média, variância) para valores individuais de componentes para isolar seus efeitos.
  • Interação entre Componentes Cruzados: Análise de distribuições conjuntas para revelar dependências entre componentes.
  • Robustez: Avaliação da estabilidade através de múltiplas sementes aleatórias usando testes não paramétricos (Friedman, Wilcoxon) e Escores de Rank Normalizados de Robustez (NRRS).
• Análise de Similaridade: Uma análise de diferença de Raiz-Média-Quadrática (RMS) em nível de valor quantifica a redundância funcional entre diferentes valores de componentes (por exemplo, comparando "MixUp" vs. "Sem Aumento").

Configuração Experimental
O framework foi avaliado em dois conjuntos de dados representativos de saúde:

1. Diabetes dos Índios Pima: Um conjunto de dados em pequena escala, moderadamente desequilibrado, com características puramente numéricas.
2. Conjunto de Dados de Acidente Vascular Cerebral (AVC) em Saúde: Um conjunto de dados mais complexo com características numéricas e categóricas mistas e desequilíbrio de classes severo.

Os experimentos envolveram a execução de 18.720 configurações de pipeline (agrupadas em 3.120 coleções de ramificação de dados) através de múltiplas sementes aleatórias para avaliar desempenho e robustez.

Principais Resultados

• Espaço de Busca Estruturado e Redundante: A avaliação revelou que o espaço de busca do AutoML é altamente estruturado e parcialmente redundante. Muitas configurações distintas produzem desempenho quase equivalente, sugerindo uma mapeamento muitos-para-um onde a dimensionalidade efetiva é significativamente menor do que o espaço combinatório.
• Importância dos Componentes:
  • No conjunto de dados Pima, o desempenho é impulsionado principalmente pelo Aumento de Dados (importância do Random Forest: 0,454 para Macro-F1), seguido pela Escolha do Modelo (0,198) e Tratamento de Desequilíbrio (0,101).
  • No conjunto de dados AVC, o Tratamento de Desequilíbrio domina (0,406), seguido pela Ordem de Normalização e Escolha do Modelo.
• Similaridade e Redundância de Componentes:
  • Variantes de seleção de características (biMax vs. biMean) mostraram baixa distância RMS (0,0252), indicando intercambiabilidade.
  • O aumento MixUp correspondeu estreitamente a "Sem Aumento" (RMS 0,0279), enquanto o ruído Gaussiano mostrou maior divergência (0,10).
  • Links de Tomek para tratamento de desequilíbrio alinharam-se estreitamente com "Sem Tratamento de Desequilíbrio" (RMS 0,0325).
• Compromisso entre Desempenho e Robustez:
  • Modelos de ensemble (Random Forest, XGBoost, Gradient Boosting) alcançaram o melhor equilíbrio entre precisão e estabilidade. No Pima, atingiram um Macro-F1 de ~0,88 com baixa variabilidade ($\sigma \approx 0,023–0,026$).
  • SVM alcançou alto desempenho de pico (Macro-F1 $\approx 0,689$ no Pima), mas exibiu a maior variabilidade ($\sigma \approx 0,029$), indicando sensibilidade a perturbações estocásticas.
  • Desafios do Conjunto de Dados AVC: Embora o Weighted-F1 fosse alto (0,94), o Macro-F1 permaneceu baixo (0,67) devido ao desequilíbrio de classes severo, destacando a dificuldade de predição da classe minoritária neste domínio.

Significado e Alegações
O artigo alega que o yvsoucom-iterkit desloca o AutoML de um problema de otimização de "caixa preta" para um processo experimental transparente e analisável. Ao tratar configurações de pipeline como entidades determinísticas e rastreáveis por logs, o framework permite:

1. Exploração Sistemática: Cobertura exaustiva do espaço de interação entre pré-processamento e modelagem, que é frequentemente negligenciado em AutoML centrado no modelo.
2. Interpretabilidade: A capacidade de decompor os drivers de desempenho em componentes específicos (por exemplo, identificar que a estratégia de aumento é mais crítica do que a contagem de seleção de características no conjunto de dados Pima).
3. Avaliação de Robustez: Ir além da otimização de execução única para uma avaliação fundamentada estatisticamente que conta com a variação estocástica, revelando que modelos de alto desempenho podem carecer de estabilidade.
4. Redução do Espaço de Busca: A identificação de redundância funcional permite a poda do espaço de busca, orientando esforços futuros de AutoML a focar em componentes de alto impacto (escolha do modelo, tratamento de desequilíbrio) em vez do ajuste exaustivo de todos os parâmetros.

Os autores concluem que a otimização eficaz do AutoML na área da saúde deve focar em um conjunto reduzido de componentes interagentes, aproveitando métodos de ensemble para estabilidade e priorizando estratégias de tratamento de desequilíbrio para conjuntos de dados com viés de classe severo. O framework fornece uma base para otimização de pipeline reprodutível e consciente da estrutura que une a prática empírica com considerações teóricas sobre o compromisso viés-variância.