RobustModelMaker: Coupling Bootstrap Stability Selection with Leakage-Safe Nested Cross-Validation for Scientific Machine Learning

Resumo Técnico: ROBUSTMODELMAKER

Definição do Problema
O aprendizado de máquina científico frequentemente opera em um regime de conjuntos de dados de pequeno a médio porte (centenas a dezenas de milhares de amostras) com características de alta dimensão e correlacionadas. Nesse cenário, pipelines padrão de aprendizado de máquina enfrentam dois modos de falha compostos que ameaçam a reprodutibilidade e a validade científica:

1. Instabilidade na Seleção de Características: Métodos de seleção de características de execução única produzem conjuntos de características que variam substancialmente sob pequenas perturbações nos dados de treinamento (ex: reamostragem de bootstrap). Essa instabilidade torna as características selecionadas não confiáveis como achados científicos, pois tentativas de replicação frequentemente resultam em subconjuntos diferentes.
2. Viés Otimista (Vazamento de Dados): Quando os mesmos dados são usados para seleção de características, ajuste de hiperparâmetros e avaliação de desempenho, as estimativas de desempenho resultantes são otimisticamente enviesadas. Esse viés é particularmente severo em regimes de pequenas amostras e alta dimensionalidade, onde o espaço de busca é grande em relação aos dados.

Embora a seleção por estabilidade e a validação cruzada aninhada (nested cross-validation) sejam remédios conhecidos para esses problemas individualmente, eles raramente são acoplados na prática. As ferramentas padrão tratam esses processos como etapas separáveis, falhando em abordar a interação onde a seleção instável infla a variância de uma pontuação já enviesada.

Metodologia
O artigo apresenta o RobustModelMaker, um framework Python projetado para acoplar a seleção por estabilidade via bootstrap com a validação cruzada aninhada estrita. O princípio central de design é que a seleção de estabilidade e a validação cruzada aninhada são conjuntamente necessárias, e não complementos opcionais.

• Pipeline Acoplado: O framework executa a seleção por estabilidade via bootstrap dentro da partição de treinamento de cada dobra (fold) externa de um loop de validação cruzada aninhada.
  • Loop Interno: Para cada conjunto de treinamento externo, uma agregação de bootstrap é realizada. As características são selecionadas com base em sua frequência de seleção através de $B$ reamostragens de bootstrap (usando uma regra de importância mediana).
  • Pré-processamento: Todos os passos de pré-processamento (imputação, escalonamento) e o ajuste de hiperparâmetros (via validação cruzada interna) são ajustados estritamente na partição de treinamento da dobra externa atual.
  • Avaliação: O subconjunto de características resultante e o modelo ajustado são avaliados apenas na partição de teste externa retida. Isso garante que os dados de teste nunca influenciem a seleção de características ou a construção do modelo, eliminando o viés otimista.
• Agnosticismo de Algoritmo: O framework suporta nove algoritmos (incluindo Random Forest, XGBoost, SVM e modelos lineares) em classificação binária, classificação multiclasse e regressão. Ele utiliza uma regra de "importância mediana" para seleção por estabilidade, tornando-o aplicável a qualquer aprendiz base que exponha a importância das características.
• Determinismo e Segurança contra Vazamento: O framework impõe um "contrato de segurança contra vazamento" via estrutura de código, em vez de convenção. Ele garante a reprodutibilidade com precisão de máquina sob uma semente aleatória fixa, com tratamento específico para execução paralela a fim de manter o determinismo.

Principais Contribuições

1. Implementação do Framework: Uma biblioteca de arquivo único, compatível com scikit-learn, que implementa o pipeline acoplado, incluindo um procedimento específico para determinar os pontos de corte de probabilidade visando especificidade em classificação binária.
2. Fronteira Conjunta de Pontuação-Estabilidade: O artigo argumenta que o principal valor do framework não é dominar uma única métrica (seja pontuação preditiva ou estabilidade), mas ocupar uma posição na fronteira conjunta de pontuação-estabilidade que alternativas não conseguem igualar em todos os tipos de tarefas.
3. Validação Abrangente:
   • Suíte de Testes: Uma suíte determinística cobrindo testes unitários, orçamentos de desempenho e verificações de reprodutibilidade.
   • Benchmarking: Um benchmark estatístico em três conjuntos de dados científicos reais (SECOM Manufacturing, Urban Land Cover, Graphene Oxide Bulk) comparando o RobustModelMaker contra uma linha de base de características completas e três seletores alternativos: ANOVA F-test, Recursive Feature Elimination with Cross-Validation (RFECV) e Boruta.
   • Aplicações no Mundo Real: Dois estudos de caso demonstrando o uso prático: descoberta de biomarcadores de câncer de ovário (Ensaio PLCO) e regressão de temperatura crítica de supercondutores (Dados de Supercondutividade UCI).

Resultos

• Desempenho de Benchmark: Em todos os três conjuntos de dados de benchmark, o RobustModelMaker foi estatisticamente indistinguível ("preservado") da linha de base de características completas em termos de desempenho preditivo (AUC ou RMSE), enquanto reduziu significativamente o número de características (redução de 47–62%).
• Superioridade de Estabilidade: Em termos de estabilidade de seleção (medida pela similaridade de Jaccard entre dobras externas), o RobustModelMaker superou consistentemente o RFECV e o Boruta, e foi competitivo ou superior ao ANOVA F-test (que alcançou estabilidade perfeita apenas ao reter conjuntos de características muito pequenos e potencialmente subótimos).
  • SECOM: O RobustModelMaker alcançou a maior estabilidade (J=0.660) entre os métodos que retêm um número substancial de características, enquanto o RFECV e o Boruta foram altamente instáveis (J < 0.28).
  • Urban Land Cover: O RobustModelMaker (J=0.801) selecionou aproximadamente metade das características do Boruta (J=0.895) para uma estabilidade e pontuação comparáveis.
  • Graphene Oxide: Embora os métodos de filtro (ANOVA, RFECV) tenham alcançado RMSEs menores ao explorar estruturas de dados univariadas, o RobustModelMaker manteve alta estabilidade (J=0.899) com um conjunto de características maior e mais reprodutível.
• Insights de Aplicação:
  • No estudo de biomarcadores de câncer de ovário (Ensaio PLCO), o framework identificou um painel estável de 16 biomarcadores (de 42 candidatos) com um ponto de operação específico (98% de especificidade, 30,9% de sensibilidade), demonstrando a capacidade de distinguir entre versões redundantes de ensaios do mesmo biomarcador.
  • No estudo de Supercondutividade, o framework reduziu 81 características para 36 características estáveis. Embora a linha de base de características completas tenha alcançado um RMSE marginalmente menor (~1 K de diferença), o framework relatou explicitamente essa troca, destacando que o subconjunto selecionado por estabilidade é mais robusto para implantação e reajuste futuros.

Significância e Alegações
O artigo afirma que, para o aprendizado de máquina científico onde a reprodutibilidade e a generalização honesta são alvos, o acoplamento da seleção por estabilidade e a validação cruzada aninhada é necessário, não opcional.

• Alegações Modestas sobre Desempenho: Os autores não alegam que o RobustModelMaker produz a maior pontuação preditiva possível em todas as condições. Em vez disso, alegam que ele produz um subconjunto de características e uma estimativa de desempenho que são "individualmente defensáveis e mutuamente consistentes".
• Transparência de Trocas (Trade-offs): O framework torna explícita a troca entre desempenho preditivo e estabilidade de características. Ele relata que modelos selecionados por estabilidade podem ter um desempenho levemente inferior às linhas de base de características completas, mas oferece um conjunto de características que é robusto à reamostragem.
• Utilidade Científica: O framework desloca o paradigma da seleção de características de uma "propriedade emergente" do ajuste do modelo para um "entregável de primeira classe". Ele garante que as características selecionadas não sejam artefatos de uma única divisão de dados, mas sim achados estáveis adequados para interpretação científica subsequente e validação experimental.

O trabalho é posicionado como uma implementação de princípios metodológicos estabelecidos (seleção por estabilidade, CV aninhada) adaptados às restrições específicas de dados científicos, em vez de uma nova contribuição teórica. Ele aborda a "crise de reprodutibilidade" no ML científico de amostras pequenas ao fornecer uma ferramenta que impede que os dois principais modos de falha interajam para invalidar os resultados.