Full-range Binary Classifier Calibration for Stable Model Updates in Production

Resumo Técnico: Calibração de Classificador Binário de Faixa Total para Atualizações Estáveis de Modelos em Produção

Definição do Problema
Modelos de detecção implantados em ambientes adversários (ex: cibersegurança) enfrentam uma distribuição maliciosa que deriva rapidamente, enquanto a distribuição benigna permanece relativamente estável. Para combater ameaças em evolução, as equipes devem retreinar e implantar modelos frequentemente. No entanto, o retreinamento altera os escores de predição brutos, quebrando sistemas downstream que dependem de limiares (thresholds) específicos de escore. Métodos padrão de calibração de probabilidade (ex: escala de Platt, regressão isotônica) mapeiam escores para probabilidades de classe, que flutuam com a taxa da classe positiva. Em contextos de segurança, o requisito crítico é um Falso Positivo (FPR - False Positive Rate) consistente em todos os valores de saída, independentemente da classe positiva desconhecida ou variável. Métodos existentes falham em fornecer um "contrato de FPR" estável em toda a faixa de escores, particularmente quando a classe positiva é difícil de rotular ou enumerar.

Metodologia
Os autores propõem um método que calibra os escores brutos do modelo diretamente para o FPR usando apenas amostras benignas. A abordagem constrói um pipeline de dois estágios usando primitivas padrão do sklearn (MinMaxScaler e IsotonicRegression), não exigindo código de inferência customizado.

1. Mapeamento de FPR para Escore Reescalado (Tempo de Ajuste/Fit):

   • Os escores benignos são ordenados, e rótulos de FPR baseados em ranking são atribuídos usando a regra de posição de plotagem de Filliben (uma correção baseada na mediana) para reduzir o viés na estimativa de FPR de amostras recentes para limiares selecionados por ranking.
   • Uma regressão isotônica (decrescente) é ajustada para mapear esses rótulos de FPR para escores reescalados. Este spline temporário interpola limiares ausentes em uma grade de FPR em escala logarítmica.

2. Contrato de Saída de Escala Logarítmica Fixa:

   • Um mapeamento fixo é definido no espaço $\log_{10}(\text{FPR})$. Escores calibrados específicos são ancorados a FPRs específicos (ex: 0,5 $\to$ 0,1% de FPR, 0,7 $\to$ 0,01% de FPR, 0,85 $\to$ 0,001% de FPR). Isso garante que um valor de escore específico carregue o mesmo significado operacional (ex: "1 em cada 1.000 benignos sinalizados") através de diferentes versões do modelo.

3. Mapeamento de Escore Reescalado para Escore Calibrado (Artefato Enviado/Shipped):

   • Uma grade de nós (knot grid) sintética é gerada consultando o primeiro spline e o contrato de escala logarítmica fixa.
   • Uma segunda regressão isotônica (crescente) é ajustada sobre esses pares gerados para criar o mapeamento final de escores brutos (reescalados) para a saída calibrada.
   • Extrapolação: Para FPRs abaixo do piso da amostra observada, o método utiliza extrapolação linear a partir dos dois pontos mais baixos observados, limitada para manter a monotonicidade e a faixa de saída [0, 0,99].

4. Otimização do Artefato:

   • Para garantir a estabilidade de implantação independentemente do tamanho do conjunto de calibração, o método subsampla a grade de nós para um tamanho fixo (ex: 10.000 nós). Isso resulta em um artefato serializado (usando joblib) que permanece abaixo de 200 KB, mesmo quando treinado em milhões de amostras benignas.

Principais Contribuições

1. Mapeamento de FPR de Curva Completa: Um spline linear não paramétrico e monotônico que mapeia escores para FPR em toda a curva, em vez de apenas em um ponto operacional.
2. Contrato de Escala Logarítmica Fixa: Um mapa linear por partes no espaço $\log_{10}(\text{FPR})$ que fixa os escores calibrados a níveis de raridade específicos, proporcionando interpretabilidade uniforme para operadores.
3. Artefato Implantável de Tamanho Fixo: Um artefato de calibração com subamostragem de nós que é independente do tamanho do conjunto de treinamento, garantindo tempos consistentes de armazenamento e carregamento.
4. Extrapolação Segura: Um mecanismo para extrapolação abaixo do piso que mantém a monotonicidade e saídas limitadas.
5. Calibração Específica por Versão de Lançamento: Um fluxo de trabalho onde cada lançamento de modelo é calibrado independentemente para o mesmo contrato de FPR-para-escore fixo, permitindo que sistemas downstream mantenham limiares estáveis através de atualizações.

Resultos
O método foi avaliado no benchmark Credit Card Fraud Detection (OpenML).

• Acurácia: Em um subconjunto de teste (held-out), o erro relativo de FPR observado foi de no máximo 2,3% para FPRs variando de 10% até 0,1%. Para o alvo de 0,01% de FPR, o erro relativo foi de 7,2%.
• Validade Estatística: O erro de 7,2% em 0,01% de FPR corresponde a um FPR observado de 0,0093% (13 positivos em 139.315 amostras benignas), o que está dentro do intervalo de confiança exato de 95% de Clopper–Pearson (0,0050%–0,0160%).
• Eficiência: O artefato do pipeline serializado permaneceu abaixo de 200 KB em conjuntos de calibração variando de 1.000 a 10 milhões de amostras benignas.
• Independência do Detector: O contrato de calibração mantém-se tanto para detectores lineares (regressão logística) quanto não lineares (árvores de boosting), embora o detector linear tenha sido necessário para exercitar todo o alcance de ancoragem sem saturação.

Significância e Alegações
O artigo afirma que este método resolve o problema da instabilidade de modelos em produção ao desacoplar o significado operacional de um escore da versão específica do modelo. Ao calibrar exclusivamente em dados benignos para um contrato de FPR fixo, o método garante que:

• Limiares downstream (ex: bloquear em 0,1% de FPR, alertar em 1%) permaneçam válidos através dos ciclos de retreinamento.
• A calibração seja robusta à incerteza na contagem da classe positiva, pois depende da grande e bem caracterizada distribuição benigna.
• A solução seja prática para produção, oferecendo um artefato compacto baseado em bibliotecas padrão que não requer código de inferência customizado.

Os autores enfatizam que, embora o método melhore a precisão dos rótulos via correções de posição de plotagem (Filliben), a principal fonte de erro em baixos níveis de FPR continua sendo a incerteza de amostra finita, que só pode ser mitigada aumentando o tamanho do conjunto de calibração benigno, e não por meio de um ajuste de spline mais complexo.