Recipes for Calibration Checks in Safety-Critical Applications

1. Declaração do Problema

Sistemas críticos para a segurança (por exemplo, veículos autônomos, monitores médicos, previsores meteorológicos) dependem de previsores probabilísticos que geram distribuições de probabilidade completas, em vez de estimativas pontuais. Embora esses sistemas devam ser validados para garantir que suas estimativas de incerteza sejam confiáveis, as práticas atuais de validação apresentam limitações significativas:

• Foco na Precisão: Muitas avaliações verificam apenas a precisão média das previsões, ignorando as propriedades distribucionais (variância, forma) que são cruciais para a tomada de decisões sob incerteza.
• Pontuações Contínuas vs. Decisões: Métricas padrão de calibração (por exemplo, Erro de Calibração Esperado, CRPS, diagramas de confiabilidade) produzem pontuações contínuas. Estas exigem interpretação humana e definição arbitrária de limites, o que é inadequado para certificação formal de segurança, onde é necessária uma veredito binário Aprovar/Reprovar com uma taxa de rejeição falsa controlada.
• Estruturas Rígidas: A literatura existente trata aspectos diferentes da calibração (modelos de dados, métricas, tipos de hipóteses, procedimentos de teste) de forma isolada. Não há um quadro unificado que permita aos engenheiros trocar componentes (por exemplo, mudar de testes offline para online) sem rederivar toda a metodologia.
• Assimetria de Segurança: Testes padrão frequentemente tratam a superconfiança (intervalos muito estreitos) e a subconfiança (intervalos muito largos) de forma simétrica. Em contextos críticos para a segurança, a superconfiança é perigosa, enquanto o conservadorismo é frequentemente aceitável.
• O Problema do "N-Grande": À medida que os tamanhos das amostras crescem, testes de hipóteses padrão rejeitam modelos por desvios infinitesimais, mesmo que esses desvios sejam operacionalmente irrelevantes.

2. Metodologia: O Quadro de Quatro Slots

O autor propõe um quadro modular que decompõe a verificação de calibração em quatro "slots" independentes e intercambiáveis. Uma "receita" específica é formada pela seleção de uma opção de cada slot.

Slot 1: Modelo e Dados

Define a forma da previsão e das observações.

• Opções: Univariado/Multivariado, Paramétrico (Gaussiano) vs. Não paramétrico (Nuvens de partículas, conjuntos conformais).
• Adaptação: Para modelos não paramétricos (como filtros de partículas) onde uma FCD (Função de Distribuição Acumulada) não está disponível, o quadro utiliza projeções de semiplano (abordagem sliced-Wasserstein) para reduzir problemas multivariados a verificações de cobertura unidimensionais.

Slot 2: Métrica

Quantifica a discrepância entre previsões e resultados.

• Cobertura: Verifica se a fração de resultados que caem dentro de um intervalo de previsão corresponde ao nível nominal (por exemplo, 95% dos resultados no intervalo de 95%).
• PIT (Transformada Integral de Probabilidade): Transforma resultados em variáveis uniformes ($U_i = \text{FCD}(\hat{p}, y_i)$). Sob calibração perfeita, $U_i \sim \mathcal{U}(0,1)$.
• PIT Dobrado: Para focar na dispersão (variância) em vez do viés, o artigo introduz o dobramento: $V_i = |2U_i - 1|$. Isso mapeia a curva de cobertura diretamente para a FCD empírica de $V_i$.
• Poder Estatístico: O quadro defende o uso do teste de Kolmogorov-Smirnov (KS) no PIT dobrado em detrimento de testes Binomiais por nível com correção de Bonferroni. O teste KS explora a estrutura de correlação exata (ponte de Browniano) entre os níveis, recuperando o poder estatístico perdido pelas correções conservadoras de Bonferroni.

Slot 3: Formulação da Hipótese

Define o que constitui uma calibração "aceitável".

• Testes Unilaterais: Em vez de rejeitar tanto a supercobertura quanto a subcobertura, o quadro permite hipóteses unilaterais que rejeitam apenas a superconfiança (intervalos estreitos) enquanto aceitam o conservadorismo (intervalos largos).
• Faixas de Tolerância: Para abordar o problema do "N-Grande", o quadro introduz testes de equivalência. Ele define um orçamento de tolerância ($\epsilon_{tol}$), aceitando modelos cuja cobertura real esteja dentro de uma pequena margem especificada por engenheiros do nível nominal. Isso evita a rejeição de modelos praticamente adequados devido a ruído estatístico em grandes conjuntos de dados.

Slot 4: Procedimento de Teste

Produz a decisão final.

• Offline (Valores-p): Utiliza valores-p padrão para conjuntos de validação fixos (por exemplo, Bonferroni ou KS).
• Online (Valores-e): Para monitoramento sequencial, o quadro utiliza valores-e (martingalas de teste). Valores-e permitem testes "válidos a qualquer momento": o teste pode ser interrompido a qualquer instante, e o erro do Tipo I permanece controlado. Isso é crítico para monitoramento de segurança em tempo de execução onde os dados chegam continuamente.

3. Contribuições Principais

1. Gramática Modular: Um quadro unificado que organiza o teste de calibração em quatro slots independentes, permitindo a criação de diversas "receitas" adaptadas a restrições de segurança específicas sem rederivar a teoria.
2. Refinamentos Críticos para a Segurança:
   • Introdução de testes unilaterais que distinguem entre superconfiança perigosa e conservadorismo benigno.
   • Integração de faixas de tolerância para permitir miscalibração operacionalmente aceitável, resolvendo o problema de rejeição assintótica.
3. Tomada de Decisão Operacional: Muda o paradigma de pontuação contínua (exigindo definição de limites por humanos) para decisões rigorosas de Aprovar/Reprovar com taxas de falso-positivo controladas, adequadas para casos de segurança.
4. Eficiência Estatística: Demonstra que o teste KS Dobrado no PIT é estatisticamente mais poderoso do que testes Binomiais por nível com correção de Bonferroni, pois modela corretamente a correlação entre os níveis de cobertura.
5. Monitoramento Válido a Qualquer Momento: Integra valores-e para permitir monitoramento contínuo e sequencial de calibração para sistemas implantados.

4. Resultados Experimentais

O quadro foi validado em dois problemas distintos críticos para a segurança, demonstrando a flexibilidade do mecanismo de troca de slots:

• Caso 1: Previsão de Temperatura Meteorológica (Offline, Paramétrico)
  • Receita: Modelo Gaussiano univariado + Métrica PIT dobrada + Hipótese bilateral/unilateral + Valor-p KS offline.
  • Resultado: O modelo mostrou um leve viés na média (detectado pelo KS bilateral), mas estava bem calibrado em relação à largura da incerteza (passou no KS dobrado unilateral com tolerância). Isso ilustra como hipóteses diferentes respondem a diferentes questões operacionais.
• Caso 2: Localização de Robô (Online, Não Paramétrico)
  • Receita: Filtro de Partículas (não paramétrico) + Métrica de cobertura de semiplano + Hipótese unilateral + Monitor de Valor-e online.
  • Resultado: O sistema detectou com sucesso "deriva" (incompatibilidade do modelo) em tempo real. À medida que a magnitude da deriva não modelada aumentava, o monitor de valor-e cruzava o limite de rejeição mais cedo e com mais frequência, demonstrando sensibilidade à degradação do modelo sem exigir um tamanho de amostra fixo.

Estudos de Ablação: Experimentos no apêndice confirmaram que trocar um único slot (por exemplo, alterar a métrica ou o procedimento de teste) no mesmo conjunto de dados produz decisões operacionalmente distintas, validando a modularidade do quadro.

5. Significado

Este artigo fornece uma ponte crítica entre a calibração estatística teórica e a certificação prática de segurança na engenharia.

• Para Praticantes: Oferece um "livro de receitas" para construir pipelines de validação que são rigorosos, interpretáveis e adaptáveis a requisitos de segurança específicos (por exemplo, "podemos tolerar 2% de subcobertura, mas não supercobertura").
• Para Casos de Segurança: Move a calibração de um "diagnóstico" (uma pontuação para observar) para um "certificado" (um aprovação/reprovação binária com uma taxa de erro conhecida), que é um pré-requisito para implantar IA em sistemas autônomos.
• Unificação Teórica: Resolve a fragmentação entre aprendizado de máquina (cobertura), verificação de previsões (PIT) e análise sequencial (valores-e), mostrando que são diferentes visões da mesma estrutura probabilística subjacente.

Em resumo, o trabalho de Valentin fornece as ferramentas estatísticas necessárias para garantir que sistemas de IA probabilísticos não apenas "pareçam bons" em média, mas sejam rigorosamente certificados como seguros sob incerteza.