Trustworthy Prediction with Gaussian Process Knowledge Scores

Título: Predição Confiável com Pontuações de Conhecimento de Processos Gaussianos

1. Problema e Motivação

Modelos probabilísticos, como os usados em regressão, são frequentemente empregados para fazer previsões em regiões do espaço de dados onde não há observações disponíveis. No entanto, existe uma lacuna crítica: nem sempre é claro se essas previsões são bem fundamentadas pelos dados previamente vistos.

• O Desafio: Métricas tradicionais de precisão (em conjuntos de treino ou teste) não abordam a confiabilidade preditiva em relação à localização de uma entrada específica no espaço de dados.
• Cenários Críticos:
  • Extrapolação: A confiança do modelo decai à medida que se afasta dos dados de treino.
  • Detecção de Anomalias: Um modelo pode classificar erroneamente um ponto como anômalo ou normal simplesmente porque está em uma região onde o modelo não tem conhecimento (fora da distribuição).
  • Interpolação de Dados Faltantes: É difícil determinar o limite de tamanho de um segmento de dados faltantes que ainda pode ser interpolado com segurança.
• Necessidade: Há uma demanda crescente por modelos de aprendizado de máquina que reconheçam os limites de seu próprio conhecimento e possam se recusar a prever quando a informação é insuficiente (opção de rejeição).

2. Metodologia: A Pontuação de Conhecimento (Knowledge Score)

Os autores propõem uma nova métrica chamada Pontuação de Conhecimento ($G$), derivada da quantificação de incerteza em Processos Gaussianos (GP).

• Definição Formal: A pontuação mede a extensão em que a observação do conjunto de dados de treino ($D$) reduziu a variância da previsão de uma função $F(x)$ em uma nova localização $x$. É definida como a redução de variância normalizada:
  $$G(x, D) = \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$$
  Onde:

  • $\text{Var}(F(x)|x)$ é a variância a priori (antes de ver os dados).
  • $\text{Var}(F(x)|x, D)$ é a variância a posteriori (condicionada aos dados).

• Interpretação e Propriedades:

  • Intervalo: Para modelos Gaussianos, $G$ é naturalmente limitado entre 0 e 1.
  • $G \approx 0$: Indica que o modelo não tem conhecimento; a distribuição a priori e a posteriori são quase idênticas (alta incerteza, previsão não informada).
  • $G \approx 1$: Indica que a observação dos dados reduziu drasticamente a incerteza (previsão altamente informada e confiável).
  • Independência: A métrica não depende da distribuição de entrada $p(x)$ nem da observação da saída $y^*$, sendo invariante à normalização da variável de saída.
  • Cálculo: Em Regressão por Processos Gaussianos (GPR), a fórmula é computacionalmente eficiente e baseada na função de kernel $k$:
    $$G(x, D) = \frac{k(x)^\top (K + \sigma^2 I)^{-1} k(x)}{k(0, 0)}$$

3. Contribuições Principais

1. Conceito de Pontuação de Conhecimento: Introdução de uma métrica interpretável e bounded (0-1) para quantificar o quão "informada" uma previsão é pelos dados de treino.
2. Abordagem de Duas Etapas para Detecção de Anomalias: Proposta de um esquema onde a pontuação de conhecimento atua como um filtro inicial. Se $G(x, D) < \rho$ (abaixo de um limiar), o ponto é classificado como "desconhecido" e não é submetido à detecção de anomalias, evitando falsos positivos em regiões de baixa confiança.
3. Critério para Interpolação e Extrapolação: Uso da pontuação para determinar quando a incerteza se torna grande demais para que uma previsão (seja interpolação ou extrapolação) seja útil, oferecendo um critério principled para rejeitar previsões em dados faltantes longos ou futuros distantes.

4. Resultados Experimentais

Os autores validaram a metodologia em três cenários distintos:

• A. Detecção de Anomalias (Dados Sintéticos):

  • Em uma região onde o modelo não foi treinado ($x > 1$), a variância preditiva cresceu rapidamente e a pontuação de conhecimento caiu.
  • Ao aplicar o filtro de duas etapas (rejeitando pontos com $G < \rho$), a curva ROC (Receiver Operating Characteristic) mostrou uma melhoria significativa na precisão da detecção de anomalias nos pontos restantes, eliminando falsos positivos causados pela falta de conhecimento do modelo.

• B. Extrapolação (Dados de Carga Elétrica):

  • Utilizando dados reais de consumo de energia, um modelo GPR foi treinado e usado para prever dias futuros.
  • À medida que a distância temporal dos dados de treino aumentava, a pontuação de conhecimento diminuiu gradualmente, refletindo a transição da distribuição a posteriori de volta para a a priori.
  • A métrica forneceu um limite claro para determinar quando as previsões se tornaram muito vagas para serem úteis, evitando extrapolações enganosas.

• C. Interpolação de Dados Faltantes (Frequência Cardíaca Fetal - CTG):

  • Em registros de cardiotocografia com segmentos de dados faltantes, a pontuação de conhecimento mostrou uma queda clara conforme o comprimento do segmento faltante aumentava.
  • Isso permite estabelecer um limiar objetivo: segmentos curtos (alta pontuação) podem ser interpolados com segurança, enquanto segmentos longos (baixa pontuação) devem ser evitados para não introduzir distorções nas análises subsequentes.

5. Significado e Conclusão

O trabalho oferece uma ferramenta fundamental para o Aprendizado de Máquina Confiável (Trustworthy ML).

• Interpretabilidade: Diferente de intervalos de confiança arbitrários, a pontuação de conhecimento tem uma interpretação física direta (redução de variância).
• Segurança Operacional: Permite que sistemas automatizados "saibam o que não sabem", recusando-se a tomar decisões críticas em regiões onde os dados de treino são insuficientes.
• Aplicabilidade: A abordagem é geral para modelos probabilísticos, mas demonstrada aqui especificamente para GPR, com potencial para ser adaptada a outros contextos.

Em resumo, a pontuação de conhecimento transforma a incerteza do modelo de um subproduto estatístico em uma métrica de decisão ativa, melhorando a robustez em tarefas de detecção de anomalias, previsão temporal e recuperação de dados.