Resumo Técnico: Limiarização Consciente de Relevância em Predição Conformal Online para Séries Temporais

Declaração do Problema

Aplicações de aprendizado de máquina em domínios sensíveis (saúde, finanças, etc.) exigem cada vez mais uma quantificação de incerteza robusta. Embora a Predição Conformal (CP) ofereça garantias de cobertura independentes da distribuição, sua formulação clássica baseia-se na suposição de troca de dados (exchangeability), que é frequentemente violada em dados de séries temporais devido a mudanças de distribuição.

Para abordar isso, métodos de Predição Conformal Online (OCP) foram desenvolvidos para atualizar intervalos de predição dinamicamente com base em erros observados. No entanto, os métodos de estado da arte atuais de OCP (como PID e ECI) dependem tipicamente de uma avaliação binária do desempenho da predição: se o valor real (ground truth) está dentro ou fora do intervalo de predição. Essa abordagem binária descarta informações valiosas sobre a magnitude do erro quando o valor real está fora do intervalo, ou o grau de segurança quando está dentro. Consequentemente, esses métodos podem produzir intervalos de predição excessivamente conservadores (largos) ou sofrer ajustes abruptos de limiar, levando a saídas pouco informativas.

Metodologia

O artigo propõe um framework de Limiarização Consciente de Relevância que substitui o indicador binário de erro por uma função contínua que quantifica a "relevância" de um intervalo de predição.

Conceito Central

Em vez de usar a função indicadora $1\{Y_t \notin \hat{C}_t\}$, os autores introduzem uma família de funções customizáveis, $f_{\omega, v, \mu_t}(s_t - q_t)$, que mapeiam a distância entre o valor real ($Y_t$) e os limites de predição para um valor em $[0, 1]$.

• Entrada: A quantidade $s_t - q_t$, onde $s_t$ é o escore de não conformidade (distância da predição para o valor real) e $q_t$ é o limiar atual.
• Comportamento:
  • Se o valor real estiver muito fora do intervalo ($s_t - q_t \gg 0$), a função se aproxima de 1, sinalizando a necessidade de aumentar significativamente o limiar para o próximo passo.
  • Se o valor real estiver muito dentro do intervalo ($s_t - q_t \ll 0$), a função se aproxima de 0, sinalizando que o limiar pode ser diminuído para estreitar o intervalo.
  • Se o valor real estiver próximo à fronteira, a função transita suavemente em torno do nível de subcobertura alvo $\alpha$.

Design da Função

A família de funções proposta é definida como:
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
onde:

• $\sigma$ é a função sigmoide.
• $\mu_t$ é um fator de escala dinâmica (média dos erros absolutos recentes) que garante a independência de escala.
• $\omega$ e $v$ são parâmetros que permitem aos Tomadores de Decisão (DMs) ajustar a forma da função (ex: criando patamares para intervalos de erro específicos) com base na expertise do domínio.

Integração em OCP

Os autores integram essas funções em dois algoritmos proeminentes de OCP:

1. PID (Proporcional-Integral-Derivativo): O indicador binário na regra de atualização é substituído pela função de relevância em várias configurações (substituição total, apenas saturação ou apenas termo de erro).
2. ECI (Inferência de Correção de Erro): O termo de suavização envolvendo o gradiente de uma função é modificado para usar o gradiente da proposta função de relevância.

A análise teórica (Teoremas 1–3) demonstra que, sob condições específicas relativas às funções de saturação e taxas de aprendizado, essas atualizações modificadas preservam a garantia de cobertura de longo prazo (validade).

Principais Contribuições

1. Framework Consciente de Relevância: Introdução de uma abordagem geral para aproveitar a distância entre o valor real e os limites de predição, indo além do rastreamento de erro binário em OCP.
2. Família de Funções Customizáveis: Um conjunto de funções parametrizadas que permitem aos DMs moldar o mecanismo de penalidade/recompensa para erros de predição, acomodando restrições e preferências específicas do domínio.
3. Melhorias Algorítmicas: Modificação de métodos de estado da arte de OCP (PID e ECI) para incorporar essas funções, com provas teóricas garantindo que a validade (cobertura) seja mantida.
4. Validação Empírica: Demonstração de que os métodos modificados alcançam intervalos de predição mais estreitos (melhor eficiência) enquanto mantêm ou melhoram a validade de cobertura em comparação aos métodos originais.

Resultados Experimentais

Os autores avaliaram os métodos PID e ECI modificados em conjuntos de dados do mundo real: preços das ações da Amazon, Google e Microsoft, e dados de temperatura de Delhi.

• Resultados PID: No conjunto de dados da Amazon, o PID modificado reduziu a largura média do intervalo de 32,42 para 29,36 (regressor AR) mantendo 90% de cobertura. Nos dados das ações do Google, o PID modificado reduziu significativamente a largura média (ex: de 43,75 para 3 de 34,96 para AR) mantendo a cobertura.
• Resultados ECI: O método ECI original teve dificuldades para atingir a cobertura alvo de 90% na configuração experimental dos autores (alcançando ~78-83%). O ECI modificado alcançou com sucesso a cobertura de 90% em todos os conjuntos de dados. Embora o ECI modificado tenha produzido intervalos ligeiramente mais largos que o ECI original em alguns casos, os intervalos mais estreitos do método original foram considerados não confiáveis devido à subcobertura. Em comparação direta com os resultados relatados no artigo original do ECI, o método modificado mostrou desempenho competitivo ou superior, particularmente no conjunto de dados de temperatura, onde superou o original em todas as métricas.
• Estabilidade: O uso de funções de relevância resultou em ajustes de limiar mais suaves, evitando as mudanças abruptas frequentemente vistas em métodos de atualização binária.

Significância e Alegações

O artigo alega que, ao mudar de uma visão de erro binário para uma visão baseada em relevância, os métodos de OCP podem produzir intervalos de predição mais informativos (mais estreitos) sem sacrificar o requisito crítico de validade de cobertura. Isso é particularmente significativo para aplicações de séries temporais onde mudanças de distribuição são comuns e os tomadores de decisão requerem uma quantificação de incerteza robusta.

Os autores enfatizam que este trabalho contribui para o desenvolvimento de IA confiável para aplicações sensíveis. Eles observam que a abordagem permite a incorporação das preferências do Tomador de Decisão através da parametrização das funções de relevância, preenchendo a lacuna entre garantias estatísticas e necessidades práticas de tomada de decisão. O artigo conclui modestamente, sugerindo que trabalhos futuros devem focar na otimização de hiperparâmetros e na investigação adicional do impacto do parâmetro de escala $\mu_t$.