Resumo Técnico: QUEST para Quantificação de Incerteza via Regiões de Densidade Máxima

1. Definição do Problema

A quantificação de incerteza (UQ) é crítica para uma tomada de decisão confiável em aprendizado de máquina probabilístico voltado para a segurança. Embora medidas baseadas em entropia sejam o padrão para classificação, a UQ de regressão tem dependido amplamente de Regras de Pontuação Adequadas (Proper Scoring Rules - PSRs), que operacionalizam a incerteza como o risco preditivo pontual de um modelo em relação à distribuição verdadeira.

Os autores identificam uma falha fundamental nas abordagens baseadas em PSR (como variância e entropia diferencial) quando a estatística alvo não é a esperança condicional (média). Em muitos cenários práticos — como aprendizado por reforço ou modelagem Bayesiana — o alvo é a moda condicional (Máxima Verossimilhança a Posteriori, ou MAP). Na presença de assimetria, multimodalidade ou outliers, a média e a moda podem divergir significamente. Medidas padrão como a variância frequentemente superestimam a incerteza nesses casos porque são sensíveis à massa das caudas, em vez da concentração de probabilidade em torno da moda. Além disso, os frameworks axiomáticos existentes para UQ de regressão muitas vezes falham em satisfazer propriedades intuitivas como monotonicidade sob dispersão distributiva ou invariância a deslocamentos de localização quando aplicados a distribuições não Gaussianas ou assimétricas.

2. Metodologia: O Framework QUEST

O artigo introduz o QUEST (Quantifying Uncertainty via highest dEnSiTy regions), um framework que caracteriza a incerteza pelo volume do subconjunto mais provável do suporte de uma distribuição, em vez de pelo risco pontual.

Conceitos Centrais

• Regiões de Densidade Máxima (Highest Density Regions - HDRs): Para uma função de densidade de probabilidade (PDF) $p$ e um parâmetro de robustez $\alpha \in (0,1)$, a $(1-\alpha)$-HDR ($C_\alpha$) é o menor conjunto contendo $1-\alpha$ da massa de probabilidade. É definida como $C_\alpha = \{x : p(x) \ge t_\alpha(p)\}$, onde $t_\alpha$ é o limiar que garante a restrição de massa.
• $\alpha$-Volume (Medida Local): Definido como $V_\alpha(p) := \lambda(C_\alpha)$, onde $\lambda$ é a medida de Lebesgue. Isso mede o "tamanho" da região contendo a maior parte da massa de probabilidade. Volumes pequenos indicam alta concentração (baixa incerteza); volumes grandes indicam dispersão (alta incerteza).
• Volume Integrado (Medida Global): Definido como $IV(p) = \int_0^1 V_\alpha(p) d\alpha$. Isso resume toda a curva de cobertura, fornecendo uma avaliação global de concentração. Os autores estabelecem uma equivalência geométrica entre a curva de cobertura e a curva de Lorenz da economia, e entre o volume integrado e o coeficiente de Gini.

Tipologia de Incerteza no QUEST

O framework define três tipos de incerteza com base em uma segunda ordem de distribuição $q$ (representando crenças sobre os parâmetros $\theta$) e a distribuição verdadeira de base $p_{\theta^*}$:

1. Incerteza Aleatória (Aleatoric Uncertainty - AU): Quantificada pelo volume da HDR da distribuição verdadeira $p_{\theta^*}$. Isso captura a incerteza irredutível inerente ao processo gerador de dados.
   • Local: $V_\alpha(p_{\theta^*})$
   • Global: $IV(p_{\theta^*})$
2. Incerteza Epistêmica (Epistemic Uncertainty - EU): Quantificada pelo volume da HDR da distribuição de segunda ordem $q$. Diferente das abordagens padrão que tratam a EU como um resíduo (Total - Aleatória), o QUEST trata a EU como uma medida puramente subjetiva da concentração de crença do agente, independente da verdade.
   • Local: $V_\alpha(q)$
   • Global: $IV(q)$
3. Incerteza Total (Total Uncertainty - TU): Definida via uma interação entre AU e EU. Como AU e EU existem em espaços diferentes, elas não são simplesmente somadas. Em vez disso, a TU é modelada como o volume da AU escalonado por um fator de penalidade derivado da divergência entre a densidade condicional verdadeira e a densidade condicional preditiva dentro de suas respectivas HDRs.
   • Fórmula: $TU = V_\alpha(p_{\theta^*}) \cdot g_f(D_f(p^*_\alpha || \hat{p}_\alpha))$
   • Aqui, $D_f$ é uma $f$-divergência admissível (ex: Variação Total) e $g_f$ é uma função estritamente crescente que penaliza o desalinhamento entre a crença do agente e a verdade.

3. Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Conceitual: Propõe uma interpretação centrada em volume para a incerteza baseada na concentração de densidade e um parâmetro de robustez $\alpha$ fornecido pelo usuário, oferecendo uma alternativa às medidas de risco baseadas em PSRs.
2. Metodológica: Introduz novas medidas locais ($\alpha$-volume) e globais (volume integrado) para incerteza aleatória e epistêmica. Estabelece conexões teóricas entre essas medidas e estatísticas clássicas da teoria da informação (entropia diferencial) e da economia (curvas de Lorenz, coeficientes de Gini).
3. Teórica: Demonstra que as medidas QUEST para AU e EU satisfazem um conjunto de axiomas adaptados da literatura de UQ (A0–A5). Estes incluem não-negatividade, minimização em massas de Dirac, monotonicidade sob "nivelamento" (dispersão distributiva) e invariância a deslocamentos de localização. Notavelmente, o artigo argumenta que a Incerteza Total (TU) não deve satisfazer o axioma de monotonicidade (A4) em todos os casos, pois uma melhor calibração (redução da TU) pode ocorrer mesmo se a incerteza epistêmica aumentar.
4. Empírica: Valida o framework através de benchmarks de predição seletiva. Os resultados mostram que o QUEST (particularmente a medida global) supera a variância e a entropia diferencial em cenários de assimetria e multimodalidade, levando a classificações mais precisas de confiabilidade de predição.

4. Resultados Experimentais

Os autores avaliaram o QUEST contra variância, entropia diferencial e baselines aleatórios usando deep mixture-of-experts ensembles em três processos geradores de dados (DGPs) sintéticos:

• Gaussiano Unimodal: Todos os métodos performaram de forma semelhante, como esperado.
• Assimétrico Unimodal: A variância e a entropia tiveram dificuldades devido à sensibilidade à massa das caudas. O QUEST forneceu classificações de incerteza mais confiáveis.
• Mistura Bimodal: Medidas padrão frequentemente classificam incorretamente a incerteza em cenários multimodais. O QUEST superou significativamente a variância e a entropia, identificando corretamente regiões de alta concentração de densidade.

Em tarefas de predição seletiva (onde as predições são feitas apenas em amostras mais certas), o QUEST (global) alcançou menor perda em todos os testes comparado aos concorrentes. Um experimento suplementar de aprendizado ativo mostrou o QUEST performando em nível de paridade com a variância e a entropia, embora os autores notem que o desempenho do QUEST é sensível à qualidade da estimativa do modelo para a densidade verdadeira em cenários sem oráculo.

5. Significância e Alegações

O artigo afirma que o QUEST aborda patologias específicas das UQs baseadas em PSRs, particularmente quando o alvo é a moda em vez da média. Ao mudar o foco do risco pontual para a concentração de medida, o QUEST fornece uma caracterização mais intuitiva e robusta da incerteza para distribuições não Gaussianas, assimétricas ou multimodais.

Os autores enfatizam que sua abordagem:

• Evita os resultados contraintuitivos das medidas baseadas em variância na presença de outliers ou assimetria.
• Oferece uma fundação axiomática sólida para AU e EU que respeita a geometria das densidades de probabilidade.
• Oferece um framework flexível onde o parâmetro de robustez $\alpha$ permite que usuários controlem a sensibilidade às flutuações das caudas.

O artigo conclui de forma modesta, reconhecendo limitações como a suposição de continuidade absoluta em relação à medida de Lebesgue e o custo computacional de estimar HDRs em altas dimensões. Sugere trabalhos futuros para estender o framework para inferência estatística e lidar com distribuições com átomos ou suportes de dimensão inferior.