Resumo Técnico: GEM-FI: Misturas Evidenciais com Portões e Modulação de Fisher

Declaração do Problema

A estimativa confiável de incerteza preditiva é crítica para aplicações de segurança crítica onde os modelos operam fora de sua distribuição de treinamento. Embora Redes Neurais Bayesianas (BNNs) e ensembles profundos ofereçam quantificação de incerteza principista, eles frequentemente incorrem em custos proibitivos de treinamento ou inferência devido à necessidade de múltiplas passagens forward. Aprendizado Evidencial Profundo (EDL) fornece uma alternativa de passagem única ao prever parâmetros Dirichlet para representar "evidência". No entanto, modelos EDL padrão frequentemente permanecem excessivamente confiantes sob deslocamentos de distribuição, falham em representar incerteza epistêmica multi-modal perto de fronteiras de decisão complexas e carecem de calibração robusta.

Variantes sensíveis à densidade existentes, como Aprendizado Evidencial Profundo Sensível à Densidade (DAEDL), tentam reescalar saídas evidenciais usando verossimilhanças offline no espaço de características (por exemplo, Análise Discriminante Gaussiana). Embora isso melhore a calibração, cria um desacoplamento onde o sinal de densidade é estático e não é otimizado conjuntamente com o mecanismo evidencial. Isso leva à fragilidade quando as representações de características se desviam e falha em abordar a multi-modalidade epistêmica, frequentemente causando o colapso do modelo em alocações excessivamente confiantes perto de fronteiras complexas. Além disso, métodos baseados em energia, que frequentemente produzem melhor separabilidade Fora da Distribuição (OOD), são tipicamente aplicados post-hoc e não intervêm durante a produção de confiança evidencial.

Metodologia

Os autores introduzem GEM (Misturas Evidenciais com Portões), uma família de modelos de passagem única que integra uma noção dependente de dados de "suporte" de representação diretamente no mecanismo evidencial. O framework consiste em três componentes progressivos:

1. GEM-CORE: Aprendizado Evidencial de Energia para Portão

GEM-CORE substitui substitutos de densidade estáticos por um sinal de energia aprendível, dentro do modelo.

• Energia no Nível de Características: Um Perceptron Multicamadas (MLP) leve, $E_\psi$, aprende uma energia escalar $E(x)$ a partir das características de base $z$. Maior energia corresponde a menor suporte no nível de representação (anti-correlacionado com a densidade de características).
• Portão de Integração Limitado: A energia é mapeada através de uma sigmoide para um escalar intermediário $\hat{s}(x)$. Isso é concatenado com características $z$ e alimentado em uma rede de "portão de integração" $G_\eta$. Esta rede produz portões por classe $s(x) \in [s_{min}, s_{max}]^C$.
• Portagem no Espaço de Probabilidade: Os portões $s(x)$ são aplicados multiplicativamente à média preditiva $p(x)$ no espaço de probabilidade, seguidos por renormalização. Crucialmente, a rede aprende um mapeamento inverso: maior energia (menor suporte) resulta em portões menores, suprimindo evidência para entradas OOD ou atípicas.
• Escala de Densidade: Um escalador de densidade leve suplementar $\rho(z)$, derivado de um Modelo de Mistura Gaussiana (GMM) pré-ajustado, atua como um "guarda-chuva" de segurança rígido para suprimir evidência em regiões de densidade extremamente baixa, enquanto o portão aprendido lida com modulação de granularidade fina.

2. GEM-MIX: Mistura de Crenças (Passagem Única)

Para capturar estrutura epistêmica multi-modal sem ensembles de múltiplas passagens, GEM-MIX estende GEM-CORE com $K$ cabeças evidenciais compartilhando uma base comum.

• Roteamento Aprendido: Uma rede roteadora $h_\omega$ toma características e o sinal de energia para produzir pesos de mistura $\pi(x) = \text{softmax}(h_\omega([z, \hat{s}(x)]))$.
• Média Preditiva de Mistura: A previsão final é uma média ponderada das médias preditivas das $K$ cabeças. Isso permite que o modelo represente incerteza através de múltiplos modos perto de fronteiras de decisão complexas.

3. GEM-FI: Regularização Informada por Fisher

GEM-FI estabiliza as alocações de mistura para prevenir "colapso de cabeça" (onde o roteador atribui todo o peso a uma única cabeça) e garante incerteza de fronteira mais suave.

• Proxy de Fisher: Um proxy leve para sensibilidade de Fisher, $\tilde{FI}_k(x)$, é computado como a norma $L_2$ ao quadrado do gradiente da log-verossimilhança em relação aos logits para cada cabeça.
• Regularização FI: Um termo de perda $L_{FI}$ penaliza alocações onde cabeças frequentemente selecionadas são altamente sensíveis (instáveis).
• Modulação Baseada em FI: Durante o treinamento, os pesos de mistura são reponderados para aumentar o peso de cabeças com menor sensibilidade de Fisher (previsões mais estáveis). Esta modulação é aplicada apenas durante o treinamento; a inferência usa a saída bruta do roteador.
• Perdas Auxiliares: O framework inclui um termo baseado em energia (encorajando alta energia para amostras negativas sintéticas via Síntese de Outliers Virtuais, VOS) e um termo de decomposição de incerteza (perda contrastiva para minimizar entropia para Dentro da Distribuição (ID) e maximizá-la para OOD).

Contribuições Principais

1. Portagem Aprendível Dentro do Modelo: Os autores propõem aprender uma energia no nível de características e mapeá-la para um portão limitado que modula diretamente a evidência Dirichlet. Isso reduz a confiança excessiva para características atípicas enquanto preserva previsões ID confiantes, substituindo substitutos de densidade estáticos e desacoplados.
2. Epistêmicas Multi-Modais de Passagem Única: Eles introduzem uma mistura leve de cabeças evidenciais com pesos de roteamento aprendidos, capturando estrutura epistêmica multi-modal sem o custo computacional de ensembles ou múltiplas passagens forward.
3. Estabilização Informada por Fisher: Um regularizador e esquema de modulação FI-informados são adicionados para estabilizar alocações de mistura, prevenindo colapso de cabeça e produzindo incerteza de fronteira mais suave.
4. Validação Empírica: O artigo demonstra melhorias na calibração e separação ID/OOD em benchmarks padrão de classificação de imagens e detecção OOD, fornecendo estudos de ablação que isolam os papéis do portão de energia, tamanho da mistura e regularização FI.

Resultados Experimentais

Os autores avaliaram GEM em MNIST, CIFAR-10 e vários pares OOD (SVHN, CIFAR-100, KMNIST, FMNIST).

• Calibração e Precisão: No CIFAR-10, GEM-FI melhorou a precisão de teste de 91,11% (DAEDL) para 93,75%. Reduziu significativamente a pontuação Brier (de 14,27 para 6,81) e melhorou a AUPR de detecção de classificação errônea (de 99,08 para 99,94).
• Detecção OOD: GEM-FI alcançou desempenho state-of-the-art em várias configurações.
  • CIFAR-10 $\to$ SVHN: A AUPR epistêmica melhorou de 85,54% (DAEDL) para 92,59%.
  • CIFAR-10 $\to$ CIFAR-100: A AUPR epistêmica melhorou de 88,19% (DAEDL) para 90,20%.
  • O modelo consistentemente superou EDL, DAEDL e outras bases recentes (por exemplo, Re-EDL, I-EDL) tanto na pontuação de incerteza aleatória quanto epistêmica.
• Estudos de Ablação: Os autores confirmaram que a combinação de normalização espectral (SN), o módulo portão de energia (CORE), a mistura (MIX) e a regularização/modulação FI (FI-Reg, FI-Mod) é necessária para desempenho ótimo. Especificamente, componentes baseados em FI foram encontrados mais eficazes quando emparelhados com o mecanismo baseado em energia e decomposição de incerteza, em vez de operar como módulos independentes.

Significado e Alegações

O artigo alega que GEM-FI integra com sucesso um sinal de suporte aprendível diretamente no mecanismo evidencial, abordando as limitações de métodos sensíveis à densidade estáticos e os custos computacionais de ensembles. Ao aprender um sinal de confiança informado por distância e estabilizar misturas de múltiplas cabeças via informação de Fisher, o modelo alcança:

• Calibração Melhorada: Modelos são confiantes apenas em regiões bem suportadas e deferem apropriadamente em outros lugares.
• Separação OOD Robusta: O método distingue efetivamente entre entradas ID e OOD, particularmente em cenários OOD próximos desafiadores onde existe sobreposição semântica.
• Eficiência: A abordagem mantém inferência de passagem única, tornando-a adequada para ambientes com restrições de latência enquanto oferece diversidade semelhante a ensembles.

Os autores reconhecem limitações, notando que o alinhamento entre a energia aprendida e os proxies de suporte é empírico e não garantido, e que o método requer ajuste cuidadoso de hiperparâmetros relacionados à mistura. Eles enfatizam que suas alegações são delimitadas a benchmarks padrão (MNIST/CIFAR) e não se estendem a avaliações em escala ImageNet sem validação adicional. O trabalho sugere que calibração aprimorada e detecção OOD confiável podem impactar positivamente implantações de segurança crítica, permitindo que sistemas se abstenham de previsões quando as entradas não são suportadas.