Resumo Técnico: A Última Camada é Suficiente para Quantificação de Incerteza?

Declaração do Problema

A adoção de Redes Neurais Profundas (DNNs) em configurações de missão crítica é dificultada pela falta de uma Quantificação de Incerteza (UQ) epistêmica confiável. Embora os métodos Bayesianos ofereçam um framework natural para modelar a incerteza via distribuição posterior preditiva, abordagens predominantes como Deep Ensembles (DE) ou Redes Neurais Bayesianas (BNNs) completas frequentemente incorrem em custos computacionais proibitivos. Uma aproximação comum para reduzir esse fardo é linearizar a DNN em torno de seus parâmetros para formar um Modelo Linear Generalizado (GLM) Bayesiano. No entanto, uma suposição prevalecente no campo é que linearizar apenas a última camada conectada (a "aproximação da última camada") degrada significamente o desempenho de UQ em comparação com a linearização de toda a rede (linearização total). Este artigo investiga se esse compromisso entre eficiência computacional e fidelidade de UQ é necessário.

Metodologia

Os autores empregam uma abordagem dual combinando análise teórica via Teoria de Matrizes Aleatórias (RMT) e avaliação empírica em larga escala.

Análise Teórica

O estudo compara dois GLMs Bayesianos derivados de uma DNN inicializada aleatoriamente:

1. LL-GLM (GLM da Última Camada): Formado pela linearização apenas dos parâmetros da última camada conectada. Isso induz o Núcleo Conjugado (CK).
2. DNN-GLM (GLM de Linearização Total): Formado pela linearização de todos os parâmetros da rede. Isso induz o Kernel de Tangente Neural (NTK).

Os autores analisam a Energia Livre Bayesiana (BFE), definida como o log negativo da verossimilhança marginal, que serve como uma medida chave de qualidade do modelo e capacidade de UQ. Eles derivam a BFE limite sob um regime de dupla assíntota onde tanto a largura da rede quanto o número de pontos de dados de treinamento tendem ao infinito proporcionalmente. Esta análise utiliza ferramentas de RMT para caracterizar os espectros determinísticos limites das matrizes Gram de CK e NTK.

Avaliação Empírica

Para validar as descobertas teóricas em cenários práticos, os autores introduzem o LinearSampling, um pacote PyTorch leve. Este framework fornece um algoritmo para amostrar da posterior preditiva de ambos os LL-GLMs e DNN-GLMs. O algoritmo emprega uma estratégia de "amostrar-então-otimizar", inicializando parâmetros próximos aos pesos treinados e usando Gradiente Estocástico para resolver o problema de otimização linearizado. Esta abordagem escala para modelos grandes, incluindo aqueles com milhões de parâmetros.

A avaliação empírica abrange tarefas de regressão, classificação e modelagem de linguagem, comparando LL-GLMs contra DNN-GLMs e outros métodos de estado da arte (ex: Deep Ensembles, SWAG, MC-Dropout, LLA). As métricas incluem Erro de Calibração Esperado (ECE), Log-Verossimilhança Negativa Gaussiana (NLL) e métricas de incerteza especializadas como VARROC (AUC-ROC usando variância de predições softmax) tanto para detecção de distribuição interna (in-distribution) quanto de distribuição externa (out-of-distribution - OOD).

Principais Contribuições

1. Caracterização Teórica da BFE Limite: Os autores derivam a BFE limite para GPs empregando kernels CK e NTK sob suposições brandas sobre componentes de rede e distribuições de dados. Eles caracterizam este limite como a solução única de um sistema de equações de ponto fixo implícitas.
2. Robustez e Análise de Descida: Teoricamente, eles demonstram que ambos os kernels exibem robustez a perturbações de entrada e fenômenos de descida (incluindo comportamentos de dupla e tripla descida). Eles identificam que o NTK só mostra uma vantagem teórica no regime altamente sobre-amostrado (onde os pontos de dados excedem significativamente a largura da rede) na inicialização, mas essa vantagem desaparece após o treinamento.
3. Validação Empírica em Larga Escala: Através de experimentos extensos em diversas tarefas, o artigo demonstra que LL-GLMs consistentemente igualam o desempenho de UQ de DNN-GLMs completos. Em muitos casos, o LL-GLM performa comparavelmente ao padrão-ouro Deep Ensembles.
4. Framework de Amostragem Escalável: O lançamento do LinearSampling, um algoritmo escalável que permite a amostragem eficiente da posterior de GLMs Bayesianos para grandes modelos de linguagem e arquiteturas profundas de visão, superando gargalos computacionais anteriores.

Resultados

• Descobertas Teóricas: A análise revela que não há melhoria significativa nas capacidades de UQ (medidas por BFE) para a linearização total sobre a linearização da última camada na maioria dos regimes. O único regime onde o NTK completo supera teoricamente o CK é quando o número de pontos de dados é significativamente maior que a largura da rede, um cenário que os autores sugerem ser um artefato de inicialização aleatória, em vez de uma limitação fundamental, já que a lacuna desaparece após o treinamento.
• Descobertas Empíricas:
  • Regressão: Em conjuntos de dados de regressão UCI, LL-GLMs alcançaram desempenho comparável ou às vezes superior ao DNN-GLMs em termos de RMSE, NLL e ECE.
  • Classificação: Em tarefas de classificação de imagem (MNIST, FashionMNIST, CIFAR-10/100, ImageNet), LL-GLMs igualaram o desempenho de UQ de DNN-GLMs. Ambos os métodos capturaram com sucesso a variância "consciente da distância", aumentando a incerteza para pontos distantes dos dados de treinamento.
  • Modelagem de Linguagem: Em um modelo GPT-2 ajustado para análise de sentimento, o LL-GLM alcançou escores VARROC-ID estatisticamente indistinguíveis do DNN-GLM.
  • Eficiência: Crucialmente, o LL-GLM alcançou esses resultados com custos substancialmente menores de computação e memória. No experimento com GPT-2, o LL-GLM exigiu 10x menos tempo de execução (wall-time) e 3.5x menos memória que o DNN-GLM.

Significância e Conclusão

O artigo conclui que a aproximação da última camada é suficiente para uma Quantificação de Incerteza de alta qualidade. Os autores argumentam que esta descoberta sugere que a incerteza epistêmica em DNNs surge primariamente da incerteza em como as características da rede são usadas (pesos da última camada) em vez de incerteza nos próprios recursos/características (as representações aprendidas pelas camadas anteriores).

Este resultado desafia a suposição de que a linearização de toda a rede é necessária para uma UQ precisa. Ao validar que a abordagem da última camada, computacionalmente mais barata, produz desempenho comparável, o trabalho defende a adoção mais ampla da linearização da última camada na aprendizagem profunda bayesiana, particularmente para modelos de larga escala onde a inferência bayesiana de rede total é inviável. Os autores observam limitações quanto à conexão teórica com redes treinadas sob suposições realistas e o foco atual em incerteza epistêmica em vez de aleatória, identificando estas como caminhos para trabalhos futuros.