Resumo Técnico: Quantificando a Incerteza de Modelos de Fundação com Ensembles de Valores Singulares

1. Declaração do Problema

Os modelos de fundação alcançaram um desempenho notável em diversas tarefas por meio de pré-treinamento em larga escala, mas frequentemente produzem previsões excessivamente confiantes e descalibradas. Em domínios de alto risco, como diagnóstico médico, direção autônoma e suporte à decisão agrícola, a capacidade de um modelo de reconhecer sua própria ignorância (incerteza epistêmica) é tão crítica quanto sua precisão preditiva. Diagnósticos errôneos excessivamente confiantes ou avaliações de risco incorretas podem levar a consequências graves.

A abordagem padrão para quantificar a incerteza epistêmica envolve o treinamento de um ensemble de múltiplos modelos inicializados independentemente (Deep Ensembles). Embora eficaz, este método sofre de uma limitação fundamental: os custos computacionais e de memória escalam linearmente com o número de membros do ensemble ($M$). Para modelos de fundação com bilhões de parâmetros, mesmo um ensemble modesto (ex: $M=4$) torna-se computacionalmente proibitivo, tornando a estimativa de incerteza fundamentada inacessível para profissionais com recursos limitados ou para aqueles que dependem de ajuste fino eficiente em parâmetros (PEFT).

Métodos de ensembling implícito existentes (ex: MC-Dropout, BatchEnsemble, LoRA-Ensemble) tentam reduzir o overhead, mas muitas vezes lutam para igualar o desempenho de calibração dos ensembles explícitos ou ainda exigem o aprendizado de novos parâmetros significativos para cada membro.

2. Metodologia: Ensemble de Valores Singulares (SVE)

Os autores propõem o Singular Value Ensemble (SVE), um método de ensembling implícito e eficiente em parâmetros, fundamentado na percepção de que o conhecimento nos modelos de fundação está organizado ao longo de subespaços lineares definidos pelos vetores singulares das matrizes de pesos.

Suposição Central

O método baseia-se na hipótese de que os vetores singulares ($U$ e $V$) das matrizes de pesos pré-treinadas correspondem a direções de conhecimento ortogonais e significativas no espaço de representação. Os valores singulares ($\Sigma$) codificam a importância relativa ou a força dessas direções. Portanto, um ensemble pode ser construído preservando a base de conhecimento compartilhada (vetores singulares) enquanto modula a contribuição de cada direção através de valores singulares específicos de cada membro.

Implementação Técnica

1. Decomposição SVD: Para cada matriz de peso alvo $W \in \mathbb{R}^{m \times n}$ em um modelo pré-treinado, a Decomposição de Valores Singulares é computada: $W = U\Sigma V^\top$.
2. Congelamento de Parâmetros: Os vetores singulares $U$ e $V$ são congelados, preservando a base de conhecimento pré-treinada.
3. Aprendizado Específico do Membro: Em vez de aprender novas matrizes de peso, o método treina $M$ cópias dos valores singulares, denotados por $\{\Sigma^{(m)}\}_{m=1}^M$, um para cada membro do ensemble. Adicionalmente, um vetor de viés (bias) por membro $b^{(m)}$ é treinado.
4. Reconstrução: Durante a inferência, a matriz de peso para o membro $m$ é reconstruída como $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. Inicialização e Diversidade: Para garantir a diversidade entre os membros sem destruir a estrutura pré-treinada, os valores singulares são inicializados com perturbações multiplicativas: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$, onde $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. A amostragem estocástica de mini-lotes durante o treinamento conjunto impulsiona adicionalmente os membros a convergirem para combinações distintas dos subespaços compartilhados.

Eficiência de Parâmetros

Para um transformer com dimensão oculta $d$, o SVE adiciona apenas $6d$ valores singulares e $9d$ entradas de viés por camada por membro (para projeções de atenção e MLP). O overhead total de parâmetros em relação ao modelo base é aproximadamente:
$$\text{Overhead} \approx \frac{5(M-1)}{4d}$$
Para $d=768$ e $M=8$, isso resulta em um overhead de $<1\%$. Para modelos maiores como LLaMA-2-7B ($d=4096$), o overhead cai para $\approx 0,2\%$. Isso é significativamente mais eficiente que o LoRA-Ensemble (que adiciona matrizes de rank-$r$) e ordens de magnitude mais eficiente que o Deep Ensembles.

3. Principais Contribuições

• Introdução do SVE: Um novo método de ensembling implícito e eficiente em parâmetros que cria membros de ensemble diversos aprendendo valores singulares por membro enquanto compartilha os vetores singulares pré-treinados.
• Novo Baseline para Incerteza: Estabelece o SVE como um forte baseline para quantificação de incerteza, alcançando calibração de estado da arte enquanto mantém a precisão preditiva.
• Validação Extensa: Validado através de tarefas de Processamento de Linguagem Natural (NLP) e Visão utilizando backbones variando de 22M a 7B de parâmetros (BERT, LLaMA-2-7B, DINOv1/v2). Os resultados demonstram generalização através de tamanhos de modelo e tipos de tarefas.

4. Resultados Experimentais

Os autores avaliaram o SVE em tarefas de NLP (ARC-Easy, SST-2) e tarefas de Visão (Flowers102, CIFAR-100, DTD, Oxford Pets, detecção de OOD e corrupções CIFAR-100-C).

• Calibração: O SVE alcança consistentemente um Erro de Calibração Esperada (ECE) superior ou competitivo em comparação ao Deep Ensembles, LoRA-Ensemble e métodos Bayesianos (ex: Bayes-LoRA, BLoB). Notavelmente, no ARC-Easy com LLaMA-2-7B, o SVE ($M=16$) alcançou um ECE de 3,8%, superando significativamente o Deep Ensembles (9,9%) e o LoRA-Ensemble (9,0%), aproximando-se da calibração de métodos Bayesianos sendo mais simples de implementar.
• Precisão: O SVE mantém uma precisão preditiva comparável a ensembles explícitos e outros métodos implícitos. No CIFAR-100, alcançou 85,6% de precisão, superando o Deep Ensembles (85,4%) e modelos únicos.
• Robustez: Sob mudanças de distribuição (CIFAR-100-C) e detecção de Out-of-Distribution (OOD) (CIFAR-100 $\to$ CIFAR-10), o SVE demonstrou forte robustez, igualando ou excedendo o desempenho do LoRA-Ensemble e Deep Ensembles em termos de AUROC e AUPRC, apesar de usar muito menos parâmetros.
• Dependência de Backbone: Os benefícios do SVE escalam com a qualidade das representações pré-treinadas. Em modelos com inicialização aleatória, o SVE teve desempenho inferior; no entanto, com backbones fortes (DINOv2), ele superou todos os baselines, validando a hipótes de que bases de vetores singulares significativas são cruciais para o sucesso do método.
• Custo Computacional: O SVE reduz o overhead de parâmetros e memória por um fator de 10 em relação ao LoRA-Ensemble e por um fator de 700 em relação ao Deep Ensembles. O tempo de inferência é comparável ao LoRA-Ensemble e significativamente mais rápido que métodos de amostragem Bayesianos.

5. Significância e Alegações

O artigo afirma que o SVE democratiza a estimativa de incerteza fundamentada para configurações de recursos limitados. Ao alavancar a estrutura de subespaço linear dos modelos de fundação, o SVE permite a criação de ensembles diversos com overhead mínimo de parâmetros ($<1\%$).

Os autores posicionam o SVE como uma abordagem equilibrada que:

1. Alcança precisão comparável ao LoRA-Ensemble.
2. Alcança calibração comparável a métodos Bayesianos complexos.
3. Opera com a eficiência computacional de um ajuste fino eficiente em parâmetros.

O trabalho sugere que, à medida que os modelos de fundação melhoram, a "base de conhecimento" codificada em seus vetores singulares torna-se cada vez mais valiosa. O SVE aproveita isso ao preservar essas representações enquanto introduz diversidade através de ajustes leves, tornando a estimativa de incerteza confiável acessível para modelos de grande escala onde o ensembling tradicional é inviável.

Limitações Reconhecidas:
Os autores observam que a inferência ainda requer uma passagem direta (forward pass) por membro (semelhante a outros ensembles implícitos), portanto, os FLOPs permanecem comparáveis aos Deep Ensembles. A integração com backbones quantizados é não trivial devido à necessidade de desquantização antes da SVD. Além disso, como o SVE preserva a base pré-treinada, ele pode herdar vieses ou correlações espúrias presentes no backbone.