🤖 machine learning

Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

O artigo introduz o $\sigma$ N-Ens, um ensemble implícito de baixo custo que utiliza escaladores limitados por sigmoide e um regularizador de temperatura softmax para controlar dinamicamente a diversidade dos membros e a calibração durante o treinamento, alcançando desempenho comparável ao de deep ensembles com significativamente menos parâmetros através de várias arquiteturas e conjuntos de dados.

Autores originais: Mihai Suteu, Ovidiu Serban

Publicado 2026-07-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mihai Suteu, Ovidiu Serban

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando resolver um quebra-cabeça realmente difícil, como prever o tempo ou encontrar um gato em uma foto borrada. No mundo da inteligência artificial, a maneira mais inteligente de obter uma resposta confiável é, muitas vezes, perguntar a toda uma equipe de especialistas e ver no que eles concordam. Isso é chamado de "ensemble profundo" (deep ensemble). Se um especialista estiver tendo um dia ruim ou ficar confuso, os outros podem equilibrá-lo, e o grupo pode dizer: "Estamos bem certos sobre isso" ou "Estamos totalmente perdidos". No entanto, há um porém: contratar uma equipe inteira é caro. Se você quiser uma equipe de dez especialistas, terá que construir dez cérebros gigantes separados, o que consome uma quantidade massiva de memória e potência de computador.

Para economizar dinheiro, os cientistas inventaram os "ensembles implícitos". Em vez de construir dez cérebros separados, eles constroem um único cérebro gigante e dão a ele algumas "máscaras de personalidade" diferentes. Essas máscaras ajustam a forma como o cérebro pensa, para que ele aja como dez especialistas diferentes ao mesmo tempo. Mas há um problema: geralmente, essas máscaras são fixas quando o cérebro começa a aprender. Você não pode dizer às máscaras para "serem mais diferentes" ou "concordarem mais" enquanto o cérebro está treinando. É como contratar uma banda onde os instrumentos são afinados uma única vez e nunca mais ajustados; se a música precisar de uma vibração diferente, a banda não consegue mudar. Este artigo apresenta uma nova maneira de ajustar essas máscaras em tempo real, permitendo que a equipe de IA encontre o equilíbrio perfeito entre concordância e discordância sem a necessidade de computadores extras.

O Botão de Temperatura Mágico

Os pesquisadores, Mihai Suteu e Ovidiu Serban, do Imperial College London, criaram um novo método inteligente que chamam de σN-Ens. Pense no modelo de IA deles como uma cozinha compartilhada massiva onde um único chef (o "backbone") pica todos os vegetais e cozinha o prato principal. Em uma equipe normal, você teria dez chefs diferentes em dez cozinhas diferentes. Nesta nova configuração, você tem uma cozinha, mas dá a dez diferentes "sous-chefs" (os membros do ensemble) óculos especiais e mágicos.

Esses óculos não mudam a comida; eles apenas mudam a forma como os sous-chefs veem os ingredientes. Um sous-chef pode olhar para um tomate e pensar: "Este é o astro do show!", enquanto outro olha para o mesmo tomate e diz: "Nah, o manjericão é mais importante". Ao mudar o quanto cada membro foca em diferentes partes da receita compartilhada, a equipe pode chegar a opiniões diferentes, exatamente como uma equipe de especialistas real.

A grande inovação do artigo é um novo "botão de temperatura" (chamado temperatura-softmax, ou $\tau$ ) que controla o quanto os sous-chefs devem discordar.

Girando o botão para baixo (Temperatura Baixa): O sistema força os sous-chefs a serem muito exigentes. Cada um agarra um conjunto específico de ingredientes e ignora o resto. Eles se tornam muito diferentes uns dos outros, como uma equipe onde cada um se especializa em apenas uma coisa.
Girando o botão para cima (Temperatura Alta): O sistema faz com que os sous-chefs compartilhem tudo igualmente. Todos olham para o prato inteiro da mesma forma, e todos concordam.
O Ponto Ideal: Os autores descobriram que você não quer que os chefs sejam totalmente diferentes ou totalmente iguais. Você quer um nível de discordância "Goldilocks" (nem muito quente, nem muito frio). Ao ajustar este único botão de temperatura, eles podem deslizar a equipe ao longo de uma curva que equilibra acurácia (obter a resposta correta) e calibração (saber quando você está incerto).

Por que Isso Importa: O Truque da "Modulação"

O artigo explica que este método cria um tipo específico de incerteza chamado incerteza de modulação. Imagine que a cozinha compartilhada é um mapa muito bom de uma cidade. Os sous-chefs todos concordam com o mapa. Se alguém perguntar: "Onde fica a biblioteca?", todos apontarão para o mesmo lugar. Mas se alguém perguntar: "Onde fica a biblioteca em uma cidade que não existe?", o mapa é inútil.

Como todos os sous-chefs estão olhando para o mesmo mapa (o backbone compartilhado), eles são ótimos em dizer: "Estamos confiantes sobre isso" ou "Estamos incertos sobre isso", quando a pergunta é sobre uma cidade normal. No entanto, se você perguntar sobre uma cidade completamente inventada (o que os cientistas chamam de "fora da distribuição" ou out-of-distribution), eles podem todos apontar confiantemente para o lugar errado porque estão todos olhando para o mesmo mapa quebrado. O artigo admite que, embora este método seja fantástico para ser bem calibrado em dados normais, não é tão bom em detectar dados totalmente falsos como uma equipe de dez chefs completamente separados seria.

Os Resultados: Grandes Vitórias com Pequenas Pegadas

A equipe testou sua ideia em conjuntos de dados de imagens famosos como CIFAR-10/100 e ImageNet, e um conjunto de dados de texto chamado SST-2. Eles usaram diferentes tipos de cérebros de IA, incluindo ResNets e Transformers.

Aqui está o que encontraram:

Mais Barato e Mais Inteligente: O método deles igualou ou até superou o desempenho do caro "ensemble profundo" (Deep Ensembles), utilizando apenas uma fração minúscula da memória do computador. Por exemplo, no conjunto de dados CIFAR-100 com um modelo WideResNet, o método deles obteve a melhor acurácia e a menor taxa de erro, mas usou apenas cerca de 24 milhões de parâmetros em comparação aos 146 milhões necessários para o ensemble profundo completo.
Escalabilidade: Normalmente, quando você tenta adicionar mais membros a uma equipe nessas configurações "implícitas", a equipe piora porque não há espaço suficiente para todos. Mas com este novo botão de temperatura, a equipe na verdade ficou melhor ou manteve-se estável à medida que adicionavam mais membros (até 16), enquanto outros métodos colapsaram.
Magia do Ajuste Fino (Fine-Tuning): Você pode pegar um modelo de IA pré-treinado (que já aprendeu muito) e transformá-lo nesta equipe inteligente apenas adicionando esses óculos mágicos e fazendo um curto "ajuste fino". Você não precisa começar do zero.

O Compromisso (Trade-Off)

O artigo é muito honesto sobre os limites. Como todos compartilham o mesmo céreio, a equipe é ótima em saber quando está incerta sobre coisas normais (calibração), mas é um pouco mais fraca em detectar coisas que são totalmente estranhas ou falsas (detecção de fora da distribuição). É como um grupo de amigos que leram o mesmo livro: todos concordarão com o enredo, mas se você perguntar sobre uma reviravolta que não estava no livro, todos podem inventar confiantemente a mesma resposta errada.

No entanto, para a maioria das tarefas do mundo real onde precisamos que a IA seja confiável e não excessivamente confiante, este método oferece uma maneira prática e controlável de obter os benefícios de uma equipe enorme sem o custo enorme. Ele transforma a "diversidade" da equipe de uma configuração fixa em um dial que você pode girar enquanto a IA está aprendendo, garantindo que a equipe permaneça na zona perfeita de discordância.

Resumo Técnico: Diversidade Controlável em Ensembles Implícitos Baseados em Normalização via Modulação de Temperatura de Softmax

Problema
Os deep ensembles permanecem o padrão ouro para a quantificação de incerteza em aprendizado profundo, oferecendo calibração confiável e detecção de dados fora de distribuição (OOD) ao treinar múltiplos modelos independentes. No entanto, seus custos computacionais e de memória escalam linearmente com o número de membros do ensemble, tornando-se proibitivos para modelos de grande escala. Os implicit ensembles abordam isso compartilhando um único backbone entre os membros, introduzindo modulação ou partição por membro para simular o comportamento de um ensemble em uma única execução de treinamento.

Uma limitação crítica dos métodos de implicit ensemble existentes é a falta de controle sobre a diversidade dos membros. A diversidade é um determinante primário da qualidade do ensemble, mas as abordagens atuais a fixam na inicialização (por exemplo, métodos baseados em adaptadores como o BatchEnsemble) ou a codificam rigidamente na arquitetura (por exemplo, métodos de partição como o Packed Ensembles). Consequentemente, não há um mecanismo para moldar ou navegar no trade-off entre acurácia e calibração durante o treinamento. Além disso, os métodos existentes frequentemente exigem redesenhos arquiteturais específicos, tornando-os difíceis de aplicar a modelos pré-treinados.

Metodologia: $\sigma$ N-Ens
Os autores introduzem o $\sigma$ N-Ens, um implicit ensemble baseado em normalização que trata cada membro como uma tarefa distinta dentro de um framework de aprendizado multitarefa (MTL).

Arquitetura ( $\sigma$ Norm): O método substitui camadas de normalização padrão (BatchNorm ou LayerNorm) em um backbone compartilhado por camadas específicas de cada tarefa. Para cada membro $t$ , a normalização é modulada por um escalonador limitado por sigmoide:
$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$
onde $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$ . Esses escalonadores atuam como importâncias por característica (per-feature importances). Como apenas as camadas de normalização são replicadas, os pesos do backbone (convolucionais ou transformers) permanecem totalmente compartilhados, permitindo que o método envolva qualquer arquitetura padrão e adapte modelos pré-treinados via um curto ajuste fino (fine-tuning).
Diversidade Controlável via Temperatura de Softmax: Para moldar ativamente a diversidade durante o treinamento, os autores introduzem um regularizador de temperatura de softmax aplicado aos vetores de importância ( $\sigma(\gamma)$ ) entre os membros para cada característica.
$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$
Aqui, $\tau$ atua como um hiperparâmetro de temperatura que define o nível de equilíbrio de compartilhamento.
- $\tau$ Baixo: Impulsiona a distribuição em direção a one-hot, forçando as características a serem de propriedade de um único membro (diversidade máxima, semelhante à partição rígida).
- $\tau$ Alto: Impulsiona a distribuição em direção ao uniforme, encorajando o compartilhamento total das características.
- $\tau$ Intermediário: Cria uma alocação suave de " $M$ -escolhe- $k$ ", onde as características são compartilhadas entre um subconjunto de $k$ membros.
  Ao contrário da força de regularização padrão ( $\lambda$ ), que determina o quão fortemente a rede é empurrada em direção a um alvo, $\tau$ seleciona qual equilíbrio o sistema alcançará. Isso permite que os praticantes tracem uma fronteira de acurácia-calibração através de varreduras em $\tau$ .
Incerteza de Modulação: Os autores reformulam a incerteza epistêmica expressa por este ensemble como incerteza de modulação. Como o backbone é compartilhado e determinístico, a incerteza surge apenas do reponderamento das características compartilhadas pelos parâmetros de modulação. Isso é estruturalmente distinto da incerteza derivada de extratores de características diferentes em deep ensembles completos.

Principais Contribuições

Diversidade Controlável: O artigo apresenta o primeiro mecanismo na família de implicit ensembles para moldar a diversidade dos membros durante o treinamento via um único hiperparâmetro ( $\tau$ ), em vez de fixá-la na inicialização ou construção. Isso permite a navegação da fronteira de Pareto acurácia-calibração.
Incerteza de Modulação: Os autores identificam e definem a "incerteza de modulação" como o componente epistêmico específico expresso por ensembles de backbone compartilhado. Eles estabelecem que essa incerteza mantém a calibração sob corrupção de entrada, mas exibe uma detecção de OOD mais fraca em comparação com deep ensembles completos, já que o backbone compartilhado não pode divergir em entradas que ele não codifica.
Agnosticismo de Arquitetura e Eficiência: Ao operar exclusivamente nas camadas de normalização, o $\sigma$ N-Ens aplica-se tanto a backbones convolucionais quanto a transformers sem redesign invasivo. Ele pode converter modelos pré-treinados existentes em ensembles calibrados com um ajuste fino mínimo, evitando a necessidade de treinar membros do zero.

Resultados
O método foi avaliado em CIFAR-10/100, ImageNet e SST-2 usando ResNets, WideResNets e Vision Transformers (ViT).

Desempenho vs. Custo: O $\sigma$ N-Ens iguala ou supera os deep ensembles em termos de acurácia e Negative Log-Likelihood (NLL) utilizando uma fração da contagem de parâmetros (por exemplo, no CIFAR-100 com WideResNet, ele atinge acurácia de estado da arte com significativamente menos parâmetros).
Escalabilidade: Diferente dos métodos de partição (ex: Packed Ensembles) que degradam e colapsam conforme o número de membros ( $M$ ) aumenta devido a restrições de capacidade, o $\sigma$ N-Ens escala graciosamente. À medida que $M$ cresce, o mecanismo de compartilhamento suave agrupa a capacidade de forma eficaz, permitindo que o desempenho melhore ou sature em vez de colapsar.
Calibração sob Mudança: O método mantém uma calibração robusta sob mudança de distribuição (corrupção de entrada), com o Erro de Calibração Esperado (ECE) permanecendo quase constante conforme a severidade da corrupção aumenta.
Detecção de OOD: Consistente com a análise teórica, a detecção de OOD é mais fraca do que em deep ensembles completos, particularmente quando se utilizam backbones pré-treinados onde a representação de características é fixa. No entanto, o desempenho de detecção melhora quando o treinamento parte do zero, conforme os membros moldam a representação compartilhada sob pressão de diversidade.
Sensibilidade ao Hiperparâmetro: O desempenho final é amplamente insensível à força de regularização $\lambda$ uma vez convergido, tornando $\tau$ o único hiperparâmetro crítico para os praticantes ajustarem.

Significância
O artigo argumenta que a diversidade controlável transforma os implicit ensembles de uma escolha arquitetural estática em um sistema dinâmico e ajustável. Ao desacoplar a diversidade da inicialização e da arquitetura, o $\sigma$ N-Ens oferece uma alternativa prática para treinar deep ensembles completos, especialmente conforme o tamanho dos modelos cresce. A capacidade de converter um único modelo pré-treinado em um ensemble calibrado via um curto ajuste fino aborda uma lacuna significativa no deployment de aprendizado profundo consciente de incerteza em domínios de recursos limitados ou sensíveis ao risco. O trabalho esclarece os trade-offs inerentes aos ensembles de backbone compartilhado, ligando explicitamente a limitação estrutural (extratores de características compartilhados) à fraqueza observada na detecção de OOD, enquanto destaca a força na robustez da calibração.

O Botão de Temperatura Mágico

Por que Isso Importa: O Truque da "Modulação"

Os Resultados: Grandes Vitórias com Pequenas Pegadas

O Compromisso (Trade-Off)

Mais como este