🤖 machine learning

Perturb and Correct: Post-Hoc Ensembles using Affine Redundancy

Este artigo apresenta Perturbar-e-Corrigir (P&C), um método pós-hoc que gera preditores epistemicamente diversos a partir de uma única rede pré-treinada, aplicando perturbações aleatórias em camadas ocultas com correções de mínimos quadrados, alcançando assim fortes compensações entre desempenho em distribuição e fora de distribuição sem a necessidade de múltiplos modelos.

Autores originais: Eleanor Quint

Publicado 2026-05-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eleanor Quint

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Aluno "Perfeito" que Falha no Teste Inesperado

Imagine que você treinou um aluno brilhante (uma rede neural) para resolver problemas de matemática. Você lhe dá milhares de problemas de prática (os dados de treinamento) e ele tira uma nota perfeita. Ele é tão bom que, se você der a ele outro problema do mesmo livro didático, ele acertará todas as vezes.

Mas aqui está a pegadinha: Muitos alunos diferentes poderiam ter tirado essa mesma nota perfeita.

No mundo do aprendizado profundo, isso é chamado de subespecificação. Seus dados de treinamento não forçaram o modelo a aprender uma maneira específica de pensar; eles apenas o forçaram a dar a resposta certa. Assim, o modelo encontrou um caminho para a resposta, mas existem milhares de outros caminhos que ele poderia ter tomado e que teriam parecido exatamente iguais no teste de prática.

O problema surge quando o aluno enfrenta uma mudança de distribuição — um teste do mundo real onde as perguntas parecem ligeiramente diferentes (por exemplo, um carro autônomo vendo uma tempestade de neve em vez de um dia ensolarado, ou uma IA médica vendo uma doença rara). Como o modelo nunca teve que escolher qual caminho tomar durante o treinamento, ele pode escolher um caminho que funciona para o dia ensolarado, mas leva a um acidente na neve. Não sabemos qual caminho ele tomou, então não sabemos se é seguro.

A Solução: Perturbar e Corrigir (P&C)

Os autores apresentam um truque inteligente chamado Perturbar e Corrigir (P&C). Eles não precisam retreinar o aluno ou ensinar coisas novas a ele. Eles apenas pegam o modelo pronto e o agitam de uma maneira muito específica para criar uma "equipe" de versões ligeiramente diferentes do mesmo aluno.

Veja como o processo funciona, passo a passo:

1. A "Perturbação" (O Agito)

Imagine que o cérebro do aluno tem uma camada específica de neurônios (uma camada oculta) onde ele faz algum pensamento pesado. Os pesquisadores pegam essa camada e empurram aleatoriamente as conexões dentro dela.

Analogia: É como pedir ao aluno para resolver o problema de matemática enquanto usa óculos ligeiramente diferentes que distorcem sua visão apenas um pouquinho.
Resultado: Se você fizesse apenas isso, o aluno começaria a dar respostas erradas, mesmo nos problemas de prática. O "empurrão" quebrou sua nota perfeita.

2. A "Correção" (O Ajuste)

Esta é a parte mágica. Os pesquisadores olham para a próxima camada do cérebro (a camada afim) e reajustam-na usando uma correção matemática simples (correção por mínimos quadrados) baseada nos antigos problemas de prática.

Analogia: O aluno coloca os óculos distorcidos, fica confuso e começa a responder errado. Mas então, um professor (o passo de correção) ajusta rapidamente a caneta do aluno (a próxima camada) para compensar os óculos.
Resultado: Quando o aluno olha para os antigos problemas de prática, os óculos e o ajuste da caneta se cancelam perfeitamente. O aluno tira exatamente a mesma nota perfeita de antes.

3. O "Ensemble" (A Equipe)

Os pesquisadores repetem esse processo muitas vezes. Cada vez, eles usam um diferente empurrão aleatório (óculos diferentes) e um diferente ajuste de caneta.

O Resultado: Agora você tem 50 ou 100 versões do mesmo aluno.
- Nos antigos problemas de prática, todos concordam perfeitamente.
- Em problemas novos e estranhos (a mudança de distribuição), os ajustes de "óculos" e "caneta" não se cancelam mais perfeitamente. Os alunos começam a discordar uns dos outros.

Por Que Isso Importa: O Sinal de "Discórdia"

No passado, se um único modelo estava inseguro, tínhamos que treinar um conjunto inteiro de novos modelos do zero para ver se eles concordavam ou discordavam. Isso leva muito tempo e poder de computação.

Com o P&C, a discordância acontece automaticamente:

Se a entrada é normal: O ajuste de "óculos" e "caneta" funciona junto. Todas as versões do modelo concordam. Estamos confiantes.
Se a entrada é estranha (Fora da Distribuição): O ajuste de "óculos" e "caneta" não combina mais com a nova situação. Os modelos começam a dar respostas diferentes.
O Sinal: O fato de eles discordarem nos diz: "Ei, estamos em território desconhecido! Cuidado!"

A Analogia da "Alavanca"

O artigo usa um conceito geométrico chamado "alavanca" para explicar por que isso funciona.

Imagine que os problemas de prática são um grupo de pessoas sentadas ao redor de uma fogueira.
Se você fizer uma pergunta a alguém sentado bem ao lado do fogo (dentro da distribuição), o "ajuste da caneta" pode facilmente corrigir a "distorção dos óculos" porque eles estão perto do centro. Todos concordam.
Se você fizer uma pergunta a alguém em pé longe, no escuro (fora da distribuição), o "ajuste da caneta" (que foi calibrado para o fogo) não consegue alcançá-lo. A "distorção dos óculos" assume o controle, e os modelos começam a ver as coisas de forma diferente.

Resumo dos Resultados

Os autores testaram isso em duas coisas:

Física de Robôs (MuJoCo): Prever como um robô se move. Quando o comportamento do robô mudou (mudança), o P&C foi muito melhor em detectar que ele estava em uma situação "estranha" comparado a outros métodos, sem precisar retreinar o robô.
Reconhecimento de Imagens (CIFAR-10): Detectar imagens que não pertencem (como mostrar uma foto de gato para um classificador de cães). O P&C foi muito bom em dizer: "Eu não sei o que é isso", comparado a outros métodos de modelo único.

A Conclusão

O artigo argumenta que não devemos tentar eliminar a "flexibilidade" das redes neurais (o fato de que muitos caminhos levam à mesma resposta). Em vez disso, devemos explorá-la.

Ao pegar um único modelo treinado, agitá-lo aleatoriamente e depois corrigi-lo apenas o suficiente para mantê-lo honesto nos dados conhecidos, podemos criar uma equipe de especialistas diversos de graça. Eles permanecem sincronizados quando as coisas são normais, mas naturalmente se transformam em um coro de discordância quando as coisas ficam estranhas, alertando-nos para um perigo potencial.

Resumo Técnico: Perturbação e Correção (P&C)

Declaração do Problema

As redes neurais profundas modernas são massivamente superparametrizadas, levando a um fenômeno conhecido como subespecificação. Embora muitas configurações distintas de parâmetros possam produzir desempenho quase idêntico em dados de treinamento in-distribution (ID), esses modelos frequentemente comportam-se drasticamente de forma diferente sob deslocamentos de distribuição ou ataques adversariais. Essa falta de restrição significa que os pipelines de treinamento padrão falham em determinar completamente o comportamento do modelo fora do suporte dos dados, criando uma lacuna crítica na implantação confiável, particularmente no que diz respeito à incerteza epistêmica e à detecção de out-of-distribution (OOD). Os métodos existentes para estimar essa incerteza frequentemente exigem o treinamento de múltiplos modelos independentes (Deep Ensembles), a modificação do procedimento de treinamento (MC Dropout) ou a aproximação de uma distribuição posterior (SWAG, Laplace), o que pode ser computacionalmente caro ou estruturalmente restritivo.

Metodologia: Perturbação e Correção (P&C)

O artigo introduz a Perturbação e Correção (P&C), um método de construção de ensemble post-hoc que gera preditores epistemicamente diversos a partir de uma única rede pré-treinada sem retreinamento. O método aproveita a subespecificação das redes profundas ao introduzir intencionalmente variações de parâmetros e, em seguida, restringir seus efeitos sobre os dados ID.

Mecanismo Central

Perturbação: O P&C seleciona uma camada oculta (ou sequência de camadas) e aplica perturbações de parâmetros aleatórias e de baixo posto. Especificamente, amostra uma base ortonormal aleatória e a escala por uma magnitude de perturbação $\sigma$ para criar uma matriz de perturbação $\Delta W$ .
Correção: Para evitar que essas perturbações degradem o desempenho nos dados ID, o P&C ajusta uma correção compensatória na camada afim imediatamente subsequente. Isso é alcançado via mínimos quadrados regularizados por ridge em um subconjunto de calibração dos dados ID. A correção minimiza a diferença entre as pré-ativações originais da próxima camada e as pré-ativações perturbadas.
Construção do Ensemble: Este processo é repetido $M$ vezes com diferentes perturbações aleatórias e, opcionalmente, diferentes subconjuntos bootstrap dos dados de calibração. O ensemble resultante é uma mistura ponderada uniformemente desses preditores corrigidos.

Fundamentação Teórica

O artigo analisa o mecanismo através da lente do resíduo pós-correção e da sensibilidade corrigida:

Preservação ID: Perto da distribuição de calibração, a correção por mínimos quadrados suprime efetivamente o impacto da perturbação. O resíduo é limitado por um termo de alavancagem que é pequeno quando a entrada reside dentro da geometria de calibração.
Divergência OOD: À medida que as entradas se desviam do suporte de calibração (extrapolação), o termo de alavancagem cresce e a correção não pode mais absorver completamente a perturbação. Consequentemente, a sensibilidade corrigida (a mudança na saída por unidade de perturbação da camada oculta) cresce, permitindo que os membros do ensemble discordem significativamente em dados OOD.
Sondagem Aleatória: Os autores argumentam que perturbações aleatórias atuam como um esboço não enviesado do operador de sensibilidade corrigida. Como a correção suprime efeitos apenas onde os dados restringem o comportamento, a amostragem aleatória efetivamente sonda os "graus de liberdade epistêmicos" deixados não resolvidos pelos dados de treinamento.

Principais Contribuições

Construção de Ensemble Post-Hoc: O artigo demonstra que ensembles epistêmicos úteis podem ser construídos sem estimar uma posterior completa ou selecionar direções de perturbação especializadas. Perturbações aleatórias de baixa dimensão em camadas ocultas, acopladas a correção afim local em dados de calibração, são suficientes para gerar preditores diversos.
Análise Geométrica de Resíduos: Os autores fornecem uma análise teórica mostrando por que o acordo persiste perto da geometria de calibração enquanto a discordância emerge sob deslocamento. Eles formalizam a relação entre o resíduo, a alavancagem e a sensibilidade corrigida, explicando por que perturbações aleatórias são eficazes na sondagem da incerteza epistêmica.
Validação Empírica: O método é avaliado em duas tarefas distintas:
- Predição de Dinâmica MuJoCo: O P&C alcança um forte compromisso entre o erro quadrático médio (RMSE) ID e a verossimilhança negativa (NLL) OOD distante, superando ou igualando baselines padrão (Deep Ensembles, SWAG, Laplace, Subspace) enquanto utiliza apenas um único modelo pré-treinado.
- Detecção OOD CIFAR-10: Usando o protocolo OpenOOD, o P&C alcança resultados state-of-the-art entre métodos post-hoc, melhorando sobre fortes baselines de modelo único como o SWAG e aproximando-se do desempenho dos Deep Ensembles com custo computacional significativamente menor.

Resultados

MuJoCo: Em 11 ambientes, o P&C alcançou a melhor classificação média para NLL OOD distante (1,55), AUROC OOD distante (1,27) e correlação de Spearman OOD distante (1,64). Mantiveu RMSE ID competitivo (3,18) enquanto superava significativamente os Deep Ensembles nas métricas de detecção OOD.
CIFAR-10: O P&C alcançou a maior AUROC OOD próximo (91,55) e AUROC OOD distante (95,09) entre os métodos relatados, reduzindo substancialmente a Taxa de Falsos Positivos em 95% de recall (FPR95) em comparação com SWAG e Deep Ensembles.
Diagnósticos do Mecanismo: Experimentos confirmaram que, sem a correção por mínimos quadrados, perturbações aleatórias degradam o desempenho ID. Com correção, o desempenho ID é preservado e a discordância escala com a distância de Mahalanobis a partir das ativações de calibração.

Significado e Alegações

O artigo afirma que o P&C reencena a subespecificação não como uma patologia a ser eliminada, mas como uma fonte de incerteza epistêmica a ser explorada. Ao tratar os graus de liberdade não resolvidos pelos dados de calibração como um recurso, o P&C oferece uma alternativa computacionalmente eficiente ao treinamento de múltiplos modelos independentes ou à realização de inferência bayesiana complexa.

Os autores posicionam o P&C filosoficamente mais próximo das Redes Neurais Epistêmicas do que de métodos explicitamente bayesianos, pois representa a incerteza através de uma família de preditores que concordam onde os dados restringem o comportamento e divergem onde não o fazem, sem exigir mudanças na arquitetura do modelo ou no pipeline de treinamento. O trabalho sugere que correções afins locais podem transformar simples perturbações aleatórias em ensembles post-hoc eficazes, destacando o potencial da superparametrização no aprendizado profundo.