🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

O ReFP-AD introduz uma reparametrização geométrica via fluxo retificado acoplado por transporte ótimo para estabilizar o treinamento de Modelos Baseados em Energia em espaços de tokens de alta dimensão, alcançando o estado da arte em desempenho de detecção unificada de anomalias nos conjuntos de dados MVTec-AD e VisA.

Autores originais: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Publicado 2026-08-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando identificar uma pintura falsa em uma galeria. Você passou anos estudando milhares de obras-primas genuínas, então sabe exatamente como as pinceladas, as cores e as texturas deveriam parecer. Mas você nunca viu uma falsificação. Seu trabalho é entrar em uma sala cheia de pinturas novas e apontar instantaneamente aquela que não pertence ao grupo. Este é o desafio da "detecção de anomalias" no mundo da inteligência artificial. A IA precisa aprender o que é o "normal" sem nunca ter sido apresentada a um exemplo "ruim".

Para fazer isso, os modelos de fundação modernos são frequentemente usados, que são como cérebros superinteligentes treinados em toda a internet. Esses modelos decompõem imagens em pequenos pedaços chamados "tokens" e as transformam em longas listas de números (embeddings) que capturam o significado da imagem. No entanto, essas listas de números são bagunçadas. Elas são como um novelo de lã emaranhado onde alguns fios estão esticados e outros estão frouxos, e todos estão entrelaçados de formas complicadas. Se você tentar usar essas listas bagunçadas para medir matematicamente o quão "estranha" é uma nova imagem, a matemática fica confusa e instável. É como tentar caminhar em uma corda bamba enquanto a corda está constantemente se retorcendo sob seus pés. Este artigo aborda esse problema específico: como desentortar essa corda para que a IA possa detectar falsificações de forma confiável.

O Problema da Corda Emaranhada

Os pesquisadores por trás deste artigo, Camile Lendering e sua equipe da Universidade de Tecnologia de Eindhoven, notaram uma falha frustrante na forma como a IA detecta anomalias. Eles estavam usando um tipo poderoso de matemática chamada Modelos Baseados em Energia (EBMs). Pense em um EBM como uma paisagem de colinas e vales. Imagens "normais" (como uma peça de fábrica perfeita ou uma folha saudável) assentam confortavelmente em vales profundos e suaves. "Anomalias" (como um arranhão ou um defeito) deveriam estar no topo de picos irregulares.

O problema é que a IA estava tentando explorar essa paisagem usando um método chamado "dinâmica de Langevin", que é basicamente uma caminhada aleatória para encontrar o ponto mais baixo. Mas, como os dados vinham daqueles modelos de fundação bagunçados e emaranhados, a paisagem não era um vale suave; era um pesadelo retorcido e anisotrópico (esticado em uma direção). A caminhada aleatória ficava presa, batia nas paredes ou saía de controle. Era como tentar rolar uma bola de gude em um escorregador que foi amassado em formato de bola. Tentativas anteriores de corrigir isso envolveram esmagar os dados em uma forma menor e mais simples, mas isso descartava muitos detalhes, tornando a IA cega para defeitos sutis.

A Solução de Endireitamento: ReFP-AD

A equipe propôs um novo truque inteligente chamado ReFP-AD (Precondicionamento de Fluxo Retificado para Detecção de Anomalias). Em vez de tentar forçar os dados bagunçados a se comportarem, eles construíram um "endireitador geométrico".

Imagine que você tem um pedaço de papel amassado com um desenho nele. Se você tentar medir o desenho enquanto ele está amassado, sua régua dará respostas erradas. O ReFP-AD é como uma máquina mágica que desamassa gentilmente o papel, esticando-o perfeitamente plano sem rasgar o desenho ou perder qualquer gota de tinta. Em termos técnicos, eles usam um "fluxo retificado" (um tipo de mapeamento matemático) para transformar as listas de tokens de alta dimensão e bagunçadas em um "espaço latente" limpo e bem organizado.

Nesse novo espaço endireitado, as "colinas e vales" do cenário de anomalias tornam-se suaves e previsíveis. Agora, quando a IA realiza sua caminhada aleatória para encontrar o ponto mais baixo (os dados normais), ela desliza suavemente em vez de ficar presa. Isso permite que a IA utilize todo o detalhe rico do modelo de fundação original sem ter que esmagá-lo em uma versão menor e menos precisa.

O Que Eles Descobriram

Os resultados foram impressionantes. A equipe testou seu método em dois conjuntos de dados industriais importantes: MVTec-AD (com 15 categorias de objetos) e VisA (com 12 categorias). Eles usaram um protocolo "unificado" rigoroso, o que significa que treinaram apenas um único modelo de IA para lidar com todos esses diferentes objetos de uma só vez, em vez de treinar um modelo separado para cada um.

No conjunto de dados MVTec-AD, o ReFP-AD alcançou um AUROC de Imagem de 98,6% e um AUROC de Pixel de 97,9%.
No conjunto de dados VisA, obteu 97,3% para imagens e 99,0% para pixels.

Para colocar isso em perspectiva, modelos unificados anteriores que tentaram fazer isso sem o truque de "endireitamento" tiveram dificuldades significativas. O artigo observa que o ReFP-AD superou os melhores modelos de linha de base de Modelos Baseados em Energia em até +10,8% na precisão de detecção de imagem.

Os pesquisadores realizaram vários experimentos para provar que sua ideia era a chave. Quando removeram a etapa de "endireitamento" e tentaram treinar a IA nos dados brutos e bagunçados, o desempenho despencou (caindo para 87,0% no VisA). Eles também descobriram que, como o espaço agora estava tão bem organizado, a IA não precisava de centenas de passos para encontrar a resposta; ela precisava de apenas cerca de 20 passos para acertar, enquanto antes precisaria de muitos mais ou falharia inteiramente.

Por Que Isso Importa

Este artigo sugere que o gargalo para tornar a IA mais inteligente ao detectar defeitos não é construir cérebros maiores ou modelos mais complexos. É sobre como preparamos os dados para que esses modelos pensem. Ao corrigir a geometria dos dados primeiro, os pesquisadores desbloquearam o potencial total dos modelos de fundação existentes.

Embora o método seja atualmente um pouco mais lento do que alguns detectores mais simples porque precisa realizar essa matemática de "endireitamento" antes de tomar uma decisão, ele prova que podemos construir uma IA única e unificada que é incrivelmente boa em detectar defeitos em muitos tipos diferentes de objetos. É um passo em direção a um futuro onde um único detetive inteligente pode patrulhar uma fábrica inteira, detectando um arranhão em uma engrenagem de metal e um rasgo em um rolo de tecido com o mesmo alto nível de precisão, tudo isso sem nunca precisar ver um exemplo quebrado para aprender o que é "quebrado".

Resumo Técnico: ReFP-AD

Declaração do Problema

A detecção de anomalias visuais (VAD) visa identificar desvios de uma distribuição de dados normais sem acesso a exemplos anômalos durante o treinamento. No cenário unificado, um único modelo deve generalizar para diversas categorias de objetos, texturas e variações de aparência. Embora modelos de fundação como o DINOv2 forneçam representações de tokens de alta dimensão (ex: vetores de 1536 dimensões) que organizam dados visuais em variedades semânticas estruturadas, aproveitar esses espaços para estimativa de densidade explícita permanece um desafio.

Modelos Baseados em Energia (EBMs) oferecem um framework principiológico para tais tarefas ao atribuir um escalar de energia $E(x)$ aos inputs, onde anomalias correspondem a estados de alta energia. No entanto, treinar EBMs em espaços de tokens de alta dimensão é notoriamente instável. Esta instabilidade é identificada como fundamentalmente geométrica, e não arquitetural:

Anisotropia e Correlação: As distribuições de tokens de Transformers são altamente anisotrópicas e exibem fortes correlações entre dimensões.
Desajuste Métrico: A dinâmica de Langevin padrão (usada para amostragem de exemplos negativos) assume uma métrica euclidiana isotrópica com ruído isotrópico. O desajuste entre essa suposição e a geometria real dos tokens leva a trajetórias mal condicionadas.
Instabilidade de Amostragem: Sob amostragem de Cadeia de Markov Monte Carlo (MCMC) de passos finitos (ex: Divergência Contrastiva Persistente), este desajuste geomético causa mistura lenta, trajetórias oscilatórias de "zig-zag" e fases negativas instáveis, forçando métodos anteriores a comprimir representações em gargalos de baixa dimensão para estabilizar o treinamento.

Metodologia: ReFP-AD

Os autores propõem o ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection), um framework que desacopla a geometria da representação da estimativa de densidade. Em vez de modificar o modelo de energia ou comprimir características, o ReFP-AD aprende uma reparametrização geométrica para precondicionar o espaço de amostragem.

1. Representação de Token Unificada

O método utiliza um backbone ViT DINOv2 congelado para extrair tokens de patches. Para lidar com disparidades de escala entre categorias em um cenário unificado, os tokens são padronizados via Z-score por categoria usando estatísticas dos dados de treinamento normais. Isso serve como um passo de pré-processamento afim fixo antes que os modelos unificados sejam aplicados.

2. Precondicionamento Geométrico via Fluxo de Transporte Ótimo

A inovação central é aprender um mapa de transporte que remodela a distribuição de tokens anisotrópica em um espaço latente aproximadamente isotrópico e bem condicionado.

Fluxo Retificado (Rectified Flow): Um mapa de transporte de tempo contínuo é parametrizado por uma rede neural $v_\theta(t, x_t)$ , definida por uma Equação Diferencial Ordinária (ODE).
Acoplamento OT: Tokens de origem $z$ e variáveis gaussianas isotrópicas alvo $u \sim \mathcal{N}(0, \tau^2 I)$ são acoplados via um acoplamento de Transporte Ótimo (OT) entrópico, computado usando iterações Sinkhorn estáveis no domínio logarítmico.
Objetivo de Treinamento: O fluxo é treinado para minimizar a perda de correspondência entre a velocidade prevista pela rede e o vetor de interpolação linear $(u-z)$ .
Validação: Checkpoints são selecionados com base em diagnósticos de aptidão SGLD (condicionamento, correlação residual e estabilidade de cauda) computados em um subespaço projetado, garantindo que o mapa de transporte melhore especificamente o comportamento MCMC de passos finitos sem colapsar a topologia da variedade.

3. EBM Sem Restrições com SGLD Precondicionado

Uma vez que os tokens são transportados para o espaço latente $u$ , um Modelo Baseado em Energia sem restrições (um MLP residual) é treinado.

Treinamento: O modelo utiliza Divergência Contrastiva Persistente (PCD). Os exemplos negativos são atualizados usando Dinâmica de Langevin de Gradiente Estocástico Precondicionada (pSGLD). O precondicionador $M_k$ é computado a partir de uma média móvel de gradientes ao quadrado (estilo RMSProp), adaptando-se à geometria local do landscape de energia aprendido.
Função de Perda: O objetivo minimiza a energia dos exemplos positivos enquanto maximiza a energia para os exemplos negativos, com termos de regularização para magnitude de energia e suavidade de gradiente.

4. Pontuação de Anomalia

Durante a inferência, os escores de anomalia são derivados diretamente do landscape de energia aprendido. O escore para um patch é a norma do gradiente $\|\nabla_u E_\phi(u)\|_2$ , representando a magnitude da "força de restauração" necessária para mover a amostra em direção à variedade normal. Esses escores de patch são upsampled e suavizados para gerar mapas de anomalia ao nível de pixel.

Principais Contribuições

Diagnóstico Geométrico: O artigo identifica que a instabilidade dos EBMs de espaço de token unificado decorre da violação das suposições de métrica Euclidiana pelas distribuições de tokens de fundação anisotrópicas, e não de limitações de capacidade do modelo.
Reparametrização Geométrica: O ReFP-AD introduz uma estratégia inovadora usando fluxo retificado acoplado por OT para mapear tokens de visão de alta dimensão em um espaço latente isotrópico. Isso permite amostragem MCMC estável de passos finitos sem gargalos arquiteturais ou redução de dimensionalidade.
Avaliação Unificada: O método é avaliado sob um protocolo unificado rigoroso (um único fluxo e EBM compartilhados para todas as categorias) nos datasets MVTec-AD e VisA, demonstrando que a estimativa de densidade explícita pode superar baselines baseados em reconstrução ou similaridade.

Resultados Experimentais

O método foi avaliado nos datasets MVTec-AD (15 categorias) e VisA (12 categorias).

Performance: O ReFP-AD alcança resultados de estado da arte entre detectores baseados em densidade:
- MVTec-AD: 98,6% Image AUROC / 97,9% Pixel AUROC.
- VisA: 97,3% Image AUROC / 99,0% Pixel AUROC.
Comparação: O ReFP-AD supera baselines de EBM unificados anteriores (ex: MPDR) em até +10,8% em Image AUROC no VisA. Também supera métodos líderes baseados em fluxos normalizantes (HGAD) no MVTec-AD.
Insights de Ablação:
- Necessidade de Precondicionamento: Remover o fluxo retificado causa uma queda significativa de performance (ex: Visá Image AUROC cai de 97,3% para 87,0%), confirmando que os espaços de tokens brutos são inadequados para a dinâmica de Langevin de passos finitos.
- Eficiência de Amostragem: O espaço precondicionado permite uma mistura rápida de MCMC. Performance estável é alcançada com apenas 20 passos de SGLD, enquanto o SGLD padrão no espaço bruto falha em misturar efetivamente.
- Unificado vs. Por Categoria: O modelo unificado segue modelos dedicados por categoria por uma margem de apenas 0,4–0,6%, demonstrando a viabilidade de um único modelo para dados heterogêneos.

Significância e Alegações

O artigo alega que a principal barreira para escalar Modelos Baseados em Energia para representações de fundação é a geometria de amostragem, não a capacidade do modelo. Ao abordar o desajuste geométrico através de um mapa de transporte aprendido, o ReFP-AD permite:

Treinamento de Alta Dimensão Estável: EBMs podem ser treinados diretamente em representações de tokens densas e de alta dimensão (1536-D) sem colapsá-las em gargalos de baixa dimensão.
Preservação de Semântica: Ao contrário de métodos que comprimem características, o ReFP-AD preserva a rica informação estruturada dos tokens necessária para localização precisa e modelagem multiclasse.
Princípio Geral: O trabalho sugere um paradigma geral para modelagem baseada em energia: primeiro condicione a geometria da representação, depois aprenda a energia.

Os autores reconhecem que, embora o método melhore a robustez da detecção, a exigência de integração de ODE (solver RK4 de 10 passos) e avaliação de gradiente aumenta a latência de inferência em comparação com detectores baseados em feed-forward ou k-NN, tornando-o mais adequado para inspeção offline ou cenários onde a modelagem unificada sobrepõe-se a restrições de tempo real estritas.