🤖 machine learning

ReFP-AD: Rectified Flow Preconditioning for Energy-Based Anomaly Detection

ReFP-AD는 고차원 토큰 공간에서 에너지 기반 모델(Energy-Based Model) 학습을 안정화하기 위해 최적 운송 결합 정류 흐름(optimal transport-coupled rectified flow)을 통한 기하학적 재매개변수화를 도입하며, 이를 통해 MVTec-AD 및 VisA 데이터셋에서 최첨단 통합 이상 탐지 성능을 달성한다.

원저자: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Camile Lendering, Erkut Akdag, Joaquín Figueira, Egor Bondarev

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 갤러리에서 가짜 그림을 찾아내려는 탐정이라고 상상해 보십시오. 당신은 수천 점의 진품 명작들을 연구하며 수년간 쌓은 경험이 있기에, 붓터치와 색상, 그리고 질감이 마땅히 어떠해야 하는지를 정확히 알고 있습니다. 하지만 당신은 가짜를 본 적은 없습니다. 당신의 임무는 새로운 그림들이 가득한 방에 들어가서, 그중 어울리지 않는 단 하나를 즉각적으로 지목하는 것입니다. 이것이 바로 인공지능 세계에서의 '이상 탐지(anomaly detection)'라는 도전 과제입니다. AI는 '나쁜' 사례를 한 번도 보여주지 않은 상태에서 무엇이 '정상'인지를 학습해야 합니다.

이를 위해 현대의 AI는 종종 인터넷 전체를 학습한 초거대 두뇌와 같은 '파운데이션 모델(foundation models)'을 사용합니다. 이 모델들은 이미지를 '토큰(tokens)'이라는 아주 작은 조각들로 분해하고, 이미지의 의미를 포착하는 긴 숫자 리스트인 '임베딩(embeddings)'으로 변환합니다. 하지만 이 숫자 리스트들은 매우 무질서합니다. 그것들은 마치 엉킨 실타래와 같아서, 어떤 실은 팽팽하게 당겨져 있고 어떤 실은 느슨하며, 모두가 복잡하게 매듭지어져 있습니다. 만약 이 무질서한 리스트를 사용하여 새로운 이미지가 얼마나 '이상한지'를 수학적으로 측정하려고 한다면, 수학적 계산은 혼란에 빠지게 됩니다. 그것은 발밑에서 줄이 끊임없이 뒤틀리는 줄타기를 하는 것과 같습니다. 이 논문은 바로 그 특정 문제, 즉 AI가 신뢰할 수 있게 가짜를 찾아낼 수 있도록 그 엉킨 줄을 어떻게 곧게 펴낼 것인가에 대해 다룹니다.

엉킨 줄 문제 (The Tangled Rope Problem)

에인트호번 공과대학교(Eindhoven University of Technology)의 카밀 렌더링(Camile Lendering)과 그녀의 연구팀은 AI가 이상치를 탐지하는 방식에서 좌절감을 주는 결함을 발견했습니다. 그들은 에너지 기반 모델(Energy-Based Models, EBMs)이라는 강력한 수학적 유형을 사용하고 있었습니다. EBM을 언덕과 골짜기가 있는 지형이라고 생각해 보십시오. '정상' 이미지(예: 완벽한 공장 부품이나 건강한 잎사귀)는 깊고 매끄러운 골짜기에 편안하게 자리 잡고 있습니다. 반면 '이상치'(예: 스크래치나 결함)는 삐죽삐죽한 봉우리 높은 곳에 위치해야 합니다.

문제는 AI가 이 지형을 탐색하기 위해 '랑주뱅 역학(Langevin dynamics)'이라는 방법을 사용하는데, 이는 기본적으로 가장 낮은 지점을 찾기 위한 무작위 보행(random walk)입니다. 하지만 데이터가 앞서 언급한 무질서하고 엉킨 파운데이션 모델에서 왔기 때문에, 지형은 매끄러운 골짜기가 아니라 뒤틀리고 비등방성(anisotropic, 한 방향으로 늘어진)인 악몽 같은 모습이었습니다. 무작위 보행은 중간에 갇히거나, 벽에 부딪히거나, 통제 불능 상태로 소용돌이치며 벗어났습니다. 그것은 마치 구겨진 공 모양으로 찌그러진 미끄럼틀 아래로 구슬을 굴리는 것과 같았습니다. 이를 해결하려는 이전의 시도들은 데이터를 더 작고 단순한 형태로 압축하는 방식이었으나, 이는 너무 많은 세부 정보를 버리게 되어 AI가 미세한 결함에 눈멀게 만들었습니다.

곧게 펴는 해결책: ReFP-AD

연구팀은 ReFP-AD(Rectified Flow Preconditioning for Anomaly Detection)라고 불리는 영리한 새로운 기술을 제안했습니다. 데이터가 멋대로 행동하도록 강요하는 대신, 그들은 '기하학적 교정기(geometric straightener)'를 만들었습니다.

그림이 그려진 구겨진 종이가 있다고 상상해 보십시오. 만약 종이가 구겨진 상태에서 그림을 측정하려고 한다면, 당신의 자는 잘못된 답을 내놓을 것입니다. ReFP-AD는 마치 마법 같은 기계처럼, 그림을 찢거나 잉크를 잃게 하지 않으면서 종이를 부드럽게 펼쳐 완벽하게 평평하게 만드는 것과 같습니다. 기술적인 용어로, 그들은 '직교 흐름(rectified flow, 일종의 수학적 맵)'을 사용하여 무질서하고 고차원적인 토큰 리스트를 깨끗하고 잘 정리된 '잠재 공간(latent space)'으로 변환합니다.

이 새롭고 곧게 펴진 공간에서는 이상치 지형의 '언덕과 골짜기'가 매끄럽고 예측 가능해집니다. 이제 AI가 정상 데이터를 찾기 위해 무작위 보행을 할 때, 갇히거나 헤매지 않고 부드럽게 미끄러지듯 이동합니다. 이를 통해 AI는 기존 파운데이션 모델의 풍부한 세부 정보를 버리지 않으면서도, 모델을 작고 부정확한 버전으로 축소할 필요 없이 온전히 활용할 수 있게 됩니다.

연구 결과

결과는 인상적이었습니다. 연구팀은 두 가지 주요 산업 데이터셋인 MVTec-AD(15가지 카테고리의 물체 포함)와 VisA(12가지 카테고리 포함)를 대상으로 이 방법을 테스트했습니다. 그들은 '통합(unified)' 프로토콜을 사용했는데, 이는 각 물체마다 별도의 모델을 훈련시키는 것이 아니라 단 하나의 단일 AI 모델이 이 모든 다양한 물체를 동시에 처리하도록 훈련했음을 의미합니다.

MVTec-AD 데이터셋에서 ReFP-AD는 **이미지 AUROC 98.6%**와 **픽셀 AUROC 97.9%**를 달 achieved 했습니다.
VisA 데이터셋에서는 이미지 97.3%, **픽셀 99.0%**를 기록했습니다.

이를 비교해 보자면, 이 '곧게 펴는' 기술 없이 이를 수행하려 했던 이전의 통합 모델들은 성능 면에서 상당한 어려움을 겪었습니다. 논문에 따르면, ReFP-AD는 이미지 탐지 정확도에서 기존의 가장 뛰어난 에너지 기반 모델 베이스라인보다 최대 10.8% 더 높은 성능을 보였습니다.

연구진은 자신들의 아이디어가 핵심임을 증명하기 위해 여러 실험을 수행했습니다. '곧게 펴는' 단계를 제거하고 무질서한 원본 데이터로 AI를 훈련시켰을 때, 성능은 급격히 떨어졌습니다(VisA에서 87.0%로 하락). 또한, 공간이 매우 잘 조직되어 있기 때문에 AI가 정답을 찾는 데 수백 번의 단계를 거칠 필요가 없다는 것도 발견했습니다. 이전에는 훨씬 더 많은 단계가 필요했거나 아예 실패했을 상황에서도, 이제는 약 20단계만으로 정답을 얻을 수 있었습니다.

이것이 중요한 이유

이 논문은 AI가 결함을 포착하는 데 있어 더 똑똑해지기 위한 병목 현상이 단순히 더 큰 두뇌나 더 복잡한 모델을 만드는 데 있는 것이 아님을 시사합니다. 그것은 모델이 생각하기 전에 데이터를 어떻게 준비하느냐에 달려 있습니다. 데이터의 기하학적 구조를 먼저 바로잡음으로써, 연구진은 기존 파운데이션 모델의 잠재력을 완전히 끌어올렸습니다.

현재 이 방법은 결정을 내리기 전에 '곧게 펴는' 수학적 계산을 수행해야 하기 때문에 일부 단순한 탐지기보다는 다소 느릴 수 있지만, 이는 우리가 다양한 종류의 물체에 대해 결함을 포착하는 데 매우 뛰어난 단일 통합 AI를 구축할 수 있음을 입증합니다. 이는 한 명의 똑똑한 탐정이 공장 전체를 순찰하며, 금속 기어의 스크래치와 직물 롤의 찢어진 부분을 '망가진 것'이 무엇인지 배우지 않고도 동일한 높은 수준의 정확도로 찾아내는 미래를 향한 한 걸음입니다.

기술 요약: ReFP-AD

문제 정의

시각적 이상 탐지(Visual Anomaly Detection, VAD)는 훈련 과정에서 이상 사례에 대한 접근 없이 정상 데이터의 분포로부터의 편차를 식별하는 것을 목표로 한다. **통합 설정(unified setting)**에서는 단일 모델이 다양한 객체 범주, 질감 및 외관 변화를 가로질러 일반화할 수 있어야 한다. DINOv2와 같은 파운데이션 모델은 시각적 데이터를 의미론적으로 구조화된 매니폴드로 구성하는 풍부하고 고차원적인 토큰 표현(예: 1536차원 벡터)을 제공하지만, 이러한 공간을 명시적인 밀도 추정(density estimation)에 활용하는 것은 여전히 까다로운 과제이다.

**에너지 기반 모델(Energy-Based Models, EBMs)**은 입력에 스칼라 에너지 $E(x)$ 를 할당함으로써 이러한 작업을 수행하기 위한 원칙적인 프레임워크를 제공하며, 여기서 이상치는 높은 에너지 상태에 해당한다. 그러나 고차원 토큰 공간에서 EBM을 훈련하는 것은 매우 불안정하다. 이러한 불안정성은 아키텍처의 문제가 아니라 근본적으로 기하학적인(fundamentally geometric) 문제로 식별된다:

비등방성 및 상관관계(Anisotropy and Correlation): 트랜스포머 토큰 분포는 매우 비등방적이며 강력한 차원 간 상관관계를 보인다.
메트릭 불일치(Metric Mismatch): 표준 랑주뱅 역학(Langevin dynamics, 음의 예시를 샘플링하는 데 사용됨)은 등방적 가우시안 노이즈를 가진 등방적 유클리드 메트릭을 가정한다. 이 가정과 실제 토큰 기하학 사이의 불일치는 조건화가 제대로 되지 않은 궤적(poorly conditioned trajectories)을 초래한다.
샘플링 불안정성(Sampling Instability): 유한 단계 마르코프 체인 몬테카를로(MCMC) 샘플링(예: Persistent Contrastive Divergence) 하에서, 이러한 기하학적 불일치는 느린 혼합(slow mixing), 진동하는 "지그재그" 궤적, 그리고 불안정한 음의 단계(negative phases)를 유발하며, 이로 인해 기존 방법들은 훈련을 안정화하기 위해 표현을 저차원 병목 구간으로 압축해야만 하는 상황에 직면한다.

방법론: ReFP-AD

저자들은 **ReFP-AD (Rectified Flow Preconditioning for Anomaly Detection)**를 제안한다. 이는 표현의 기하학(representation geometry)과 밀도 추정을 분리하는 프레임워크이다. ReFP-AD는 에너지 모델을 수정하거나 특징을 압축하는 대신, 샘플링 공간을 프리컨디셔닝(precondition)하기 위한 기하학적 재매개변수화(geometric reparameterization)를 학습한다.

1. 통합 토큰 표현 (Unified Token Representation)

이 방법은 동결된 DINOv2 ViT 백본을 사용하여 패치 토큰을 추출한다. 통합 설정에서 범주 간의 규모 차이를 처리하기 위해, 토큰은 정상 훈련 데이터의 통계치를 사용하여 범주별로 Z-점수 표준화(Z-score standardization)된다. 이는 통합 모델이 적용되기 전의 고정된 아핀 전처리 단계 역할을 한다.

2. 최적 운송 흐름을 통한 기하학적 프리컨디셔닝 (Geometric Preconditioning via Optimal Transport Flow)

핵심 혁신은 비등방적 토큰 분포를 잘 조건화된, 근사적으로 등방적인 잠재 공간으로 재형성하는 운송 맵(transport map)을 학습하는 것이다.

Rectified Flow: 연속 시간 운송 맵은 상미분 방정식(ODE)으로 정의되는 신경망 $v_\theta(t, x_t)$ 에 의해 매개변수화된다.
OT-Coupling: 소스 토큰 $z$ 와 타겟 등방성 가우시안 변수 $u \sim \mathcal{N}(0, \tau^2 I)$ 는 안정적인 로그 도메인 싱크혼(Sinkhorn) 반복을 사용하여 계산된 엔트로피 최적 운송(OT) 결합을 통해 연결된다.
훈련 목적 함수: 플로우(flow)는 네트워크가 예측한 속도(velocity)와 선형 보간 벡터 $(u-z)$ 사이의 매칭 손실을 최소화하도록 훈련된다.
검증: 체크포인트는 투영된 부분 공간(projected subspace)에서 계산된 SGLD 적합성 진단(조건화, 잔차 상관관계, 꼬리 안정성)을 기준으로 선택되며, 이를 통해 운송 맵이 매니폴드 위상(manifold topology)을 붕괴시키지 않으면서 유한 단계 MCMC 동작을 구체적으로 개선하는지 확인한다.

3. 프리컨디셔닝된 SGLD를 이용한 무제약 EBM (Unconstrained EBM with Preconditioned SGLD)

토큰이 잠재 공간 $u$ 로 운송되면, 무제약 에너지 기반 모델(잔차 MLP)이 훈련된다.

훈련: 모델은 **지속적 대조 발산(Persistent Contrastive Divergence, PCD)**을 사용한다. 음의 샘플은 RMSProp 방식의 이동 평균 제곱 그래디언트를 사용하여 계산된 프리컨디셔너 $M_k$ 를 통해 로컬 기하학에 적응하며 업데이트된다.
손실 함수: 목적 함수는 양의 샘플의 에너지를 최소화하는 동시에 음의 샘플의 에너지는 최대화하며, 에너지 크기와 그래디언트 매끄러움에 대한 규제 항을 포함한다.

4. 이상 점수 산출 (Anomaly Scoring)

추론 시, 이상 점수는 학습된 에너지 지형으로부터 직접 유도된다. 패치의 점수는 샘플을 정상 매니폴드로 이동시키기 위해 필요한 "복원력(restoring force)"의 크기를 나타내는 그래디언트 노름(gradient norm) $\|\nabla_u E_\phi(u)\|_2$ 이다. 이 패치 점수들은 업샘플링 및 평활화 과정을 거쳐 픽셀 수준의 이상 맵을 생성한다.

주요 기여

기하학적 진단: 본 논문은 통합 토큰 공간 EBM의 불안정성이 모델 용량의 한계가 아니라, 비등방적 파운데이션 토큰 분포에 의한 유클리드 메트릭 가정의 위반에서 기인함을 식별하였다.
기하학적 재매개변수화: ReFP-AD는 OT 결합된 Rectified Flow를 사용하여 고차원 비전 토큰을 등방성 잠재 공간으로 매핑하는 새로운 전략을 도입한다. 이를 통해 아키텍처적 병목 현상이나 차원 축소 없이 안정적인 유한 단계 MCMC 샘플링을 가능하게 한다.
통합 평가: 이 방법은 MVTec-AD 및 VisA 데이터셋에서 엄격한 통합 프로토콜(모든 범주에 대해 공유된 단일 플로우 및 EBM 사용) 하에 평가되었으며, 기하학이 적절히 조건화될 때 명시적 밀도 추정이 재구성 기반 또는 유사도 기반 베이스라인보다 우수함을 입증하였다.

실험 결과

방법론은 MVTec-AD(15개 범주) 및 VisA(12개 범주) 데이터셋에 대해 평가되었다.

성능: ReFP-AD는 밀도 기반 탐지기 중 최첨단(SOTA) 결과를 달성했다:
- MVTec-AD: 이미지 AUROC 98.6% / 픽셀 AUROC 97.9%.
- VisA: 이미지 AUROC 97.3% / 픽셀 AUROC 99.0%.
비교: ReFP-AD는 VisA의 이미지 AUROC에서 기존의 통합 EBM 베이스라인(예: MPDR)보다 최대 +10.8% 높은 성능을 보였다. 또한 MVTec-AD에서 선도적인 정규화 흐름 기반 방법(HGAD)을 능가한다.
Ablation 통찰:
- 프리컨디셔닝의 필요성: Rectified Flow를 제거하면 성능이 크게 저하된다(예: VisA 이미지 AUROC가 97.3%에서 87.0%로 하락). 이는 가공되지 않은 토큰 공간이 유한 단계 랑주뱅 역학에 부적합함을 확인시켜 준다.
- 샘플링 효율성: 프리컨디셔닝된 공간은 빠른 MCMC 혼합을 허용한다. 표준 SGLD가 원시 공간에서 효과적으로 혼합되지 못하는 것과 달리, 프리컨디셔닝된 공간에서는 단 20 SGLD 단계만으로도 안정적인 성능을 달성할 수 있다.
- 통합 vs. 범주별 모델: 통합 모델은 전용 범주별 모델과 단 0.4~0.6%의 차이만을 보였으며, 이는 이질적인 데이터에 대해 단일 모델을 사용하는 것이 가능하다는 것을 입증한다.

의의 및 주장

본 논문은 에너지 기반 모델을 파운데이션 표현으로 확장하는 데 있어 주요 장벽은 모델 용량이 아니라 샘플링 기하학이라고 주장한다. 학습된 운송 맵을 통해 기하학적 불일치를 해결함으로써, ReFP-AD는 다음과 같은 것을 가능하게 한다:

안정적인 고차원 훈련: EBM을 저차원 병목 구간으로 압축하지 않고도 고밀도 고차원 토큰 표현(1536-D)에서 직접 훈련할 수 있다.
의미론적 보존: 특징을 압축하는 방법들과 달리, ReFP-AD는 정확한 국지화(localization) 및 다중 클래스 모델링에 필요한 풍부하고 구조화된 토큰 정보를 보존한다.
일반 원칙: 본 연구는 에너지 기반 모델링을 위한 일반적인 패러다임을 제시한다: 먼저 표현의 기하학을 조건화한 후, 에너지를 학습하라.

저자들은 이 방법이 탐지 견고성을 향상시키지만, ODE 적분(10단계 RK4 솔버) 및 그래디언트 계산 요구사항으로 인해 피드포워드(feed-forward) 또는 k-NN 기반 탐지기에 비해 추론 지연 시간이 증가한다는 점을 인정하며, 따라서 엄격한 실시간 제약보다 통합 모델링이 더 중요한 오프라인 검사 시나리오에 더 적합하다고 밝히고 있다.