Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

컴퓨터가 수백만 장의 사진을 통해 무엇이 "정상"인지 이해하도록 훈련된 초강력 눈을 가진 세상을 상상해 보십시오. 이 디지털 탐정들은 공장 라인에서 자동차 부품의 미세한 균열을 찾아내는 것부터 의료 스캔에서 숨겨진 종양을 찾는 것까지 도처에서 사용됩니다. 이들은 새로운 이미지를 완벽하고 정상적인 예시들의 라이브러리와 비교하는 방식으로 작동합니다. 만약 새로운 이미지가 너무 다르게 보인다면, 컴퓨터는 경보를 울립니다. 하지만 여기에는 함정이 있습니다. 이 디지털 눈은 속임수에 넘어갈 수 있습니다. 마술사가 손기술로 인간 관찰자를 속이는 것처럼, 영리한 해커는 이미지에 보이지 않는 "노이즈"를 추가하여 컴퓨터를 혼란에 빠뜨릴 수 있습니다. 이는 아주 미세하여 사람의 눈에는 거의 보이지 않는 변화입니다. 이 변화는 컴퓨터를 속여, 실제로는 고장 난 것을 정상으로 보이게 하거나, 완벽한 것을 고장 난 것으로 보이게 만듭니다. 이것이 바로 "적대적 공격(adversarial attacks)"의 무서운 현실이며, 안전이 중요한 시스템에서 매우 큰 문제입니다.

이제, 단지 몇 장의 사진—어쩌면 단 한 장이나 네 장—만으로도 학습할 수 있는 새로운 종류의 탐정을 상상해 보십시오. 이것은 "퓨샷(few-shot)" 탐지라고 불리며, 빠르고 저렴하며 유연하기 때문에 게임 체인저가 됩니다. 여러분이 읽게 될 논문은 한 가지 큰 미해결 질문을 다룹니다. 만약 우리가 이 초고속 퓨샷 탐정들을 사용한다면, 그들은 해커로부터 안전할까요? 저자들은 이러한 효율적인 탐정들이 보호 장치 없이는 놀라울 정도로 취약하다는 것을 발견했습니다. 아주 작은, 보이지 않는 툭 치는 동작 하나만으로도 이들은 완전히 실패할 수 있습니다. 하지만 걱정하지 마십시오. 그들은 문제점만을 찾아낸 것이 아니라, 방패를 만들었습니다. 그들은 퓨샷 탐정들이 속임수를 꿰뚫어 보고 신뢰성을 유지할 수 있도록, 뇌를 다시 훈련할 필요 없이 '안경'과 '정신적 필터' 역할을 하는 2단계 방어 시스템을 구축했습니다.

문제점: "원샷(One-Shot)" 탐정과 보이지 않는 협잡꾼

산업 안전의 세계에서 기업들은 종종 결함을 즉시 찾아내야 합니다. 발생 가능한 모든 결함의 사진 수천 장을 모을 때까지 기다리는 것은 실용적이지 않습니다. 그래서 연구자들은 "비전 파운데이션 모델(Vision Foundation Models)"—이미 형태와 질감에 대해 많은 것을 알고 있는 거대한 사전 훈련된 AI 뇌(DINOv2와 같은)—에 주목했습니다. 이 모델들은 단순한 "k-최근접 이웃(k-nearest-neighbor, k-NN)" 시스템과 결합될 수 있습니다. 이 시스템을 '완벽한' 패치 샘 샘플들을 선반에 보관하고 있는 사서라고 생각해 보십시오. 새로운 이미지가 도착하면, 사서는 이미지를 작은 사각형(패치)들로 나누고 이렇게 묻습니다. "이 사각형은 나의 완벽한 샘플 중 무엇과 가장 닮았는가?" 만약 새로운 사각형이 완벽한 것들과 매우 다르게 보인다면, 그것은 이상치(anomaly)로 분류됩니다.

이 설정은 "훈련이 필요 없다(training-free)"는 점에서 매우 훌륭합니다. 사서에게 새로운 것을 가르칠 필요 없이, 단지 몇 장의 참조 사진만 주면 됩니다. 그러나 저자들은 엄청난 취약점을 발견했습니다. 사서의 결정은 단순한 수학 공식(거리)에 기반하기 때문에, 해커는 '완벽한' 이미지의 픽셀을 정확히 어떻게 수정해야 사서에게 '고장 난' 것처럼 보이게 하거나, 반대로 '정상'처럼 보이게 할 수 있는지 계산할 수 있습니다. 이는 마치 위조범이 특정 판사의 눈에 자신의 서명이 진짜처럼 보이도록 잉크를 얼마나 더 추가해야 하는지 정확히 알고 있는 것과 같습니다. 판사가 매우 엄격하더라도 말입니다.

이 논문은 이러한 효율적인 퓨샷 시스템들이 믿기 힘들 정도로 취약하다는 것을 확인해 줍니다. 특정 유형의 디지털 노이즈(PGD-20, 강도 $\epsilon = 8/255$)로 공격을 받으면, 정상과 고장 난 이미지를 구분하는 시스템의 능력이 붕괴됩니다. 표준 테스트 세트인 MVTec-AD에서, 시스템의 정확도는 견고한 97.5%에서 처참한 25.8%로 떨어졌습니다. '좋은' 이미지는 갑자기 '나쁜' 것으로 분류되었고, '나쁜' 이미지는 '좋은' 것으로 분류되었습니다. 컴퓨터가 완전히 속아 넘어간 것입니다.

해결책: 2층 구조의 방패

저자들은 사서(파운데이션 모델)를 다시 훈련시킬 수 없다는 것을 깨달았습니다. 왜냐하면 이 시스템의 핵심은 모델이 고정된 상태로 즉시 사용 가능하다는 점이기 때문입니다. 그들은 사서의 '주변'에서 작동하는 방어책이 필요했습니다. 그들은 두 단계의 방패인 PatchShift와 FeaturePurifier를 구축했습니다.

1단계: "카펫을 흔드는" 기술 (PatchShift)
여러분에게 특정한 패턴이 있는 카펫이 있고, 누군가 당신을 속이기 위해 그 위에 완벽하고 보이지 않는 선을 그렸다고 상상해 보십시오. 만약 카펫을 아주 조금만 움직인다면, 그 선은 의도했던 방식대로 패턴과 일치하지 않게 될 것입니다. 저자들은 이 아이디어를 사용했습니다. 그들은 이미지를 입력하기 전에 이미지를 여러 방향(위, 아래, 왼쪽, 오른쪽)으로 약간씩 이동시킵니다. 이 과정을 여덟 번 수행하여, 동일한 이미지에 대한 여덟 개의 약간 다른 "뷰(view)"를 생성합니다.

해커의 속임수는 특정 정렬에 맞춰 설계되었기 때문에, 이미지를 이동시키면 그 속임수가 깨집 됩니다. 일부 뷰는 여전히 약간 이상해 보일 수 있지만, 다른 뷰들은 정상적으로 보일 것입니다. 시스템은 그런 다음 여덟 개 결과의 "중앙값(median)"을 취합니다. 이것은 여덟 명의 사람에게 답을 추측하게 하는 것과 같습니다. 몇 명이 속임수에 의해 혼란을 겪더라도, 대다수는 진실을 보게 됩니다. 이 간단한 "흔들기" 단계만으로도 도움이 되지만, 모든 속임수를 잡아내기에는 충분하지 않습니다.

2단계: "정신적 필터" (FeaturePurifier)
이미지를 이동시킨 후에도, 해커의 노이즈 중 일부는 여전히 컴퓨터의 "뇌"(특징 공간, feature space)로 스며들 수 있습니다. 이를 해결하기 위해 저자들은 "FeaturePurifier"를 추가했습니다. 이것은 이미지와 사서 사이에 앉아 있는 특화된 번역가라고 생각하십시오. 이 번역가의 임무는 "혼란스럽거나" "오염된" 이미지의 묘사를 받아 다시 "깨끗한" 묘사로 번역하는 것입니다.

이 번역가는 작고 가벼운 AI로, 깨끗한 특징을 어떻게 정화하는지 학습합니다. 이는 시스템이 이미 가지고 있는 아주 적은 수의 참조 사진을 사용하여 학습됩니다. 이 모델은 "깨끗한" 패치가 어떻게 생겼는지, 그리고 "오염된" 패치가 어떻게 생겼는지를 학습하고, 오염된 패치를 다시 깨끗한 쪽으로 밀어내는 법을 배웁니다. 이는 마치 사진 편집기가 해커가 추가한 "글리치(glitch)" 효과를 자동으로 제거하여, 사서가 이미지를 보기 전에 원래의 상태로 복구하는 것과 같습니다.

결과: 이전보다 더 강력해진 성능

저자들은 세 가지 산업 데이터셋(MVTec-AD, VisA, MPDD)에 대해 단 4장의 참조 사진만을 사용하는 "4-샷(4-shot)" 설정으로 새로운 방패를 테스트했습니다. 결과는 인상적이었습니다.

방어 장치가 없다면 해킹당한 시스템은 쓸모가 없습니다. 하지만 이들의 2층 방패(PatchShift + FeaturePurifier)와 함께라면 시스템은 회복되었습니다.

• 이미지 탐지: MVTec-AD 데이터셋에서, 시스템은 공격 하에서의 25.8% 성공률에서 76.1%(이미지 수준 AUROC)로 회복되었습니다.
• 픽셀 수준 정확도: 시스템은 공격받은 방어 없는 베이스라인과 비교했을 때 픽셀 수준 정확도(PRO)에서 약 51 퍼센트 포인트의 거대한 도약을 보여주었습니다.
• 클린 성능: 결정적으로, 방패는 해커가 없을 때 시스템을 망가뜨리지 않았습니다. "클린(clean)" 정확도는 거의 동일하게 유지되었으며, 감소 폭은 3% 미만이었습니다. 이는 시스템이 여전히 실제 결함을 찾아내는 데 있어 이전만큼 우수하면서도, 이제는 가짜 결함까지 무시할 수 있음을 의미합니다.
• 비교: 그들의 방법은 훨씬 더 많은 학습 데이터와 복잡한 적대적 훈련을 요구하는 무거운 시스템들과 대등하거나 오히려 더 나은 성능을 보였습니다.

이것이 중요한 이유

이 논문은 세상의 모든 문제를 해결했다고 주장하는 것이 아니라, 위험한 간극을 메웠다고 주장합니다. 저자들은 몇 장의 사진만을 사용하는 인기 있고 효율적인 방식인 '고정된 AI 모델 사용'이 보이지 않는 속임수에 취약하다는 것을 보여주었습니다. 더 중요한 것은, 안전을 확보하기 위해 그 효율성을 버릴 필요가 없다는 것을 증명했다는 점입니다. 이미지를 "흔들고" 컴퓨터의 내부 시야를 "정화"하는 영리한 조합을 사용함으로써, 이러한 빠르고 유연한 탐지기를 해커로부터 견고하게 만들 수 있습니다.

저자들은 해커가 시스템을 알고 있는 상황(white-box)을 가정하여 특정 유형의 공격을 사용하여 방어력을 테스트했으며, 그들의 방법은 해커가 새로운 방패에 맞춰 속임수를 조정하려 할 때도 잘 버텨냈습니다. 이는 "PatchShift + FeaturePurifier" 조합이 우리의 산업 및 의료 AI 시스템을 정직하게 유지하기 위한 강력하고 실용적인 솔루션임을 시사합니다. 이는 때때로 스마트한 시스템을 보호하는 최선의 방법은 시스템을 더 똑똑하게 만드는 것이 아니라, 더 좋은 안경을 씌워주고 더 맑은 정신을 갖게 하는 것임을 상기시켜 줍니다.