Spatial Autoregressive Modeling of DINOv3 Embeddings for Unsupervised Anomaly Detection

이 논문은 DINOv3 임베딩의 공간적 및 문맥적 의존성을 명시적으로 모델링하는 2 차 자기회귀 (AR) 모델을 제안하여, 기존 메모리 뱅크 기반 방법의 계산 및 메모리 오버헤드를 줄이면서도 의료 영상 이상 탐지에서 경쟁력 있는 성능을 달성하는 효율적인 비지도 프레임워크를 제시합니다.

핵심

🎨 1. 기존 방식의 문제점: "방대한 도서관"과 "혼란스러운 책장"

기존의 인공지능 (UAD) 이 병을 찾는 방식은 두 가지 큰 문제가 있었습니다.

1. 도서관의 문제 (메모리 과부하):
   • 비유: 정상적인 뇌 MRI 사진 수천 장을 모두 스캔해서 거대한 도서관에 책으로 꽂아두는 방식입니다.
   • 문제: 새로운 환자가 오면, AI 는 그 도서관을 뒤져서 "내 사진과 가장 비슷한 책"을 찾아야 합니다. 도서관이 너무 크면 (메모리 부족) 찾기도 힘들고, 시간이 너무 오래 걸립니다.
2. 책장 정리 실패 (공간 관계 무시):
   • 비유: AI 가 뇌 사진을 작은 조각 (패치) 으로 잘라내서 분석할 때, **"이 조각은 왼쪽 조각과 연결되어 있고, 오른쪽 조각과는 관계가 없다"**는 사실을 무시하고 각 조각을 따로따로 분석했습니다.
   • 문제: 뇌는 하나의 유기체처럼 연결되어 있는데, 조각만 따로 보면 전체적인 맥락 (예: 뇌의 모양이 비틀어졌는지) 을 놓치기 쉽습니다.

🚀 2. 이 논문이 제안한 해결책: "예측하는 천재 작가"

이 논문은 **"기억해 두는 것" 대신 "예측하는 것"**으로 접근법을 바꿉니다.

• 핵심 아이디어: "정상적인 뇌 사진"을 AI 가 공부하게 한 뒤, **"이 조각이 다음에 나올 조각을 어떻게 예측할 수 있을까?"**를 학습시킵니다.
• 비유 ( Autoregressive Model):
  • 마치 소설 작가가 앞 문장만 보고 다음 문장을 예측하는 것과 같습니다.
  • AI 는 정상적인 뇌 MRI 의 작은 조각들을 순서대로 보며, "이 조각의 오른쪽에 오는 조각은 보통 이런 모양이야"라고 자동으로 예측하는 능력을 기릅니다.
  • 이때, 2 차원 autoregressive (자기회귀) 모델을 사용해서, 왼쪽에서 오른쪽, 위에서 아래로 순서대로 예측하되, **주변의 공간적 관계 (이웃 관계)**까지 고려합니다.

🔍 3. 어떻게 병을 찾나요? "예상치 못한 깜짝 놀라기"

• 정상일 때: AI 가 "다음 조각은 이렇게 나올 거야"라고 예측하고, 실제 조각도 그 예측과 거의 똑같다면? → "아, 이건 정상이다."
• 병이 있을 때: AI 가 "다음 조각은 정상적인 뇌 조직일 거야"라고 예측했는데, 실제 조각은 **종양 (병변)**이라면? → "어? 내 예측과 완전히 다르잖아! 여기가 비정상이다!"
• 결과: AI 가 예측한 값과 실제 값의 차이 (오차) 가 크면 클수록, 그 부분은 '병'일 확률이 높다는 것을 의미합니다.

⚡ 4. 왜 이 방식이 더 좋은가요? (핵심 장점)

1. 도서관이 필요 없습니다 (메모리 절약):
   • 수천 장의 사진을 저장할 필요 없이, **"예측 규칙 (가중치)"**만 기억하면 됩니다. 마치 도서관 전체를 외울 필요 없이, '문장 예측법'만 익히는 것과 같습니다. 메모리 사용량이 획기적으로 줄어듭니다.
2. 한 번에 끝납니다 (속도 향상):
   • 도서관을 뒤질 필요 없이, 사진을 한 번만 넣으면 AI 가 순식간에 "여기는 정상, 저기는 비정상"이라고 판단합니다. **한 번의 계산 (Forward Pass)**으로 끝납니다.
3. 더 넓은 시야 (Dilated Convolution):
   • 논문에서는 AI 가 너무 가까운 이웃만 보고 예측하는 것을 막기 위해, **구멍이 뚫린 렌즈 (Dilated Convolution)**를 사용했습니다.
   • 비유: 가까운 친구의 얼굴만 보는 게 아니라, 멀리 있는 친구의 표정까지 보고 다음 문장을 예측하게 해서, 국소적인 오류를 더 잘 잡아냅니다. (단, 뇌 MRI 에서는 효과가 좋았지만, 간 CT 나 안과 사진에서는 상황에 따라 효과가 달랐습니다.)

📊 5. 결론: "빠르고, 가볍고, 똑똑한" 새로운 검사관

이 연구는 DINOv3라는 최신 AI 모델을 기반으로 하여, 공간적 관계를 고려한 예측 방식을 도입했습니다.

• 기존: "수천 장의 사진을 비교해서 비슷한 걸 찾아라." (느리고, 무거움)
• 이 논문: "정상적인 패턴을 예측하는 법을 배워, 예측과 다른 곳을 찾아라." (빠르고, 가볍고, 정확함)

의료 현장에서 병원을 방문할 때, 이 기술을 사용하면 컴퓨터가 병변을 찾아내는 시간이 훨씬 빨라지고, 고가의 서버 장비 없이도 가벼운 기기로 정밀한 진단이 가능해질 것입니다. 마치 수천 권의 책을 두꺼운 사전 없이, 한 두 줄의 규칙만으로 모든 책을 분석하는 마법과 같습니다.

기술 요약

1. 문제 정의 (Problem)

비지도 이상 탐지 (Unsupervised Anomaly Detection, UAD) 는 의료 영상 (병변) 이나 산업 검사 (결함) 와 같이 정상 데이터만 사용하여 비정상 영역을 식별하는 과제입니다. 최근 DINO 와 같은 기초 모델 (Foundation Models) 은 패치 (patch) 단위의 풍부한 표현력을 제공하여 UAD 성능을 크게 향상시켰으나, 기존 DINO 기반 방법론들은 다음과 같은 두 가지 주요 한계를 가지고 있습니다.

1. 공간적/맥락적 관계의 무시: 기존 방법들은 정상 이미지에서 추출한 패치 임베딩을 독립적인 샘플로 취급하거나 메모리 뱅크 (Memory Bank) 에 저장합니다. 이는 패치 간의 2 차원 공간적 구조와 이웃 관계 (Spatial and Neighborhood relationships) 를 고려하지 않아, 자기주의 (Self-attention) 와 위치 인코딩이 이미 컨텍스트를 충분히 인코딩했다고 가정하는 것입니다.
2. 높은 계산 및 메모리 오버헤드: 메모리 뱅크 기반 방법이나 프로토타입 클러스터링 방식은 inference 시 수많은 특징을 저장하고 비용이 큰 최근접 이웃 탐색 (Nearest-Neighbor Search) 을 수행해야 합니다. 이는 실시간 적용이 필요한 임상 환경 등에서 메모리 사용량과 추론 시간을 크게 증가시킵니다.

2. 제안 방법 (Methodology)

저자들은 DINOv3 패치 임베딩 간의 공간적 의존성을 명시적으로 모델링하기 위해 2 차원 자기회귀 (Autoregressive, AR) 모델을 기반으로 한 경량화된 CNN 프레임워크를 제안합니다.

• 자기회귀 분해 (AR Factorization):
  • 입력 이미지의 DINOv3 패치 임베딩 그리드 $F$를 래스터 스캔 (Raster-scan) 순서 (왼쪽에서 오른쪽, 위에서 아래) 로 정렬합니다.
  • 결합 확률 분포를 조건부 확률의 곱으로 분해합니다: $p(F) = \prod_{i,j} p(F_{i,j} | F_{<i,j})$.
  • 각 패치 $F_{i,j}$의 분포는 이전 패치들 $F_{<i,j}$에 조건부로 주어지는 등방성 가우시안 분포로 모델링됩니다.
• 마스크된 컨볼루션 네트워크 (Masked CNN):
  • 순차적 추론의 비효율성을 해결하기 위해 **마스크된 컨볼루션 (Masked Convolution)**을 사용하여 병렬 계산을 가능하게 합니다.
  • 현재 패치 $(i, j)$의 예측은 현재 패치와 그 이후의 패치 (미래 위치) 에 접근하지 못하도록 가중치를 마스킹 (Zeroing) 하여 AR 제약 조건을 만족시킵니다.
• 확장 컨볼루션 (Dilated Convolutions):
  • DINO 임베딩은 이미 전역 컨텍스트를 포함하고 있어 인접 패치 간 상관관계가 강할 수 있습니다. 이를 방지하고 더 넓은 공간적 맥락을 포착하기 위해 **확장 컨볼루션 (Dilated Convolution)**을 도입하여 수용 영역 (Receptive Field) 을 확장합니다.
• 이상 점수 산출:
  • 학습 시 정상 데이터의 부정 로그 가능도 (Negative Log-Likelihood, NLL) 를 최소화합니다.
  • 추론 시, 각 패치에 대한 조건부 NLL 값을 이상 점수 (Anomaly Score) 로 사용하여 단일 Forward Pass 만으로 이상 맵을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 공간적 의존성의 명시적 모델링: 기존 DINO 기반 방법들이 간과했던 패치 간의 2 차원 공간적 구조와 조건부 종속성을 AR 모델을 통해 명시적으로 학습합니다.
2. 효율적인 추론 프레임워크: 메모리 뱅크 저장이나 비용이 큰 이웃 탐색을 제거하고, 단일 Forward Pass 로 이상 탐지를 수행하여 메모리 효율성과 추론 속도를 극대화합니다.
3. 간단하고 효과적인 아키텍처: 복잡한 생성 모델이나 대규모 메모리 저장 없이, 경량화된 AR CNN 만으로 DINOv3 임베딩을 효과적으로 활용하는 방법을 제시합니다.

4. 실험 결과 (Results)

저자들은 BMAD 벤치마크 (BraTS2021 뇌 MRI, BTCV/LiTs 간 CT, RESC 망막 OCT) 에서 제안된 방법을 기존 SOTA 방법들과 비교 평가했습니다.

• 성능 (Performance):
  • BraTS2021: 확장 컨볼루션을 사용한 변형 (Dilated) 은 AnomalyDINO (v3-S) 와 유사한 AUROC (98.35% vs 98.38%) 를 기록했으며, AUPR (72.42%) 에서는 모든 방법 중 가장 높은 성능을 보였습니다.
  • BTCV+LiTs: 표준 컨볼루션 변형이 모든 방법 중 가장 높은 AUROC (97.32%) 를 달성했습니다.
  • RESC: PatchCore 에 비해 AUROC 는 다소 낮았으나, DINO 기반 방법들 중에서는 경쟁력 있는 성능을 보였습니다.
• 효율성 (Efficiency):
  • 추론 시간: 기존 메모리 뱅크 기반 방법 (AnomalyDINO, PatchCore 등) 에 비해 매우 빠른 추론 시간을 보였습니다 (예: BraTS2021 에서 AnomalyDINO 는 585ms 인 반면 제안 방법은 20ms 수준).
  • 메모리 사용량: 메모리 뱅크를 저장할 필요가 없어 GPU 메모리 사용량이 획기적으로 감소했습니다 (RESC 데이터셋 기준 0.2GB 수준).
• Ablation Study:
  • 확장 컨볼루션의 효과: 뇌 MRI (BraTS) 와 같이 구조화된 데이터에서는 수용 영역 확장이 성능 향상에 기여했으나, 간 CT 나 망막 OCT 와 같이 국소적 구조에 의존하는 데이터에서는 효과가 제한적이거나 오히려 성능이 약간 저하되기도 했습니다.
  • 이미지 공간 AR: 이미지 픽셀 단위로 AR 모델을 적용하면 성능이 크게 저하되어, DINO 임베딩 공간에서 모델링하는 것의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 DINOv3 임베딩의 공간적 구조를 자기회귀 모델로 효과적으로 활용함으로써, 비지도 이상 탐지 분야에서 성능과 효율성의 균형을 달성했습니다.

• 실용적 가치: 의료 현장과 같이 제한된 하드웨어 자원과 빠른 응답 시간이 요구되는 환경에서, 고비용의 메모리 뱅크 기반 방법을 대체할 수 있는 경량화 솔루션을 제공합니다.
• 방법론적 통찰: 기초 모델 (Foundation Model) 의 임베딩을 단순히 독립적인 특징으로 취급하는 것을 넘어, 2 차원 그리드 구조를 유지하며 공간적 종속성을 모델링하는 것이 이상 탐지 성능 향상에 중요함을 증명했습니다.

결론적으로, 이 연구는 복잡한 생성 모델 없이도 단순하고 빠른 AR CNN을 통해 경쟁력 있는 이상 탐지 성능을 달성할 수 있음을 보여주며, 실시간 의료 영상 분석 시스템의 구현 가능성을 높였습니다.