Hypergraph Normal World Models for Logical Visual Anomaly Detection

기술 요약: 논리적 시각적 이상 탐지를 위한 하이퍼그래프 정상 세계 모델 (Hypergraph Normal World Models)

1. 문제 정의

시각적 이상 탐지는 일반적으로 결함이 없는 이미지로만 모델을 학습시켜 테스트 데이터의 편차를 식별하는 "정상 전용(normal-only)" 프로토콜 하에서 작동합니다. 기존 방법론들은 로컬 패치를 정상 참조 분포에 매핑함으로써 구조적 이상(예: 스크래치, 얼룩, 질감 누락)을 탐지하는 데는 뛰어나지만, 논리적 이상을 탐지하는 데는 어려움을 겪습니다.

논리적 이상은 이미지가 국부적으로는 정상적인 부분들로 구성되어 있으나, 잘못된 객체 수, 불가능한 공존, 또는 일관되지 않은 공간적 관계와 같이 시각적 세계의 전역적 규칙을 위반할 때 발생합니다. 핵심 과제는 두 가지입니다:

1. 제한된 커버리지: 퓨샷(few-shot) 또는 정상 전용 설정에서 모델은 가능한 모든 정상 외형을 암기하는 것에 의존할 수 없으며, 카테고리의 근저에 있는 "규칙"을 학습해야 합니다.
2. 관계적 복잡성: 탐지기는 개별 영역의 외형뿐만 아니라, 해당 영역들 간의 구성 및 관계의 유효성을 평가해야 합니다. 표준 패치 기반 메모리 뱅크는 전역 구조가 유효하지 않더라도 로컬 특징이 익숙하게 유지되기 때문에 여기서 한계를 보입니다.

2. 방법론: 하이퍼그래프 정상 세계 모델

제안된 방법인 하이퍼그래프 정상 세계 모델은 새로운 시각 인코더를 학습시키는 대신, 동결된 파운데이션 모델의 특징으로부터 카테고리 특유의 "정상 세계"를 추출함으로써 이러한 과제를 해결합니다.

핵심 구성 요소:

• 동결된 파운데션 사전 지식 (Frozen Foundation Prior): 모델은 동결된 DINOv2 인코더를 사용하여 의미론적 패치 토큰을 추출합니다. 이는 방대한 양의 레이블 없는 데이터로부터 학습된 광범위한 시각적 지식을 활용하여, 타겟 정상 이미지가 매우 적은 상황(few-shot)에서도 오버피팅 없이 효과적으로 작동하게 합니다.
• 하이퍼그래프 구축: 이미지를 독립적인 패치들의 집합으로 취급하는 대신, 이 방법은 패치 그리드를 고정된 하이퍼그래프로 조직합니다.
  • 노드 (Nodes): 개별 패치 토큰.
  • 하이퍼엣지 (Hyperedges): 패치의 공간적 그룹화 (예: 사분면, 중심/경계 영역, 행/열 밴드, 로컬 그리드 셀). 이는 "영역 수준"의 상태를 나타냅니다.
  • 관계 (Relations): 모델은 패치 쌍과 하이퍼엣지 쌍 사이의 코사인 유사도를 계산하여 공간적 및 의미론적 의존성을 포착합니다.
• 정상 세계 통계량: 피팅 단계(정상 이미지만 사용) 동안 모델은 네 가지 유형의 증거에 대한 가우시안 통계량(평균 및 분산)을 추정합니다:
  1. 패치 위치 (Patch-location): 개별 토큰 분포.
  2. 쌍별 관계 (Pairwise relations): 특정 패치 쌍 사이의 유사도.
  3. 하이퍼엣지 (Hyperedges): 풀링된 영역 토큰의 분포.
  4. 하이퍼엣지 관계 (Hyperedge relations): 영역 그룹 간의 유사도.
  • 추가로, 쌍별 유사도의 전반적인 분포를 포착하기 위해 전역 관계 히스토그램이 유지됩니다.
• 정보 몫 (Information Quotient, $Q$): 추론 시, 모델은 학습된 정상 통계량에 상대적인 각 증거 유형의 "에너지"(제곱 마할라노비스 거리)를 계산합니다. 이 에너지들은 표준화되어 가중 합산된 **정보 몫($Q$)**이 됩니다.
  • 낮은 $Q$는 이미지가 학습된 정상 세계에 의해 효율적으로 설명됨을 의미합니다.
  • 높은 $Q$는 이미지가 학습된 구조적 사전 지식 하에서 설명되기 위해 비정상적인 관계 정보가 필요함을 의미하며, 이는 논리적 이상을 나타내는 신호가 됩니다.

3. 주요 기여

1. 논리적 이상 탐지의 정식화: 본 논문은 논리적 이상 탐지를 단순한 로컬 패치 매칭을 넘어 카테고리 특유의 관계적 규칙을 포착하기 위해 동결된 파운데이션 토큰 상에서 "정상 세계"를 모델링하는 것으로 프레임화했습니다.
2. 하이퍼그래프 정보 몫: 패치 증거, 쌍별 관계, 하이퍼엣지(영역) 증거 및 하이퍼엣지 관계를 통합하는 스코어링 메커니즘을 도입했습니다. 이를 통해 모델은 학습된 구조적 사전 지식 하에서 이미지를 설명하는 효율성을 평가할 수 있습니다.
3. 해석 가능성 및 검증: 저자들은 모델이 얕은 매핑이 아닌 학습된 구조적 지식을 반영한다는 것을 보여주는 광범한 분석을 제공합니다. 여기에는 다음이 포함됩니다:
   • t-SNE를 통한 학습된 에너지 공간에서의 논리적 이상의 분리.
   • 관계적 카운터팩추얼(로컬 외형은 유지하면서 토큰 블록을 치환) 적용 시 점수의 유의미한 상승.
   • 무작위 하이퍼그래프 사용 시 성능 저하를 통한 의미 있는 공간 구조의 가치 입증.
   • 논리적 이상이 특정 하이퍼엣지 관계를 통해 높은 점수를 유도함을 보여주는 어트리뷰션(attribution) 분석.

4. 실험 결과

이 방법은 MVTec LOCO AD 벤치마크, 특히 구조적 및 논리적 이상이 모두 포함된 breakfast-box 카테고리에서 평가되었습니다.

• 성능: 전체 하이퍼그래프 모델은 논리적 AUROC 0.9279를 달 기록했으며, 이는 다음 모델들을 크게 상회합니다:
  • DINOv2 패치-kNN 베이스라인 (0.8434).
  • 제안된 방법의 비-하이퍼그래프 변형 모델 (0.9013).
  • 글로벌 특징 베이스라인 (DINOv2 CLS: 0.8616).
• 구조적 vs 논리적: 패치-kNN 베이스라인이 구조적 결함(제안된 모델 0.7207 대비 0.8650)에서는 여전히 우수했지만, 제안된 모델은 특히 논리적 이상 탐지에서 탁월한 성능을 보였습니다. 이는 두 접근 방식의 상호 보완적 성격을 확인시켜 줍니다.
• 퓨샷 능력: 모델은 극도로 제한된 훈련 데이터에서도 효과적이었습니다. 단 하나의 정상 이미지만으로 논리적 AUROC 0.8597을 달성했으며, 351개의 전체 이미지를 사용했을 때는 0.9279까지 상승했습니다. 이는 동결된 파운데이션 사전 지식의 효용성을 입증합니다.
• 절제 연구 (Ablation Studies): 하이퍼그래프 구조를 제거하면 성능이 감소하여, 패치를 영역 상태로 그룹화하는 것이 중요하다는 점이 확인되었습니다. "하이퍼엣지 노드" 구성 요소 단독이 가장 강력한 단일 기여자였으나, 전체 조합이 최상의 결과를 냈습니다.

5. 의의 및 주장

본 논문은 논리적 시각적 이상 탐지가 단순히 정상적인 로컬 패치가 아니라 정상적인 관계를 모델링하는 작업이라고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 패러다임의 전환: "패치 희귀성"에서 "세계 규칙 위반"으로 이동합니다. 모델은 유효한 이미지가란 부분이 특정 방식으로 공존하고 관계를 맺는 이미지임을 학습합니다.
• 데이터 희소성에서의 효율성: 동결된 파운데이션 모델로부터 지식을 추출함으로써, 전통적인 메모리 뱅크 방식이 정상 외형 공간을 커버하지 못할 수 있는 퓨샷 설정에서도 강력한 성능을 달성합니다.
• 해석 가능성: "정보 몫"은 분해 가능한 점수를 제공하여, 실무자가 어떤 관계적 또는 영역적 제약이 위반되었는지(예: 하이퍼엣지 어트리뷰션을 통해) 정확히 식별할 수 있게 하며, 이는 블랙박스 형태의 재구성 또는 분류 모델이 제공하지 못하는 통찰력을 제공합니다.

저자들은 자신들의 모델이 구조적 결함에 대한 패치 메모리를 대체하는 것은 아니지만, 논리적 이상을 탐지하기 위해 필요한 **관계 인식 신호(relation-aware signal)**를 제공한다고 결론지으며, 로컬 패치 메모리와 정상 세계 관계 모델링을 결고합하는 하이브리드 시스템의 미래 방향을 제시합니다.