1. 문제 정의 (Problem)

산업 현장의 품질 관리에서 결함 검사는 필수적이지만, 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• Closed-set 가정의 한계: 기존 감독 학습 기반 검사는 미리 정의된 결함 카테고리만 인식할 수 있어, 새로운 유형의 결함 (Novel Anomalies) 이 나타나면 재학습이 필요합니다.
• 텍스트 프롬프트의 부적합성: 언어 기반 오픈셋 검사는 전문 용어로 설명하기 어려운 미세한 시각적 결함 (예: 미세한 흠집, 변색) 에 있어 신뢰도가 낮습니다.
• 기존 비주얼 프롬프팅의 실패: 기존 비주얼 프롬프팅 (Visual Prompting) 방법은 입력 이미지 영역과 예시 프롬프트를 매칭하는 방식인데, 산업 데이터의 높은 클래스 내 변동성 (Intra-class variance, 예: 회전, 조명 변화) 과 미세한 클래스 간 차이 (Subtle inter-class differences) 로 인해 프롬프트 임베딩이 붕괴 (Embedding Collapse) 되는 문제가 발생합니다. 이는 새로운 결함을 제대로 구분하지 못하게 만듭니다.

2. 제안 방법: UniSpector (Methodology)

이 논문은 프롬프트 - 영역 매칭에 의존하기보다, 의미론적으로 구조화되고 전이 가능한 프롬프트 위상 (Topology) 을 설계하는 데 초점을 맞춘 UniSpector 프레임워크를 제안합니다. 주요 구성 요소는 다음과 같습니다.

가. 공간 - 스펙트럼 프롬프트 인코더 (Spatial-Spectral Prompt Encoder, SSPE)

• 목적: 회전 불변성 (Orientation-invariance) 을 유지하면서 미세한 텍스처를 포착하여 클래스 간 분리를 극대화합니다.
• 작동 원리:
  • 프롬프트 영역 (RoI) 의 2D 이산 푸리에 변환 (DFT) 을 수행합니다.
  • 방향 편향을 제거하기 위해 동심원 주파수 링을 따라 크기를 평균화하여 방사형 주파수 스펙트럼 (Radial Frequency Spectrum) 을 추출합니다. 이는 회전 변화에 강인합니다.
  • 추출된 스펙트럼 코드와 마스킹 크로스 어텐션을 통해 추출된 공간 코드를 융합하여 최종 프롬프트 임베딩을 생성합니다.

나. 대비적 프롬프트 인코딩 (Contrastive Prompt Encoding, CPE)

• 목적: 프롬프트 임베딩 공간을 의미론적으로 조직화된 각도 매니폴드 (Angular Manifold) 로 정규화합니다.
• 작동 원리:
  • 클래스 내 응집성 (Intra-class compactness): 동일한 클래스의 인스턴스를 하나의 의미적 정체성으로 정렬합니다.
  • 의미론적 각도 위상 (Semantic Angular Topology): ArcFace 에서 영감을 받은 각도 마진 대비 손실 (Angular-margin Contrastive Loss) 을 적용합니다.
  • 관련 있는 결함 클래스는 각도상 가깝게, 관련 없는 클래스는 멀리 배치되도록 강제하여, 보지 못한 (Unseen) 결함이 임의의 위치가 아닌 의미론적으로 일관된 위치에 배치되도록 합니다.

다. 프롬프트 유도 쿼리 선택 (Prompt-guided Query Selection, PQS)

• 목적: 학습된 편향에 의존하지 않고 프롬프트 특성에 맞춰 적응적인 객체 쿼리 (Object Queries) 를 동적으로 선택합니다.
• 작동 원리:
  • 비전 토큰과 프롬프트 간의 유사도를 계산합니다.
  • Gumbel-Softmax를 사용하여 미분 가능한 (Differentiable) 방식으로 Top-K 토큰을 선택합니다. 이를 통해 쿼리가 프롬프트의 특성에 적응적으로 초기화되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 구조적 통찰: 산업 검사의 맥락에서 비주얼 프롬프팅의 구조적 한계 (임베딩 붕괴) 를 규명하고, 이를 해결하기 위한 프롬프트 위상 설계의 중요성을 강조했습니다.
2. UniSpector 프레임워크: SSPE 와 CPE 를 결합하여 회전 불변성과 의미론적 구조를 동시에 확보한 새로운 아키텍처를 제안했습니다.
3. InsA 벤치마크: 비주얼 프롬프팅 기반 오픈셋 결함 검사를 위한 첫 번째 벤치마크인 "Inspect Anything (InsA)" 를 구축했습니다. 이는 도메인 내 (In-domain) 및 도메인 간 (Cross-domain) 일반화 능력을 평가합니다.

4. 실험 결과 (Results)

• 벤치마크 (InsA): 7 개의 산업 결함 데이터셋 (GC10, MVTec, Real-IAD 등) 으로 구성된 InsA 에서 기존 방법론 (GroundingDINO, YOLO-World, DINOv, T-Rex2 등) 과 비교했습니다.
• 성능: UniSpector 는 모든 베이스라인을 압도적으로 능가했습니다.
  • AP50b (검출): 기존 최상위 모델 대비 최소 19.7% 향상.
  • AP50m (분할): 기존 최상위 모델 대비 최소 15.8% 향상.
• 일반화 능력:
  • 도메인 내 (In-domain): 새로운 결함 유형에 대해 높은 정확도를 보였습니다.
  • 도메인 간 (Cross-domain): 다른 재질이나 촬영 조건에서도 우수한 전이 성능을 입증했습니다.
  • 임베딩 분석: t-SNE/PCA 시각화 결과, UniSpector 는 클래스 내 응집성이 높고 클래스 간 간격이 명확하게 분리된 구조를 형성하는 반면, 기존 방법 (DINOv 등) 은 임베딩이 산재되어 있음을 확인했습니다.
• 데이터 효율성: 클래스당 1~3 개의 프롬프트 이미지로도 성능이 안정화되어, 산업 현장의 제한된 데이터 수집 환경에 적합함을 보였습니다.

5. 의의 및 결론 (Significance)

• 재학습 없는 확장성: 새로운 결함이 발생하더라도 대량의 레이블링과 재학습 없이 프롬프트 예시만 제공하면 검사가 가능한 확장 가능한 (Scalable) 패러다임을 제시했습니다.
• 산업 적용 가능성: 미세하고 복잡한 산업 결함의 특성을 고려한 스펙트럼 - 대비적 접근법은 범용 비주얼 프롬프팅 설계에 중요한 통찰을 제공하며, 진화하는 산업 환경에 적합한 차세대 검사 시스템의 기초를 마련했습니다.

이 논문은 기존 오픈셋 검사의 한계를 극복하고, 스펙트럼 정보와 대비적 학습을 결합한 위상 구조화를 통해 산업용 결함 검사의 신뢰성과 유연성을 획기적으로 높였다는 점에서 의의가 큽니다.