기술 요약: 콜드 스타트 산업용 시각적 이상 탐지를 위한 파운데이션 모델

1. 문제 정의 및 동기

산업용 시각적 이상 탐지(IVAD)는 자동화된 품질 검사에 필수적이지만, "콜드 스타트(cold-start)" 시나리오에서 상당한 배포 장벽에 직면해 있습니다. 이러한 시나리오는 타겟 도메인 데이터의 부족, 희귀한 결함 발생, 그리고 생산 라인의 변경, 재료 교체 또는 장비 노후화로 인한 빈번한 분포 변화를 특징으로 합니다. 전통적인 지도 학습 또는 비지도 학습 방법은 과거 데이터가 현재의 조건과 일치하지 않거나, 훈련을 위한 타겟 샘플이 없는 경우 실패하는 경우가 많습니다.

본 논문은 콜드 스타트 IVAD를 단순히 하나의 실험적 설정이 아니라, 추론 전 타겟 도메인 샘플의 가용성에 의해 결정되는 일련의 배포 레짐(regime)으로 정의합니다. 저자들은 파운데이션 모델(FM)이 재사용 가능한 의미적, 공간적, 추론적 사전 지식(prior)을 제공함에도 불구하고, 이들이 본질적으로 "이상 인지적(anomaly-aware)"이지는 않다는 중요한 간극을 식별했습니다. 이 모델들은 객체를 인식하거나 텍-이미지 정렬을 위해 훈련되었기 때문에, 결함이 있는 제품과 결함이 없는 제품이 의미 공간 내에서 서로 가깝게 유지될 수 있습니다. 결과적으로, IVAD에 파운데이션 모델을 적용하려면 표현의 초점을 객체의 정체성에서 정상-이상 판별로 전환하는 적응(adaptation) 과정이 필요합니다.

식별된 주요 문제는 통일된 배포 지향적 분류 체계의 부재입니다. 기존 문헌은 종종 "제로샷(zero-shot, 타겟 데이터 없음)"을 "퓨샷(few-shot, 일부 타겟 데이터 있음)"과 혼동하거나, 타겟 데이터를 사용한 적응과 보조(auxiliary, 비타겟) 데이터를 사용한 적응을 구분하지 못합니다. 이러한 혼동은 공정한 비교를 방해하고 성능 향상의 실제 원인을 모호하게 만듭니다.

2. 방법론적 프레임워크 및 분류 체계

본 서베이는 데이터 가설과 방법론적 역량을 명확히 하기 위해 두 개의 독립적인 축을 분리하는 **배포 지향적 정식화(deployment-oriented formulation)**를 제안합니다.

• 축 I: 타겟 도메인 데이터 가용성 (추론 전):

  • 제로샷 레짐 (Zero-Shot Regime): 타겟 참조, 캘리브레이션 또는 적응 샘플을 사용할 수 없습니다 ($D^n_{tgt} = \emptyset, D^a_{tgt} = \emptyset$). 모델은 오직 사전 훈련 또는 보조 데이터에만 의존합니다.
  • 퓨-노멀 레짐 (Few-Normal Regime): 소수의 이상이 없는 타겟 샘별이 사용 가능합니다 ($|D^n_{tgt}| = K \ge 1$). 이는 참조 뱅크를 구축하거나 임계값을 캘리브레이션하는 데 사용되지만, 이상 샘플은 존재하지 않습니다.
  • 퓨-애브노멀 레짐 (Few-Abnormal Regime): 소수의 타겟 이상 샘플이 사용 가능하며 ($|D^a_{tgt}| \ge 1$), 잠재적으로 정상 샘플과 함께 제공되어 결함 특이적 감독(supervision)을 제공합니다.

• 축 II: 보조 데이터 적응 (배포 전):

  • 이 축은 외부 데이터(비타겟 산업 데이터셋, 합성 결함 또는 텍스트 설명)를 사용하여 사전 훈련된 사전 지식을 더 이상-인지적으로 만드는 데 사용하는지 여부를 명시합니다. 이 적응은 타겟 레짐과 직교하며, 방법론은 타겟 데이터에 대해서는 제로샷이면서도 파라미터 업데이트(예: 어댑터 또는 프롬프트 훈련)를 위해 보조 데이터를 활용할 수 있습니다.

또한, 본 서베이는 서로 다른 방법론적 접근을 요구하는 두 가지 유형의 이상을 분류합니다:

• 구조적 이상 (Structural Anomalies): 국소적 외관 또는 기하학적 불규칙성(스크래치, 균열, 찍힘 등). 탐지를 위해서는 미세한 시각적 표현과 픽셀 수준의 로컬라이제이션이 필요합니다.
• 논리적 이상 (Logical Anomalies): 관계적 또는 의미적 위반(부품 누락, 수량 오류, 조립 불량 등). 탐지를 위해서는 구성 요소 파싱, 관계적 추론 및 도메인 특정 규칙 준수가 필요합니다.

3. 파운데이션 모델 기반 접근 방식 검토

본 논문은 검사 파이프라인에서의 기능적 역할에 따라 기존 방법들을 정리합니다.

3.1 전처리 및 관심 영역(ROI) 그라운딩

제한된 타겟 감독은 암시적인 전경 학습을 방해하므로, 명시적인 ROI 그라운딩은 필수적인 전처리 단계입니다.

• 클래스 불가지론적 세그멘테이션 (Class-Agnostic Segmentation): SAM(Segment Anything Model)을 자동 마스크 생성(AMG) 모드로 활용하여 시각적 불연속성을 기준으로 이미지를 분할합니다. 이러한 마스크는 배경 노이즈를 억란하고 인스턴스 수준의 분해를 가능하게 합니다.
• 오픈 보캐블러리 그라운딩 (Open-Vocabulary Grounding): Grounding DINO와 같은 모델을 사용하여 텍스트 설명을 공간적 영역에 매핑합니다.
• 계층적 파이프라인 (Cascaded Pipelines): Grounding DINO(의미적 필터링용)와 SAM(정밀 마스크 생성용)을 결합하여 의미적으로 유도된 픽셀 수준 마스크를 생성하는 일반적인 패러다임으로, 이는 하위 구조적 또는 논리적 분석의 입력으로 사용됩니다.

3.2 구조적 이상 탐지 및 로컬라이제이션

구조적 이상을 위한 방법은 밀집된 시각적 표현과 공간적 정밀도에 집중합니다.

• 시각-언어 정렬 (Vision-Language Alignment): CLIP 스타일의 아키텍처를 활용하여 의미적 지식을 전이합니다. 접근 방식은 다음과 같습니다:
  • 텍스트 프롬프트 모델링: 수작업 템플릿에서 벗어나, 이상 의미를 더 잘 인코딩하기 위해 학습 가능하고 적응적이며 확률적인 프롬프트로 이동합니다.
  • 시각적 특징 정제: 다중 스케일 집계, 어텐션 메커니즘(예: 글로벌 의미 지배력을 줄이기 위한 Value-Value 어텐션), 주파수 모델링을 통해 국소 결함 민감도를 높입니다.
  • 교차 모달 적응: 투영 레이어, 어댑터 및 테스트 시간 적응(test-time adaptation)을 사용하여 시각적 패치를 이상 관련 텍스트 개념과 정렬합니다.
• 시각 전용 인코더 (Vision-Only Encoders): 텍스트 정렬 없이 고정된 자기지도 학습 백본(예: DINO, SigLIP)에서 직접 이상 큐를 추출합니다. 방법론에는 서브스페이스 모델링(정상 패치 재구성) 및 어텐션 일관성 분석(글로벌 어텐션 패턴에서 벗어나는 영역 식별)이 포함됩니다.
• 프롬프트 가능 세그멘테이션 (Promptable Segmentation): 직접적인 결함 마스크 생성을 위해 SAM 기반 아키텍처를 사용하거나, 장면을 객체로 분해하여 영역 수준 추론을 수행하는 구조적 파서로 사용합니다.
• 멀티모달 대규모 언어 모델 (MLLMs): GPT-4V 또는 LLaVA와 같은 모델을 엔드 투 엔드 탐지에 배치하거나, 세그멘테이션 디코더를 가이드하는 토큰을 생성하는 데 사용합니다. 강력한 추론 능력을 제공하지만, 공간 해상도와 환각(hallucination) 문제에 직면해 있습니다.

3.3 논리적 이상 탐지 및 관계적 추론

논리적 이상을 위한 방법은 구성 요소 간의 관계와 규칙 준수에 집중합니다.

• MLLM을 통한 명시적 추론: 탐지를 멀티모달 추론 문제로 취급하여, MLLM이 시각적 증거와 텍ual 규칙으로부터 논리적 정당성을 추론하게 합니다. 접근 방식은 퓨샷 인컨텍스트 러닝을 사용하는 엔드 투 엔드 추론부터, 상위 인지 모듈(세그멘테이션/탐지)이 구조화된 데이터를 MLLM에 전달하여 검증하는 모듈형 파이프라인까지 다양합니다.
• 구성 요소 수준 분해 및 매칭: 파운데이션 모델을 사용하여 이미지를 구성 요소로 분해한 후, 쿼리 그래프를 참조 그래프와 비교하기 위해 그래프 기반 매칭 또는 이분 매칭(bipartite matching)을 사용하는 방식으로 인지와 추론을 분리합니다.
• 규칙 기반 정렬 (Rule-Grounded Alignment): 명시적인 논리 규칙(긍정 및 부정)을 공유 시각-언어 공간에 임베딩하여 시각적 특징을 유효한 구성과 정렬합니다.

4. 주요 기여

본 서베이는 네 가지 주요 기여를 합니다:

1. 배포 지향적 정식화: 타겟 도메인 데이터 가용성과 보조 데이터 적응을 분리하여 제로샷, 퓨-노멀, 퓨-애브노멀 레짐을 구분함으로써 공정한 비교를 가능하게 하는 명확한 분류 체계를 제공합니다.
2. 기능적 조직화: 파운데이션 모델 기반 IVAD 방법론을 전처리/ROI 그라운딩, 구조적 이상 로컬라이제이션, 논리적 이상 추론이라는 구체적인 검사 파이프라인 역할에 따라 정리합니다.
3. 이상 분류의 구분: 구조적 이상과 논리적 이상을 별개의 배포 문제로 명시적으로 다루며, 구조적 탐지는 미세한 로컬라이제이션을, 논리적 탐지는 구성 요소 파싱과 관계적 추론을 강조함을 밝힙니다.
4. 평가의 비판적 분석: 대표적인 데이터셋, 교차 데이터셋 프로토콜 및 지표를 요약하며, 일관되지 않은 데이터 가정(예: 숨겨진 보조 데이터 또는 타겟 참조)이 해당 분야의 공정한 성능 비교를 어떻게 저해하는지 강조합니다.

5. 결과 및 향후 과제

본 논문은 새로운 실험 결과를 제시하는 대신 기존 문헌의 내용을 종합합니다. 저자들은 파운데이션 모델 기반 접근 방식, 특히 제로 및 퓨샷 방법이 카테고리 다양성이 증가함에 따라(예: Real-IAD Variety 벤치마크) 다중 클래스 비지도 탐지기 대비 상대적인 안정성을 보여주었다고 언급합니다. 그러나 본 서베이는 견고한 산업적 배포를 가로막는 몇 가지 핵심 과제를 식별합니다:

• 표준화된 평가: 표준화된 프로토콜의 부재로 인해 설정이 혼재되어 있어(예: 제로샷과 보조 데이터 적응의 혼용), 특정 모델 설계에 의한 성능 향상을 귀속시키기 어렵습니다.
• 이상 인지적 적응 (Anomaly-Aware Adaptation): 좁은 보조 데이터셋에 과적합되거나 광범위한 전이 능력을 잃지 않으면서 파운데이션 모델을 이상에 민감하게 적응시키는 것이 반복되는 과제입니다.
• 확장성 (Scalability): 유망하긴 하지만, 다양한 제품 카테고리, 재료 및 생산 조건 전반에 걸친 이러한 방법론의 확장성은 아직 입증되지 않았습니다.
• 미세 로컬라이제이션 (Fine-Grained Localization): 파운데이션 모델은 종종 작고 대비가 낮은 산업적 결함에 필요한 경계 민감도가 부족합니다.
• 논리적 추론: 현재의 방법들은 환각, 일관되지 않은 판단, 그리고 완전한 규칙 기술이나 대표적인 정상 예시의 필요성 문제로 어려움을 겪고 있습니다.
• 임계값 캘리브레이션 (Threshold Calibration): 실제 배포에는 신뢰할 수 있는 임계값 선택과 불확실성 정량화가 필요하지만, 이는 콜드 스타트 환경에서 연구가 미흡한 상태입니다.
• 효율성 및 배포 가능성: 여러 대형 모델을 계층적으로 연결하는 것은 계산 병목 현상과 해상도 불일치(예: 고해상도 산업 이미지 vs 고정된 입력 크기)를 야기하여 실시간 적용에 큰 장애물이 됩니다.

6. 의의

본 연구의 의의는 이론적인 파운데이션 모델의 능력과 산업 현장의 실제 배포 현실 사이의 간극을 메우려는 시도에 있습니다. 저자들은 엄격한 배포 지향적 분류 체계를 구축함으로써, 이 분야가 단순한 지표 개선을 넘어 검증 가능하고 재현 가능하며, 실제 생산 라인의 역동적이고 데이터가 부족한 상황을 처리할 수 있는 시스템을 향해 나아가야 한다고 주장합니다. 본 서베이는 연구자들이 콜드 스타트 IVAD의 특정 병목 현상을 해결하기 위한 로드맵 역할을 하며, 시스템의 가치는 단순히 AUROC 점수가 아니라, 엄격한 산업적 제약 조건 하에서 로컬라이제이션, 추론, 캘리브레이션 및 효율적으로 작동할 수 있는 능력에 의해 결정된다는 점을 강조합니다.