기술 요약: GenAU – 언어 기반 산업 이상 탐지 이해 (Language-Grounded Industrial Anomaly Understanding)

1. 문제 정의

산업 검사 시스템은 단순한 이진 이상 탐지 이상의 것을 요구합니다. 실제 응용 분야에서는 각 이미지에 대해 다음 네 가지 핵심 질문에 답할 수 있는 포괄적인 이해가 필요합니다: (1) 이상이 존재하는가? (2) 위치는 어디인가? (3) 어떤 유형의 이상인가? (4) 왜 이것이 이상하다고 간주되는가?

기존 방식들은 이러한 기능들을 통합하는 데 실패하고 있습니다:

• CLIP 기반 제로샷 방법론 (예: AnomalyCLIP, MultiADS)은 이미지 수준의 탐지와 픽셀 수준의 국지화(localization)에는 뛰어나지만, 의미론적 이해가 제한적이며 자연어로 결함을 설명할 수 없습니다.
• 지시어 튜닝된 시각-언어 모델(VLM) (예: LLaVA, AnomalyGPT)은 강력한 멀티모달 추론 능력을 갖추고 결함을 설명할 수 있지만, 일반적으로 고유한 픽셀 수준 세그멘테이션(segmentation) 능력이 부족하며, 국지화를 위해 외부 탐지기에 의존하는 경우가 많습니다.

이러한 격차는 작업별 재학습이나 외부 모듈 없이도 이미지 수준 탐지, 픽셀 수준 세그멘테이션, 다중 유형 인식, 그리고 결함 추론을 동시에 수행할 수 있는 단일 아키텍처의 부재에서 발생합니다.

2. 방법론: GenAU 프레임워크

GenAU는 이러한 과업들을 단일 지시어 이행(instruction-following) 모델 내에서 통합하도록 설계된 범용 시각-언어 프레임워크입니다. 이 모델은 자가회귀형 VLM(구체적으로 LLaVA-OneVision)을 언어 기반 세그멘테이션 메커니즘으로 확장합니다.

핵심 아키텍처

• 이중 경로 (Dual Pathways): 모델은 텍스트 생성 경로와 시각적 그라운딩(visual grounding) 경로를 결합합니다.
• 세그멘테이션 토큰: GenAU는 두 개의 전용 특수 토큰인 [SEG defect]와 [SEG normal]을 도입합니다. 이 토큰들은 언어 기반의 앵커(anchor) 역할을 합니다.
• 시각적 그라운딩 (Visual Grounding):
  • 동결된 비전 인코더(SigLIP)가 다중 스케일 패치 특징을 추출합니다.
  • 디코더의 최종 레이어에서 생성된 [SEG defect] 및 [SEG normal] 토큰의 은닉 상태(hidden states)가 쿼리(query) 역할을 합니다.
  • 이 쿼리들은 선형 투영 레이어를 통해 다중 스케일 시각 특징과 정렬되어 코사인 유사도 로짓(cosine-similarity logits)을 계산합니다.
  • 결과물인 유사도 맵(similarity maps)은 업샘플링 및 집계 과정을 거쳐 픽셀 수준의 이상 맵을 생성합니다.
• 고해상도 리드아웃 (AnyRes): 미세한 공간적 세부 사항을 처리하기 위해, 프레임워크는 글로벌 뷰와 더불어 고해상도 이미지 타일을 함께 처리하며, 생성된 맵들을 융합하여 최종 세그멘테이션 출력을 만듭니다.

학습 및 추론

• 결합 목적 함수 (Joint Objective): 모델은 다음이 결합된 손실 함수로 학습됩니다:
  • 텍스트 생성 손실 ($L_{txt}$): 결함 설명을 생성하기 위한 표준 크로스 엔트로피 손실.
  • 세그멘테이션 손실 ($L_{seg}$): ground-truth 마스크에 대해 생성된 유사도 맵에 적용되는 Focal, Tversky, Dice 손실의 조합.
  • 균형 조절: 하이퍼파라미터 $\lambda_{seg}$가 언어 모델링과 픽셀 수준 감독(supervision) 사이의 균형을 맞춥니다.
• 매개변수 효율성: 학습 시 디코더, 토큰 임베딩, LM 헤드 및 투영 레이어에 LoRA(Low-Rank Adaptation)를 적용하며, 비전 인코더와 교차 모달 프로젝터는 동결된 상태로 유지합니다.
• 추론: 모델은 제로샷, 단일 이미지 설정에서 작동합니다. 모델은 결함 유형과 두 개의 세그멘테이션 토큰을 포함하는 구조화된 응답을 생성합니다.
  • 이미지 수준 점수: 세그멘테이션 맵의 최댓값과 정상/결함 결정에 대한 디코더의 로그-오즈(log-odds)를 융합하여 계산합니다.
  • 다중 유형 탐지: 결정론적 파서(deterministic parser)가 텍est 응답을 대상 결함 어휘집에 대한 다중 레이블 벡터로 매핑합니다.
  • 추론: 모델은 결함 인지 및 인과 관계 추론에 관한 개방형 질문에 답합니다.

3. 주요 기여

1. 통합 프레임워크: 이미지 수준 탐지, 픽셀 수준 세그멘테이션, 다중 유형 이상 인식, 텍스트 결함 분석을 공동으로 수행하는 최초의 지시어 이행 아키텍처인 GenAU를 소개합니다.
2. 언어 기반 세그멘테이션: 전용 세그멘테이션 토큰의 은닉 상태가 앵커 역할을 하여 언어 표현을 다중 스케일 시각 특징과 정렬함으로써, 외부 마스크 디코더 없이도 픽셀 수준의 국지화를 가능하게 하는 새로운 메커리즘을 제시합니다.
3. 교차 데이터셋 평가: 분포 변화(MVTec-AD로 학습, VisA, MPDD, Real-IAD로 테스트) 환경에서의 포괄적인 평가를 통해, 단일 자가회귀형 VLM이 전체 산업 검사 스택을 처리할 수 있음을 입증합니다.
4. 트레이드오프 특성화: 세그멘테이션-추론 간의 트레이드오프를 명시적으로 분석하여, 추론 능력을 추가하는 것이 탐지 및 세그멘테이션 성능에 정량화 가능하고 관리 가능한 비용을 초래함을 보여줍니다.

4. 실험 결과

본 논문은 분포 변화(cross-dataset distribution shift) 조건 하에서 표준 산업 벤치마크를 통해 GenAU를 평가합니다.

• 이진 탐지 및 세그멘테이션:
  • VisA 데이터셋에서 GenAU-7B는 CLIP 기반 제로샷 방법들 중 가장 높은 이미지 수준 AUROC(87.6%)를 달성했으며, 경쟁력 있는 픽셀 수준 AUROC(94.7%)를 기록했습니다.
  • MPDD 및 Real-IAD에서 GenAU는 강력한 성능을 보여주지만, 모든 방법론에서 픽셀 수준 AUPRO가 여전히 도전적인 지표임을 언급합니다.
  • GenAU는 순수 픽셀 수준 세그멘테이션 지표에서 전문화된 CLIP 베이스라인(예: AnomalyCLIP, MultiADS)을 능가하지는 못하지만, 언어 추론이라는 추가적인 능력을 제공합니다.
• 다중 유형 탐지:
  • GenAU-7B는 VisA 및 MPDD 모두에서 유일한 다중 유형 가능 베이스라인인 MultiADS와 추론 특화 모델인 Anomaly-OV를 F1 스코어 측면에서 능가합니다.
  • 이러한 개선은 주로 후보 리스트 제한 디코딩(candidate-list-constrained decoding)에 기인한 높은 정밀도(precision)에 의해 주도되었습니다.
• 결함 추론:
  • VisA-D&R 벤치마크에서 GenAU는 저수준 인지 및 복잡한 인과 추론 점수(GPT-4o 평가) 모두에서 기본 모델인 LLaVA-OneVision과 전용 추론 모델인 Anomaly-OV를 크게 앞섭니다.
  • 특히, GenAU-0.5B는 저수준 인지 측면에서 Anomaly-OV-7B를 능가하며, 이는 작은 규모에서도 추론 지시어 혼합의 효과가 나타남을 시사합니다.

5. 의의 및 주장

본 논문은 GenAU가 작업 특정적 모델에서 통합된 "범용(generalist)" 접근 방식으로의 전환을 나타낸다고 주장합니다. 주요 의의는 단일 지시어 이행 VLM이 하나의 아키텍처와 학습 레시피 내에서 전체 검사 스택(존재 여부, 위치, 유형, 이유 답변)을 커버할 수 있음을 입증했다는 점에 있습니다.

저자들은 다음과 같은 한계를 인정합니다:

• 세그멘테이션 vs 전문화: GenAU는 과업을 통합하지만, 픽셀 수준 세그멘테이션 성능이 전문화된 CLIP 기반 베이스라인을 넘어서지는 못합니다.
• 글로벌 컨텍스트: 모델은 강한 국소적 시각 큐가 없는 전역적으로 정의되거나 논리적인 이상(예: 부품 누락)을 처리하는 데 어려움을 겪으며, 이는 제로샷 설정에서 흔히 발생하는 문제입니다.
• 미세 분류: 학습 데이터에 특정 결함이 단일 사례로만 존재하는 경우, 미세한 결함 유형에 대한 일반화가 여전히 어렵습니다.

결론적으로, 본 논문은 글로벌 컨텍스트 및 미세 분류에 대한 과제가 지속되고 있음에도 불구하고, GenAU가 탐지, 세그멘테이션, 추론 사이의 간극을 성공적으로 메우며 더욱 총체적인 산업 검사 시스템을 위한 정량화된 트레이드오프를 제공한다고 밝히고 있습니다.