AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models

이 논문은 추상적인 이상 개념을 명확한 시각적 실체로 변환하고 정밀한 국소화를 가능하게 하는 세 가지 학습 가능한 시맨틱 앵커 토큰과 정렬 모듈을 도입하여 제로샷 이상 분할 성능을 획기적으로 개선한 AG-VAS 프레임워크를 제안합니다.

핵심

AG-VAS: AI 가 '이상'을 찾아내는 새로운 방법

이 논문은 **"AG-VAS"**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 공장이나 병원에서 보지 못한 새로운 종류의 제품이나 질병에서도 '결함'이나 '이상'을 찾아내어 정확하게 표시해 줄 수 있습니다.

기존의 AI 들은 새로운 것을 보면 당황하거나, 정상적인 부분까지 결함으로 오해하는 경우가 많았습니다. 하지만 AG-VAS 는 마치 숙련된 검사관처럼 행동하며, 어떤 물체든 처음 보더라도 "여기에 문제가 있어!"라고 정확히 지적해 줍니다.

이제 이 기술이 어떻게 작동하는지, 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 왜 새로운 기술이 필요했을까요? (기존의 문제점)

기존의 AI 는 마치 **"외국어만 배우고 그림은 못 보는 학생"**과 같았습니다.

• 문제 1: "결함 (Defect)"이라는 말은 매우 추상적입니다. 사과에 구멍이 난 건 '결함'이지만, 옷에 찢어진 건 '결함'이고, 피부에 반점이 난 것도 '결함'입니다. AI 에게 "결함을 찾아줘"라고만 하면, "어떤 모양의 결함인가요?"라고 되묻거나 엉뚱한 곳을 가리킵니다.
• 문제 2: AI 가 이해하는 '의미'와 실제 '이미지' 사이의 연결이 약했습니다. "구멍"이라는 단어와 이미지 속의 실제 구멍 모양을 정확히 매칭하지 못해, 위치를 잘못 잡는 경우가 많았습니다.

2. AG-VAS 의 핵심 아이디어: "세 가지 마법 토큰 (Anchor)"

AG-VAS 는 AI 의 어휘장에 **세 가지 특별한 마법 단어 (토큰)**를 추가했습니다. 이 단어들은 AI 가 결함을 찾는 데 필요한 나침반 역할을 합니다.

1. [SEG] (절대적 나침반): "이건 구멍이야, 긁힘이야, 찢어짐이야"처럼 결함의 구체적인 모양과 위치를 알려주는 단어입니다. 마치 "여기에 구멍이 있어!"라고 손가락으로 가리키는 역할입니다.
2. [NOR] (정상 나침반): "이 부분은 정상적인 패턴이야"라고 알려줍니다.
3. [ANO] (비정상 나침반): "이 부분은 정상과 달라!"라고 알려줍니다.

비유하자면:
기존 AI 는 "이상한 게 있어!"라고만 외쳤다면, AG-VAS 는 **"여기 [NOR] 는 정상인데, 저기 [ANO] 는 모양이 이상하고, 특히 [SEG] 가 구멍처럼 보여!"**라고 구체적으로 설명해 줍니다. 이 세 가지 단어가 서로 대화하며 정확한 위치를 찾아냅니다.

3. 어떻게 작동할까요? (두 가지 주요 장치)

이 시스템은 두 가지 핵심 장치를 통해 작동합니다.

A. 의미와 픽셀의 연결고리 (SPAM)

• 비유: AI 는 "구멍"이라는 **단어 (의미)**를 알고 있고, 카메라는 **이미지 (픽셀)**를 봅니다. 하지만 이 둘은 서로 말이 안 통합니다.
• 해결: AG-VAS 는 SPAM이라는 장치를 통해 "구멍"이라는 단어와 이미지 속의 실제 구멍 모양을 밀착시켜 줍니다. 마치 통역사가 두 사람의 대화를 완벽하게 연결해 주는 것처럼, AI 가 보는 이미지와 이해하는 개념을 딱 맞게 맞춰줍니다.

B. 마법 지도 그리기 (AGMD)

• 비유: AI 가 결함을 찾았으면, 이제 그 위치를 색칠해야 합니다.
• 해결: AGMD라는 장치는 앞서 찾은 나침반 ([SEG], [NOR], [ANO]) 을 바탕으로, 이미지 위에 결함 부분을 **정확하게 색칠한 마스크 (지도)**를 그려냅니다.

4. AI 를 가르친 방법: "Anomaly-Instruct20K"

이 AI 를 가르치기 위해 연구진은 **2 만 개의 새로운 교재 (Anomaly-Instruct20K)**를 만들었습니다.

• 기존 교재는 "이건 사과야, 이건 개야"처럼 이름만 알려주었습니다.
• 하지만 이 새로운 교재는 **"이 바구니는 보통 매끄러워야 하는데, 여기는 찢어져 있고, 그 이유는..."**처럼 결함의 모양, 위치, 원인을 자세히 설명하는 대화 형식으로 가르쳤습니다.
• 덕분에 AI 는 새로운 물체를 볼 때도 "아, 보통은 이런 모양인데, 여기는 이상하네?"라고 스스로 추론할 수 있게 되었습니다.

5. 실제 성과: "정상"은 무시하고 "이상"만 잡는다

가장 놀라운 점은 이 AI 가 정상적인 물체를 봤을 때, "결함이 없다"고 정확하게 판단하고 아무것도 색칠하지 않는다는 것입니다.

• 많은 AI 는 "뭔가 이상한 게 있나?"라고 생각하다가 정상적인 무늬까지 결함으로 오해하고 색칠해 버립니다 (과잉 경계).
• 하지만 AG-VAS 는 정상적인 물체에는 "아무것도 없음"이라고 명확히 거부합니다. 이는 실제 공장이나 병원에서 불필요한 오작동을 줄이는 데 매우 중요합니다.

요약

AG-VAS는 거대한 멀티모달 AI(이미지와 언어를 모두 이해하는 AI) 에 **세 가지 나침반 ([SEG], [NOR], [ANO])**을 달아주었습니다.

1. 구체적인 결함 모양을 알려주고,
2. 정상과 비정상의 차이를 비교하며,
3. 이미지와 언어를 완벽하게 연결시켜서,

새로운 제품이나 질병이라도 처음 보더라도 결함 위치를 정확하게 찾아내고, 정상인 것은 과감히 무시하는 똑똑한 AI 를 만들었습니다. 이는 산업 현장의 불량품 검사나 병원의 질병 진단에서 혁신적인 도구가 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

제로샷 시각 이상 분할 (Zero-Shot Visual Anomaly Segmentation, ZSAS) 은 재학습 없이 보지 못한 카테고리 (unseen categories) 의 객체에서 이상 영역을 직접 국소화하는 것을 목표로 합니다. 이는 데이터가 부족하거나 프라이버시가 중요한 산업 및 의료 분야에서 중요합니다.

기존의 ZSAS 접근법 (주로 CLIP 기반) 은 다음과 같은 한계를 가집니다:

• 추상적인 이상 개념: '구멍'이나 '스크래치'와 같은 이상은 구체적인 객체 (예: 사과) 와 달리 추상적이고 문맥에 의존적이어서, 텍스트 설명을 시각적 프로토타입으로 안정적으로 매핑하기 어렵습니다.
• 정렬 부족: 고수준의 의미적 임베딩 (semantic embeddings) 과 픽셀 수준의 공간적 특징 (spatial features) 간의 약한 정렬로 인해 이상 위치를 정밀하게 특정하는 데 실패합니다.
• 이진 분할 마스크 부재: 많은 기존 방법들이 이진 분할 마스크를 직접 생성하지 못해, 경험적 임계값 조정 등이 필요하여 실제 배포에 어려움이 있습니다.

최근 대규모 멀티모달 모델 (LMMs) 은 강력한 추론 능력을 보이지만, 이를 ZSAS 에 적용할 때 이상 영역을 잘못 식별하거나 전경과 배경을 혼동하는 등의 문제가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 AG-VAS (Anchor-Guided Visual Anomaly Segmentation) 라는 새로운 프레임워크를 제안합니다. 이는 LMM 의 어휘를 확장하고, 의미적 앵커 (Semantic Anchors) 와 정렬 모듈을 도입하여 문제를 해결합니다.

가. 핵심 구성 요소

1. 학습 가능한 의미 앵커 토큰 (Learnable Semantic Anchor Tokens):

   • LMM 의 어휘에 세 가지 특수 토큰을 추가하여 이상 분할을 위한 의미적 다리를 만듭니다.
   • [SEG] (Absolute Anchor): 이상 현상의 외관, 모양, 위치 (예: 구멍, 스크래치) 에 대한 구체적인 세계 지식과 문맥 정보를 인코딩합니다.
   • [NOR] 및 [ANO] (Relative Anchors): 정상 (Normal) 과 이상 (Anomalous) 패턴 간의 문맥적 대비를 모델링합니다. 다양한 카테고리에서 정상과 비정상의 차이를 학습하도록 유도합니다.

2. 시맨틱 - 픽셀 정렬 모듈 (Semantic-Pixel Alignment Module, SPAM):

   • LMM 의 고수준 의미 임베딩과 분할기 (Segmenter) 의 고해상도 픽셀 특징 간의 정렬을 강화합니다.
   • 크로스-모달 어텐션 (Cross-modal attention) 을 사용하여 의미 특징을 픽셀 특징에 정렬하고, 이를 LLM 에 입력하여 앵커가 공간적으로 일관된 시각적 단서를 효과적으로 가이드하도록 합니다.

3. 앵커 가이드 마스크 디코더 (Anchor-Guided Mask Decoder, AGMD):

   • 정렬된 앵커 임베딩을 기반으로 이진 분할 마스크를 생성합니다.
   • [SEG] 앵커는 전경 확률 지도를 생성하고, [NOR]/[ANO] 앵커는 대비적 소프트맥스를 통해 정상/비정상 확률 지도를 생성합니다.
   • 최종 이상 맵은 절대적 ([SEG]) 과 상대적 ([ANO]) 지도를 융합하여 생성되며, 0.5 임계값을 통해 이진 마스크로 변환됩니다.

나. Anomaly-Instruct20K 데이터셋

• 모델이 이상 관련 의미론을 효과적으로 학습하도록 설계된 대규모 지시 (Instruction) 데이터셋입니다.
• 구조화된 지식 주입: 결함의 외관, 모양, 공간적 속성에 대한 체계적인 설명 (기대값, 관찰, 진단, 요약, 설명) 을 포함합니다.
• 다양한 지시 유형: 직접 분할, 설명 후 분할, 분할 후 설명 등 다양한 대화 시나리오를 지원하여 모델의 상호작용 능력을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. AG-VAS 프레임워크 제안: LMM 과 분할기 간의 의미적 간극을 메우기 위해 절대적 및 상대적 의미 앵커를 도입한 엔드 - 투 - 엔드 ZSAS 프레임워크입니다.
2. Anomaly-Instruct20K 구축: 이상에 대한 구조화된 세계 지식을 LMM 에 주입하여 지시 기반 분할 능력을 향상시키는 새로운 데이터셋을 공개했습니다.
3. 성능 달성: 산업 및 의료 분야의 6 개 벤치마크에서 제로샷 설정 하에 기존 CLIP 기반 및 최신 LMM 기반 방법들을 모두 능가하는 State-of-the-Art (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: MVTec-AD, KSDD2, RSDD (산업), ISIC, ColonDB, ClinicDB (의료) 등 6 개 데이터셋에서 평가.
• 성능 지표: AP(Average Precision), F1-Max, IoUano(이상 샘플의 IoU), IoUnor(정상 샘플의 거부율).
• 주요 결과:
  • 정밀도: LLaVA-OneVision-7B 백본을 사용할 때, 모든 산업 및 의료 데이터셋에서 AP, F1-Max, IoUano 측면에서 기존 최첨단 방법들 (WinCLIP, AnomalyCLIP, Bayes-PFL, LISA 등) 보다 우수한 성능을 보였습니다.
  • 거부 능력 (Rejection Ability): 정상 이미지를 이상으로 잘못 분할하는 것을 방지하는 능력 (IoUnor) 에서 AG-VAS 는 **87.7%**의 높은 점수를 기록하여, 기존 LMM 기반 방법들 (LISA 등) 이 겪던 과분할 (Over-segmentation) 문제를 크게 개선했습니다.
  • 일반화 능력: 의료 데이터는 학습 데이터에 포함되지 않았음에도 불구하고, LMM 의 사전 지식과 Anomaly-Instruct20K 를 통해 뛰어난 제로샷 일반화 성능을 입증했습니다.

5. 의의 및 결론 (Significance)

AG-VAS 는 대규모 멀티모달 모델이 추상적인 이상 개념을 구체적인 픽셀 수준으로 변환하는 데 있어 발생하는 근본적인 한계를 해결했습니다.

• 실용성: 카테고리별 재학습 없이도 다양한 산업 및 의료 분야에서 즉시 적용 가능한 실용적인 ZSAS 솔루션을 제공합니다.
• 기술적 진보: '앵커 (Anchor)' 개념을 도입하여 추상적인 텍스트 의미와 구체적인 시각적 특징을 정렬하는 새로운 패러다임을 제시했습니다.
• 상호작용: 단순 분할을 넘어, 이상에 대한 설명을 요구하거나 대화 형태로 분할을 수행하는 등 유연한 사용자 인터랙션을 지원합니다.

이 연구는 제로샷 이상 탐지 분야에서 LMM 의 잠재력을 극대화하고, 실제 산업 및 의료 현장에서의 적용 가능성을 크게 높였다는 점에서 중요한 의미를 가집니다.