A VLM-based Method for Visual Anomaly Detection in Robotic Scientific Laboratories

1. 문제 정의 (Problem Definition)

• 배경: 로봇이 활용되는 과학 실험실에서는 실험 과정 중 발생할 수 있는 예기치 않은 오류나 편차를 시각적으로 신속하게 탐지하는 것이 시스템의 안전성과 안정성을 위해 필수적입니다.
• 기존 방법의 한계:
  • 기존의 비전 기반 이상 탐지 방법은 주로 제조 공정이나 특정 행동 분석과 같은 고정된 도메인에 맞춰 개발되었습니다.
  • 과학 실험은 단계별로 맥락 (Context) 이 달라지며, 동일한 시각적 상태라도 실험 단계에 따라 '정상'일 수도 있고 '비정상'일 수도 있습니다 (예: 시험관이 랙에 있는 것이 정상인지 비정상인지는 현재 작업 단계에 따라 결정됨).
  • 이러한 맥락 의존적 (Context-dependent) 인 특성은 기존의 단순 분류 기반 방법들이 과학 실험의 다양한 워크플로우에 적용되는 것을 어렵게 만듭니다.
• 목표: 다양한 실험 단계와 맥락 정보를 통합하여, 로봇의 1 인칭 시점 (First-person view) 이미지에서 실험 과정의 이상을 정확히 탐지하고 판단하는 방법론을 제안하는 것.

2. 제안 방법론 (Methodology)

논문은 시각 - 언어 모델 (VLM, Vision-Language Model) 을 활용하여 계층적 프롬프트 (Hierarchical Prompting) 와 사고의 사슬 (Chain-of-Thought, CoT) 추론을 결합한 방식을 제안합니다.

• 입력 데이터:
  • 시각 입력: 실험 수행 중 로봇 팔 (고정형 및 이동형) 이 촬영한 1 인칭 시점의 RGB 이미지.
  • 텍스트 입력: 실험 맥락, 현재 하위 작업 (Stage Description), 탐지 대상 (Detection Content), 이상/정상 상태의 정의 (Anomaly Label Description) 를 포함한 구조화된 프롬프트.
• 계층적 프롬프트 설계 (4 단계): 모델의 추론 능력을 점진적으로 향상시키기 위해 정보의 양을 늘리는 4 단계의 프롬프트 구성을 도입했습니다.
  1. Level 1: 실험 전체 배경 (Context) 만 제공.
  2. Level 2: 배경 + 현재 수행 중인 하위 작업 설명 추가.
  3. Level 3: 위 내용 + 시각적으로 확인해야 할 구체적 대상 (예: "실리콘 용기가 작업대에 있는가?") 추가.
  4. Level 4: 위 내용 + 정상/비정상 상태의 의미적 정의 (Anomaly Label Description) 추가.
• 추론 과정:
  • VLM 은 직접적인 이진 분류 (Binary Classification) 대신 CoT(Chain-of-Thought) 프롬프팅을 통해 단계별 추론을 수행하도록 유도합니다.
  • 모델은 이미지와 텍스트를 결합하여 상황을 분석한 후, 최종적으로 "이상 있음/없음"과 그 이유를 자연어로 출력합니다.
  • 출력된 텍스트는 규칙 기반 파서를 통해 최종 이진 결정 (0 또는 1) 으로 변환됩니다.

3. 주요 기여 (Key Contributions)

1. VLM 기반 시각적 이상 탐지 방법론 제안:
   • 다양한 과학 시나리오에서 1 인칭 이미지와 단계별 의미 (Stage-dependent semantics) 를 활용하여 이상을 탐지하는 새로운 프레임워크를 제시했습니다.
   • 프롬프트의 세분화 (Granularity) 가 모델 성능에 미치는 영향을 체계적으로 분석할 수 있는 평가 기준을 마련했습니다.
2. 과학 실험 과정 이상 탐지를 위한 벤치마크 구축:
   • 실제 화학 실험실에서의 '실리콘 준비 (Silicone preparation)' 워크플로우를 기반으로 한 멀티모달 데이터셋을 구축했습니다.
   • 데이터 규모: 15 개의 주요 단계, 20 개의 모니터링 지점, 총 1,001 개의 이미지 (정상 501 개, 비정상 500 개) 를 포함하며, 고정형 및 이동형 로봇 팔의 다양한 시점에서 촬영되었습니다.
   • 각 이미지는 실험 맥락, 작업 설명, 탐지 내용, 이상 정의 등 4 가지 요소로 상세히 주석 (Annotation) 처리되었습니다.
3. 실제 환경에서의 유효성 검증:
   • 제안된 방법을 실제 로봇 실험실에서 특정 단계 (실리콘 용기 이동 작업) 에 적용하여, 1 인칭 시각 정보를 통한 이상 탐지의 실용성을 입증했습니다.

4. 실험 결과 (Results)

두 가지 대표적인 VLM(GPT-4o, Qwen2.5-VL-72B-Instruct) 을 사용하여 실험을 수행했습니다.

• 성능 향상 경향:
  • GPT-4o: 프롬프트 정보가 풍부해질수록 정확도가 크게 향상되었습니다. Level 1(41.6%) 에서 Level 4(79.2%) 로 증가했으며, 누락 탐지율 (MDR) 은 32.7% 에서 3.0% 로 급격히 감소했습니다. 특히 Level 3(탐지 대상 명시) 에서 큰 성능 향상을 보였습니다.
  • Qwen2.5-VL-72B: Level 4(이상 정의 명시) 에서야 비로소 MDR 이 3.0% 로 감소하는 등, 명시적인 이상 정의에 더 의존하는 경향을 보였습니다. 전체 정확도는 41.6% 에서 61.4% 로 향상되었습니다.
• 오경보율 (FPR) 분석:
  • GPT-4o 는 프롬프트 레벨에 따라 FPR 이 안정적으로 유지되거나 감소하는 반면 (Level 4 에서 16.8%), Qwen2.5-VL-72B 는 Level 4 에서도 상대적으로 높은 FPR(35.6%) 을 보였습니다. 이는 프롬프트 설계에 대한 모델의 민감도 차이를 보여줍니다.
• 정성적 분석:
  • 프롬프트가 명확할수록 모델의 초점이 맞춰져 정확한 판단을 내리는 경우가 많았으나, 때로는 지나치게 구체적인 이상 정의가 모델의 주의를 분산시켜 오히려 오분류를 유발하기도 했습니다 (Fig. 5 참조).

5. 의의 및 결론 (Significance & Conclusion)

• 맥락 인식형 의사결정: 과학 실험과 같이 맥락에 따라 상태의 의미가 변하는 복잡한 환경에서, VLM 의 추론 능력을 활용하여 기존 비전 모델이 해결하지 못했던 문제를 해결했습니다.
• 데이터 기반 평가 체계: 과학 실험 워크플로우의 이상 탐지를 위한 체계적인 데이터셋과 평가 프레임워크를 제공함으로써, 향후 관련 연구의 기준을 마련했습니다.
• 실용성: 실제 로봇 실험실 환경에서 1 인칭 시각을 통한 실시간 이상 탐지 및 작업 중단 (Suspension) 요청이 가능함을 입증하여, 로봇 과학 실험의 자동화와 안전성 향상에 기여할 수 있음을 보였습니다.

이 연구는 데이터 기반의 이상 탐지 방법론과 평가 프레임워크를 제공하며, 향후 자동 프롬프트 생성 및 더 넓은 실험 워크플로우로의 확장을 위한 기초를 다졌습니다.