기술 요약: MMVIAD

문제 제기

산업 이상 탐지는 제조 품질 관리에 필수적이지만, 기존 벤치마크는 주로 정적 이미지나 희소한 다중 뷰 관측에 의존합니다. 이러한 데이터셋은 카메라가 부품을 이동하거나 부품이 고정장치 위에서 회전하는 실제 산업 환경에서 발견되는 연속적인 검사 과정을 포착하지 못합니다. 결과적으로 구조적 결함 (예: 균열, 구멍, 돌출부) 은 종종 뷰포인트 의존적 가시성을 보입니다. 즉, 결함은 한 각도에서는 보이지 않다가 다른 각도에서는 희미하게 보이며, 검사 궤적의 특정 시간 구간 동안에만 명확하게 진단 가능할 수 있습니다. 현재 모델들은 증거가 존재하는 특정 뷰포인트 구간과 결함 의미론을 연결하는 데 어려움을 겪으며, 종종 진단 비디오에 시간적으로 근거를 두지 않고도 정확한 라벨을 예측합니다.

방법론

1. MMVIAD 데이터셋 및 벤치마크

저자들은 산업 이상 탐지를 위한 최초의 연속 다중 뷰 비디오 데이터셋인 MMVIAD(Multi-view Multi-task Video Industrial Anomaly Detection) 를 소개합니다.

• 구축: 이 데이터셋은 Anomaly-ShapeNet 3D 에셋을 기반으로 한 제어 가능한 객체 중심 렌더링 궤적 (Blender) 을 사용하여 구축되었습니다. 이 접근 방식은 실제 세계 비디오에서 얻기 어려운 결함 가시성에 대한 정밀하고 검증 가능한 주석을 가능하게 합니다.
• 규모 및 범위: 이 데이터셋은 약 120 도의 카메라 운동을 포함하는 4,000 개 이상의 검사 클립 (2 초 지속 시간) 을 포함하며, 48 개의 객체 카테고리, 14 개의 환경, 그리고 6 가지 구조적 이상 유형 (균열, 스크래치, 오목함, 돌출부, 파손, 구멍) 을 아우릅니다.
• 주석 전략: 각 이상 객체에 대해 두 개의 정렬된 비디오가 생성됩니다. 하나는 이상 미표시 비디오이고 다른 하나는 이상 표시 비디오 (결함 영역이 붉은색으로 강조됨) 입니다. 이를 프레임 단위로 비교하고 수동으로 검증함으로써 저자들은 정밀한 "가시 시간" 구간 ($[t_{start}, t_{end}]$) 을 도출합니다.
• 작업 결합: 벤치마크는 질문 - 답변 (QA) 을 통해 네 가지 결합된 작업을 평가합니다:
  1. 이상 탐지: 결함 존재에 대한 이진 분류.
  2. 결함 분류: (탐지 조건 하에) 결함 유형을 범주화.
  3. 객체 분류: 객체 카테고리를 식별.
  4. 이상 가시 시간 국소화: 결함에 대한 시각적 증거가 존재하는 시간 구간을 식별.

2. VISTA: 2 단계 후 훈련 파이프라인

결합된 작업과 희소한 보상의 과제를 해결하기 위해 저자들은 VISTA를 제안합니다. 이는 2 단계 파이프라인을 통해 훈련된 참조 모델입니다.

• 1 단계: PS-SFT(지각 구조화 감독 미세 조정): 강화 학습의 '콜드 스타트' 문제를 완화하기 위해 모델은 먼저 교사 합성 데이터셋으로 미세 조정됩니다. 교사 모델 (Gemini 3.1 Pro) 은 응답을 전역 지각, 국소화 세그먼트 지각, 추론, 그리고 구조화된 답변으로 분해하는 추론 흔적을 생성합니다. 이는 모델에 지각 구조화 추론 행동을 초기화합니다.
• 2 단계: VISTA-GRPO(가시성 기반 산업 구조화 시간 이상 그룹 상대 정책 최적화): 이 단계는 특수한 보상 함수를 갖춘 그룹 상대 정책 최적화 (GRPO) 를 사용하여 모델을 정제합니다.
  • 형식 및 답변 보상: 구조화된 출력 형식 준수 및 이상 탐지/객체 분류의 정확성을 보장합니다.
  • 의미론 게이트 결함 보상: 이상 탐지가 정확할 때만 결함 분류에 보상이 부여되는 의존성을 강제하여, 모델이 이상을 탐지하지 않고도 결함 사전 지식을 악용하는 것을 방지합니다.
  • 가시성 인지 시간 보상: 가시적 증거의 존재를 경계 정밀도에서 분리합니다. 정상 샘플에 대한 올바른 빈 예측에는 보상을 주고, 놓친 가시 결함이나 환각 구간에는 패널티를 부과하며, 올바른 구간 예측에는 수정된 IoU 와 발견 보너스를 사용합니다.

주요 기여

1. 데이터셋 및 벤치마크: MMVIAD 는 뷰포인트 의존적 구조적 결함에 대한 가시 시간 주석과 다중 작업 QA 평가 프레임워크를 특징으로 하는 산업 이상 탐지를 위한 최초의 연속 다중 뷰 비디오 데이터셋으로 제시됩니다.
2. 진단 평가: 이 논문은 인간 주석자, 상업용 비디오 MLLM(예: GPT-5.4, Gemini 3.1 Pro), 그리고 오픈 소스 모델에 대한 포괄적인 평가를 제공합니다. 결과는 미세한 결함 분류 및 시간적 근거 설정에서 현재 모델과 인간 성능 간의 지속적인 격차를 강조합니다.
3. 참조 후 훈련: 저자들은 PS-SFT 초기화와 VISTA-GRPO 정제를 결합한 2 단계 기준 모델인 VISTA 를 제안하며, 이는 보이지 않는 객체 카테고리에서 향상된 일반화를 입증합니다.

실험 결과

• MMVIAD-Standard(Zero-Shot): 가장 강력한 상업용 모델 (예: GPT-5.4) 조차 인간 전문가보다 평균 점수에서 약 20 점 이상 크게 뒤처집니다. 모델들은 거친 이상 탐지 및 객체 분류에서는 상대적으로 더 잘 수행하지만, 미세한 결함 인식 및 시간적 국소화에서는 어려움을 겪습니다.
• MMVIAD-Unseen(일반화): 보이지 않는 객체 카테고리를 가진 분할에서 기본 모델 (Qwen3-VL-8B) 은 평균 점수 45.0 을 달성합니다. VISTA 모델은 이를 57.5로 향상시켰으며, 이상 탐지, 시간적 국소화, 객체 분류에서 상당한 개선을 보였습니다.
• 합성에서 실제 전이: 합성 MMVIAD 데이터로 훈련된 VISTA 는 실제 세계 정적 이미지 데이터셋 (MVTec AD 및 VisA) 에서 향상된 성능을 보여주며, 합성 다중 뷰 비디오에서 학습된 이상 이해가 실제 검사 이미지로 전이될 수 있음을 시사합니다.
• Ablation 연구: 2 단계 파이프라인이 결정적입니다. SFT 초기화 없이 직접 RL 을 수행하면 개선 효과가 제한적입니다. 의미론 게이트 결함 보상과 가시성 인지 시간 보상이 작업 성능 균형을 위해 필수적임이 입증되었습니다.

중요성 및 주장

이 논문은 MMVIAD 가 현재 비디오 MLLM 의 특정 실패 모드를 노출한다고 주장합니다. 즉, 거친 객체 또는 이상 단서를 인식할 수는 있지만, 증거가 존재하는 특정 뷰포인트 구간과 결함 의미론을 연결하는 데 어려움을 겪습니다. 검증 가능한 시간 주석을 가진 데이터셋과 구조화된 훈련 파이프라인을 도입함으로써, 저자들은 산업 이상 이해를 정적 이미지 인식에서 증거 기반의 연속 비디오 추론으로 전환하는 것을 목표로 합니다. 이 연구는 미래 모델이 실제 산업 검사 워크플로우에서 효과적이기 위해서는 객체 수준 지각, 결함 의미론, 그리고 시간적 근거 설정을 통합해야 함을 시사합니다. 저자들은 데이터셋이 현재 합성이며 규모가 적절하다는 점과 실제 배포에는 센서 노이즈 및 생산 라인 제약에 대한 추가 검증이 필요하다는 점을 겸손하게 언급합니다.