World Model Failure Classification and Anomaly Detection for Autonomous Inspection

논문 요약: 자율 점검을 위한 세계 모델 기반 고장 분류 및 이상 탐지

1. 문제 정의 (Problem Definition)

산업 현장의 자율 점검 로봇은 인력 기반 점검의 비용과 위험을 줄일 수 있지만, 시야 가림 (occlusion), 제한된 시점, 예상치 못한 환경 조건 (반사광, 그림자 등) 으로 인해 정확한 계기 판독이 어려운 경우가 많습니다. 기존 연구들은 대부분 '정상' 데이터만을 학습하여 이상 (Anomaly) 을 탐지하는 데 집중했으나, 이는 다음과 같은 한계가 있었습니다:

• 알려진 고장 (Known Failure) 과 미지의 이상 (Out-of-Distribution, OOD) 의 구분 부재: 로봇이 특정 고장 유형 (예: 계기 가림) 을 식별하고 수정 조치를 취할 수 있어야 하지만, 기존 방법은 단순히 '비정상'으로만 분류하여 구체적인 대응 전략을 제시하지 못했습니다.
• 실시간 대응의 필요성: 위험한 상황 (예: 고압 시스템의 이상 판독 누락) 이 발생하기 전에 로봇이 이를 감지하고 적절히 반응해야 합니다.

이 논문은 **알려진 고장 (Known Failure)**과 **학습 데이터에 없는 미지의 이상 (OOD)**을 동시에 식별하고, 이를 **성공 (Success)**과 구분하여 실시간으로 분류하는 하이브리드 프레임워크를 제안합니다.

2. 방법론 (Methodology)

제안된 프레임워크는 **세계 모델 (World Model)**을 백본으로 사용하고, **합동 예측 (Conformal Prediction, CP)**을 기반으로 한 임계값 설정을 통해 분류를 수행합니다.

• 하이브리드 분류 구조:

  • 두 개의 독립적인 예측 모델 (성공 모델 $M_{success}$, 고장 모델 $M_{fail}$) 을 학습시킵니다.
  • 각 모델은 입력된 비디오 프레임 시퀀스를 기반으로 다음 프레임을 예측하며, 예측 오차를 통해 점수 (Score) 를 산출합니다.
  • 결정 함수 (Decision Function):
    • 성공 (Success): 성공 모델의 점수가 임계값 이하이고, 고장 모델의 점수가 임계값 이상일 때.
    • 알려진 고장 (Known Failure): 고장 모델의 점수가 임계값 이하이고, 성공 모델의 점수가 임계값 이상일 때.
    • 이상 (Anomaly/OOD): 두 모델 모두 임계값을 초과할 때 (학습된 분포에서 벗어난 경우).

• 합동 예측 (Conformal Prediction, CP) 임계값 보정:

  • 학습된 모델에 대해 별도의 보정 데이터셋 (성공/고장 데이터) 을 사용하여 각 분류에 맞는 통계적 임계값 ($\eta_s, \eta_f$) 을 설정합니다.
  • 이는 정책 (Policy) 에 무관하며 (Policy-agnostic), 데이터 분포에 의존하지 않는 (Distribution-free) 방식으로, 블랙박스 모델에도 적용 가능합니다.
  • 다양한 점수 메트릭 (재구성 오차, 잠재 공간 예측 오차, 마할라노비스 거리 등) 을 평가하여 최적의 메트릭을 선택합니다.

• 아키텍처:

  • NVIDIA Cosmos Tokenizer 를 사용하여 비디오 프레임을 압축 및 토큰화합니다.
  • 잠재 공간 (Latent Space) 에서 세계 모델을 학습하여 미래 프레임을 예측합니다.
  • Boston Dynamics Spot 로봇의 PTZ (Pan-Tilt-Zoom) 카메라를 통해 수집된 계기 (Gauge) 영상 데이터를 사용합니다.

3. 주요 기여 (Key Contributions)

1. 하이브리드 탐지기 개발: 알려진 고장에 대한 지도 학습 분류와 학습 중 보지 못한 OOD 사례에 대한 이상 탐지를 결합한 단일 프레임워크를 제안했습니다.
2. 보정된 CP 임계값: 표준 CP 메트릭을 기반으로 성공, 알려진 고장, OOD 를 명확히 구분하는 보정된 임계값을 도입했습니다.
3. 실제 환경 평가: 사무실 및 산업 현장 두 가지 환경에서 수집된 계기 점검 데이터를 통해 프레임워크를 평가했습니다.
4. 실시간 하드웨어 배포: Boston Dynamics Spot 로봇을 이용한 실시간 온라인 배포를 성공적으로 수행하고, 인간 관찰자보다 빠른 시점에 분류를 수행함을 증명했습니다.

4. 실험 결과 (Experimental Results)

• 분류 정확도:
  • 다양한 CP 점수 메트릭 중 **잠재 공간 예측 오차 (Latent Prediction Error)**가 가장 우수한 성능을 보였습니다.
  • 90% 분위수 (Quantile) 임계값에서 성공, 알려진 고장, OOD 를 구분하는 정확도가 90% 이상을 달성했습니다.
  • 마할라노비스 거리 (Mahalanobis distance) 는 OOD 탐지 정확도가 100% 였으나, 고차원 공간에서의 공분산 역행렬 불안정성으로 인해 과적합 (Overfitting) 경향이 있어 오탐지 (False Positive) 가 발생했습니다.
• 탐지 시간 (Detection Time):
  • 제안된 방법 (특히 잠재 예측 오차 메트릭) 은 인간 관찰자가 고장을 인지하기 평균 1~3 초 앞서 고장을 탐지했습니다.
  • 이는 로봇이 고장 발생 전의 시각적/잠재적 패턴 변화에 민감하게 반응함을 의미합니다.
• 하드웨어 배포:
  • 외부 서버에서 추론을 수행하더라도 네트워크 지연을 제외하면 실시간 처리가 가능함을 확인했습니다.
  • 모델 크기가 작아 (약 1.5GB) 로봇 내장 배포도 가능할 것으로 판단됩니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 자율 시스템의 안전성과 신뢰성을 높이는 데 중요한 기여를 합니다.

• 예방적 대응: 고장이 발생하기 전에 이를 예측하고, 고장의 유형 (알려진 고장 vs 미지의 이상) 에 따라 다른 대응 전략 (예: 재시도, 인간 개입 요청, 재학습 데이터 수집) 을 취할 수 있게 합니다.
• 데이터 품질 평가: 탐지된 OOD 사례는 학습 데이터의 공백을 식별하는 신호로 활용되어, 대규모 모델 학습을 위한 타겟 데이터 수집을 가이드할 수 있습니다.
• 확장성: 이 프레임워크는 계기 점검뿐만 아니라 다양한 안전 중시 (Safety-critical) 산업 분야에서 자율 로봇의 견고한 실시간 모니터링 솔루션으로 확장 가능합니다.

결론적으로, 이 논문은 세계 모델과 합동 예측을 결합하여 알려진 고장과 미지의 이상을 동시에 식별하고, 인간보다 빠르게 대응할 수 있는 자율 점검 시스템을 성공적으로 구현했습니다.