Unsupervised Discovery of Failure Taxonomies from Deployment Logs

이 논문은 **"배포 로그 (Deployment Logs) 에서의 비지도 실패 분류 체계 (Failure Taxonomy) 발견"**이라는 새로운 문제를 제기하고, 이를 해결하기 위한 프레임워크를 제안합니다. 로봇 시스템이 자율 주행 차량, 가정용 로봇 등 다양한 실제 환경에 배포되면서 발생하는 방대한 실패 데이터를 수동으로 분석하는 것은 비현실적이며 확장성이 부족하다는 점에 착안하여, 시각 - 언어 모델 (VLM) 과 대규모 언어 모델 (LLM) 을 활용하여 원시 데이터에서 자동으로 의미 있는 실패 패턴을 추출하고 분류하는 방법을 제시합니다.

다음은 논문의 주요 내용을 기술적으로 요약한 것입니다.

---

1. 문제 정의 (Problem Formulation)

• 배경: 자율 시스템은 예측 불가능한 환경과 긴 꼬리 (long-tail) 의 엣지 케이스로 인해 다양한 실패를 겪습니다. 이러한 실패 로그는 시스템 견고성을 높이는 귀중한 자원이지만, 수천 건의 멀티모달 (비디오, 센서 데이터 등) 실패 시퀀스를 인간이 수동으로 분석하고 분류하는 것은 시간 소모가 크고 확장 불가능합니다.
• 목표: 사전 정의된 레이블 없이, 배포 중 수집된 원시 멀티모달 실패 로그 (trajectories) 에서 **반복적으로 발생하는 실패 모드 (failure modes)**를 자동으로 발견하고, 이를 **의미 일관성 (semantic coherence) 이 있고 실행 가능한 (actionable) 분류 체계 (taxonomy)**로 조직화하는 것.
• 산출물: 각 실패 모드는 자연어 이름, 짧은 설명, 대표 키워드, 해당 모드에 할당된 시퀀스 집합, 발생 빈도로 구성됩니다.

2. 제안된 방법론 (Methodology)

제안된 프레임워크는 크게 세 단계로 구성됩니다 (Fig. 1 참조):

2.1. 의미적 관측치 다운샘플링 (Semantic Observation Downsampling)

• 목적: 긴 실패 시퀀스를 VLM 의 컨텍스트 윈도우에 효율적으로 입력하기 위해, 실패 사건을 중심으로 의미적으로 중요한 프레임만 선별하여 압축합니다.
• 과정:
  1. 실패 발생 시점 ($k_f$) 을 중심으로 전후 시간 창을 설정합니다.
  2. CLIP 임베딩을 사용하여 프레임 간 코사인 유사도를 계산합니다.
  3. 실패 프레임을 기준으로 양방향 (전방/후방) 으로 이동하며, 직전 선택된 프레임과 의미적 유사도 임계값 ($\tau$) 이하로 떨어지는 프레임 (즉, 시나리오가 크게 변하는 지점) 만 선택합니다.
  4. 이를 통해 시간적으로 중복된 관측치를 제거하고, 실패로 이어지는 핵심 전환점과 직후 결과를 보존합니다.

2.2. 실패 추론 (Failure Reasoning)

• 목적: 다운샘플링된 시퀀스를 바탕으로 실패의 원인을 구조화된 자연어로 설명합니다.
• 과정:
  • 다운샘플링된 시퀀스와 작업 맥락을 VLM 에 입력합니다.
  • Chain-of-Thought (CoT) 프롬프트 전략을 사용하여 모델이 장면, 에이전트 행동, 상호작용, 결과를 분석하고 실패의 근본 원인 ($r_n$) 을 추론하도록 유도합니다.
  • 이 단계에서 생성된 실패 설명 집합 ($R$) 이 다음 단계의 입력이 됩니다.

2.3. 의미적 집계 (Semantic Aggregation) 를 통한 분류 체계 발견

• 목적: 개별 실패 설명들을 군집화하여 반복적인 실패 패턴 (클러스터) 을 발견합니다.
• 과정:
  • LLM 을 최적화자로 활용: 모든 설명을 한 번에 처리하는 대신, LLM 을 사용하여 다양한 재표현 (rephrasing) 을 생성하고 독립적으로 군집화를 수행한 후, 이를 앙상블 - 정제 (Ensemble-and-Refine) 전략으로 통합합니다.
  • 통합 (Aggregation): 여러 후보 분류 체계를 LLM 에게 제시하여 모순을 해결하고, 중복된 카테고리를 병합하며, 일관된 의미 라벨을 부여합니다.
  • 할당 (Assignment): 발견된 분류 체계에 대해 각 실패 시퀀스를 가장 적합한 클러스터에 매핑합니다. 매핑되지 않는 사례는 이상치 (outlier) 로 플래그하여 향후 분류 체계 정제에 활용합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의: 멀티모달 실패 중심 시퀀스에서의 비지도 실패 분류 체계 발견 문제를 공식화했습니다.
2. 새로운 프레임워크: VLM 을 통한 구조화된 실패 설명 추출과 LLM 기반 의미 공간에서의 군집화를 결합한 파이프라인을 제안했습니다.
3. 실용적 검증: 로봇 조작, 실내 항법, 자율 주행 등 3 가지 도메인에서 발견된 분류 체계가 해석 가능하고 일관성이 있으며, 하류 작업 (데이터 수집, 런타임 모니터링) 에 실질적인 이점을 제공함을 입증했습니다.

4. 실험 결과 (Results)

4.1. 평가 도메인

• 로봇 조작 (RoboFail): 시뮬레이션 및 실제 UR5 로봇 데이터 (100 개 시뮬레이션, 30 개 실제). 전문가 정의 분류 체계와 비교.
• 실제 자동차 충돌 (Nexar Dataset): 1,500 개의 대시캠 충돌 영상.
• 실내 로봇 항법: 오피스 환경에서의 충돌 시퀀스.

4.2. 주요 성과

• 실패 추론 정확도: 제안된 방법 (Gemini 2.5 Pro 사용) 은 전문가 주석과 높은 의미적 일치도 (Cosine Similarity 0.60, LLM-Judge 0.76) 를 보였습니다. 미세 조정된 모델보다 범용 추론 모델이 더 강력한 일반화 성능을 보였습니다.
• 분류 체계 품질:
  • BERTopic 등 기존 주제 모델링 기법과 비교하여, 제안된 방법은 더 명확하고 중첩되지 않는 클러스터를 생성했습니다.
  • **Semantic Alignment Score (SAS)**에서 BERTopic-LLM 대비 우세한 성능을 보였으며, 전문가 정의 분류 체계의 100% 커버리지 (TC=1.0) 를 달성했습니다.
  • 자동차 충돌: 미국 교통부 (DoT) 의 사전 충돌 유형 분류 체계와 높은 일치도를 보였습니다.
  • 실내 항법: 유약한 물체, 특징 없는 표면, 좁은 간격 오인 등 기존 연구에서 수동으로 발견된 실패 원인을 자동으로 재발견했습니다.
• 다운스트림 작업 개선:
  • 런타임 실패 모니터링: 발견된 분류 체계를 컨텍스트로 추가한 모니터링 시스템은 기존 LLM 기반 이상 탐지나 지도 학습 분류기보다 OOD(Out-of-Distribution) 데이터에서 더 높은 F1 점수와 **더 빠른 경고 시간 (Lead Time)**을 보였습니다.
  • 타겟 데이터 수집: 발견된 실패 모드 (예: 특징 없는 벽) 를 기반으로 추가 데이터를 수집하여 정책을 미세 조정했을 때, 무작위 데이터 수집 대비 실패율을 46% 에서 18% 로 크게 감소시켰습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇 시스템의 안전성을 높이기 위해 수동 분석 없이 대규모 배포 로그에서 자동으로 실패 패턴을 학습하고 구조화할 수 있음을 입증했습니다.

• 폐루프 안전성 (Closed-loop Safety): 발견된 분류 체계는 단순히 실패를 기록하는 것을 넘어, 타겟 데이터 수집을 통한 정책 개선과 런타임에서의 조기 경고 시스템으로 직접 활용될 수 있습니다.
• 확장성: 수동 레이블링이 불필요하므로, 다양한 로봇 도메인과 대규모 배포 데이터로 확장 적용 가능합니다.
• 한계 및 향후 작업: VLM 이 생성한 설명이 때로는 논리적으로 타당하지만 사실과 다를 수 있다는 점 (할루시네이션) 이나, 단일 표준 분류 체계의 부재 등을 지적하며, 향후 인과 검증 및 시뮬레이션 기반 검증을 통한 강화가 필요함을 강조했습니다.

결론적으로, 이 논문은 언어 기반 추론과 비지도 학습을 결합하여 로봇 시스템의 '실패 지식'을 자동으로 추출하고 체계화하는 새로운 패러다임을 제시하며, 자율 시스템의 신뢰성과 안전성 향상에 중요한 기여를 하고 있습니다.