Identifying the Unknown: Prompt-Free Open Vocabulary Anomaly Recognition for Robot-Object Interaction

기술 요약: AnomNOVIC – 프롬프트가 필요 없는 오픈 보캐블러리 이상 탐지(Anomaly Recognition)

문제 정의
실제 세계의 비정형 환경에서 작동하는 로봇 에이전트는 이전에 본 적 없는 객체를 실시간으로 시각적으로 인지하고 인식하지 못한다는 치명적인 병목 현상에 직면해 있습니다. 대규모 언어 모델(LLM)은 고차원적 추론 측면에서 발전했지만, 이들은 종-종 제한적인 시각 인지 시스템에 의존합니다. 기존의 오픈 보캐블러리 객체 탐지기들은 일반적으로 다음과 같은 중대한 한계를 가진 두 가지 범주로 나뉩니다:

1. 프롬프트 기반 모델: ViLD, OWLv2, YOLO-World와 같은 시스템은 추론 시점에 사전에 정의된 후보 객체 클래스 목록을 요구합니다. 이러한 "프롬프트" 제약은 실용성을 심각하게 제한합니다. 로봇은 명시적으로 찾아보라고 지시받지 않은 객체는 탐지할 수 없으며, 이러한 모델들은 새로운 객체를 마주했을 때 부적절하게 실패(오탐지를 생성)하는 경우가 많습니다.
2. 제한된 개방성: "프롬프트가 없는" 모델들조차도 제한된 개념 범위를 가진 데이터셋(예: 약 4,585개의 태그를 가진 고정된 어휘에 의존하는 YOLOE)으로 학습되었기 때문에 제한된 활성 어휘를 갖는 경우가 많습니다. 또한, 많은 기존 모델은 여러 객체를 동시에 국지화(localization)하면서 동시에 세밀하고 자유로운 형식의 레이블을 할당하는 능력, 즉 로봇 조작에 필수적인 능력을 갖추지 못하고 있습니다.

방법론: AnomNOVIC 프레임워크
저자들은 알려진 작업 공간(예: 로봇의 테이블 상판)을 위해 설계된 2단계 프롬프트 프리(prompt-free) 프레임워크인 AnomNOVIC를 제안합니다. 이 시스템은 편향 없는 탐지를 달-성하기 위해 객체 국지화와 분류를 분리합니다.

• 1단계: 이상 탐지를 통한 클래스 무관 국지화 (Class-Agnostic Localization)

  • 아키텍처: 비전 트랜스포머(ViT) 마스크드 오토인코더(MAE)가 로봇의 빈 작업 공간 이미지(정상 기준선)만을 대상으로 학습됩니다.
  • 학습 전략: MAE는 장면을 재구성하도록 학습됩니다. 모델이 객체를 이상치(anomaly)로 식별하도록 가르치기 위해 "객체 붙여넣기(object pasting)" 증강 전략이 사용됩니다. 합성된 이상치들이 학습 이미지에는 붙여넣어지지만, 대상 재구성 과정에서는 제외됩니다. 결과적으로 MAE는 배경을 재구성하는 법을 배우며, 붙여넣어진 객체는 무시(그리고 이를 통해 플래깅)하게 됩니다.
  • 출력: 디코더는 재구성된 RGB 이미지, 이진 테이블 마스크, 이상치 마스크라는 세 가지 정렬된 출력을 생성하도록 확장됩니다.
  • 추론: 추론 시 테이블 위에 존재하는 객체들은 훈련 분포에 포함되지 않았으므로 이상치로 취급됩니다. 시스템은 재구성 오차 맵과 이상치 마스크를 계산합니다. 이들은 병합, 필터링 및 (필요 시 SAM 2.1에 의해 정교화되어) 처리되어 모든 탐지된 객체에 대한 클래스 무관 바운딩 박스를 생성합니다.

• 2단계: NOVIC를 통한 프롬프트 프리 분류

  • 아키텍처: 1단계에서 식별된 관심 영역(RoI)의 크롭된 영역들은 실시간 오픈 보캐블러리 이미지 분류기인 NOVIC로 전달됩니다.
  • 메커니즘: 후보 클래스 목록을 요구하는 프롬프트 모델과 달리, NOVIC는 자유로운 형식의 객체 명사 레이블을 생성합니다. 이는 사전 학습된 CLIP 모델과 거의 무제한적인 객체 명사 분류 체계(~43K)를 커버하는 방대한 콘텐츠 제어 가능 합성 텍스트 데이터셋으로 학습된 분류 디코더를 활용합니다.
  • 스코어링: 최종 신뢰도 점수는 NOVIC의 예측 확률과 MAE의 재구성 오차 및 마스크 출력에서 유도된 이상치 신뢰도를 결합하여 산출됩니다.

주요 기여

1. 프롬프트 프리 오픈 보캐블러리 탐지: AnomNOVIC는 강력한 프롬프트 프리 분류기(NOVIC)를 클래스 무관 국지화 파이프라인과 성공적으로 통합한 최초의 프레임워크로, 사전 정의된 클래스 목록 없이도 객체를 탐지하고 레이블을 지정할 수 있게 합니다.
2. 이상 기반 국지화: 객체 탐지를 알려진 작업 공간 내에서의 이상 탐지 과제로 프레이밍함으로써, 시스템은 어휘 편향을 피합니다. 이 시스템은 "속하지 않는 모든 것은 객체이다"라는 원칙을 활용하여, 어떤 형태, 질감, 새로움을 가진 객체라도 발견할 수 있게 합니다.
3. 데이터셋 및 벤치마킹: 저자들은 NICOL 휴머노이드 로봇을 위한 도전적인 데이터셋 컬렉션(평범한 장면 및 방해 요소가 있는 테이블 상판 시나리오, 그리고 48개의 고유한 인-더-와일드 객체를 포함한 "Wild" 테스트 세트 포함)을 도입합니다.
4. 모델 적응: 본 연구는 로봇의 실험실 환경에 맞게 튜닝된 NOVIC 변형 모델(N-FT0, N-FT2)의 재학습 및 빈도 임계값 설정 과정을 상세히 설명하며, 데이터셋 재가중치 부여가 특정 오픈 셋 시나리오에서 성능을 향상시킨다는 것을 입증합니다.

실험 결과
NICOL 테이블 환경과 Wild 데이터셋에서 평가된 AnomNOVIC는 YOLOE(유일한 프롬프트 프리 베이스라인), OWLv2, YOLO-World-v2를 포함한 최신 기술(SOTA) 베이스라인들을 크게 상회합니다.

• 프롬프트 프리 성능: Plain 데이터셋에서 AnomNOVIC-S(SAM 정교화 포함)는 47.1% AP 및 57.5% AP50를 달성하여, YOLOE의 20.4% AP와 비교됩니다. Wild 데이터셋에서 AnomNOVIC는 최대 **82.6%**의 탐지 및 분류 정확도를 달성하며, YOLOE의 14.2%를 압도적으로 넘어섭니다.
• 프롬프트 기반 성능: 클래스 후보가 제공될 경우, AnomNOVIC는 59.0% AP 및 72.5% AP50에 도달하며, 이는 가장 강력한 프롬프트 기반 경쟁 모델(예: YOLO-World-v2-X)의 성능을 두 배 이상 높이는 수치입니다.
• 질적 우수성: 시스템은 프롬프트 기반 베이스라인들이 높은 신뢰도로 오탐지를 생성하거나 새로운 아이템을 탐지하지 못하는 것과 달리, 세밀하고 정확한 분류(예: "silver medal", "audio amplifier")를 제공하는 능력을 보여줍니다.

의의 및 주장
본 논문은 AnomNOVIC가 로봇을 알려진 클래스로만 제한함으로써 오픈 보캐블러리 탐지의 핵심 이점을 저해하는 프롬프트 모델의 "강한 제약"을 해결한다고 주장합니다. 국지화와 분류를 분리하고 이상 탐지를 활용함으로써, 이 시스템은 "런타임 시 완전히 새로운 객체"와 상호작용할 수 있게 합니다.

저자들은 이 연구를 로봇이 개방형 환경을 인지하고 상호작용할 수 있게 하는 "의미론적 인지가 가능한 로봇"을 향한 단계로 포지셔닝합니다. 그들은 이 접근 방식이 특히 정상 기준선을 설정할 수 있는 알려진 작업 공간(로봇의 테이블 등)에서 효과적이며, 작업별 미세 조정이나 클래스 프롬프트 없이도 미지의 영역을 편향 없이 실시간으로 발견할 수 있게 한다고 강조합니다. 결과는 재구성 기반의 이상 탐지와 제약 없는 분류를 결론짓는 것이 로보틱스 분야의 진정한 오픈 월드 자율성을 향한 실행 가능한 경로임을 시사합니다.