💻 computer science

STORM: Segment, Track, and Object Re-Localization from a Single Image

STORM 은 계층적 공간 융합 어텐션을 통한 유연한 조건부 처리와 자동 드리프트 감지 및 재국소화를 위한 학습된 검증기를 결합하여 단일 이미지로부터 견고한 참조 조건부 6D 객체 추적을 가능하게 하는 통합 프레임워크로, CAD 모델이나 수동 개입 없이도 뛰어난 정확도와 가림 현상으로부터의 복구를 달성합니다.

원저자: Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

게시일 2026-05-14

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yu Deng, Teng Cao, Hikaru Shindo, Quentin Delfosse, Jiahong Xue, Kristian Kersting

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

특정 커피 머그잔을 복잡한 주방 카운터에서 집어 올리도록 로봇을 가르친다고 상상해 보세요. 로봇은 해당 머그잔의 단일하고 완벽한 사진(참조 이미지)을 가지고 있습니다. 로봇의 임무는 카메라가 흔들리거나, 머그잔이 토스터기에 반쯤 가려지거나, 조명이 극적으로 변하더라도 실시간 비디오 피드에서 그 머그잔을 찾는 것입니다.

대부분의 현재 로봇은 단일 정답 키를 암기하는 학생과 같습니다. 머그잔이 사진과 약간 다르게 보이거나 냅킨으로 덮이면, 로봇은 혼란을 겪고 추적을 잃으며 실수했는지 알지 못한 채 맹목적으로 추측하다가 충돌하거나 잘못된 물건을 집어 올립니다.

STORM(Segment, Track, and Object Re-Localization from a Single iMage, 단일 이미지에서 분할, 추적 및 객체 재위치 확인)은 이러한 문제를 해결하도록 설계된 새로운 시스템입니다. 이는 로봇에게 머그잔을 단순히 바라보는 것을 넘어 자신의 작업을 지속적으로 점검하는"지능형 어시스턴트"를 부여하는 것과 같습니다.

STORM 의 작동 방식은 세 가지 간단한 부분으로 나누어 설명됩니다:

1."수퍼 스포터"(SOM)

문제: 로봇의 참조 사진은 깨끗하고 선명하지만, 실시간 비디오는 지저분하고 어둡거나 다른 물체들로 가득 차 있습니다. 표준 방법은 두 이미지를 픽셀 단위로 매칭하려 하지만, 시점이 변하면 실패합니다.

STORM 의 해결책: STORM 은 SOM(Segmenting Object Module, 객체 분할 모듈)이라는 모듈을 사용합니다. 이는 단순히 사진을 보는 것이 아니라 객체의이야기를 이해하는 탐정처럼 작동합니다.

계층적 융합: SOM 은 머그잔 사진과 비디오 프레임을 한 번만 비교하는 것이 아니라, 여러"렌즈"(스케일) 와 계층을 통해 비디오를 살펴봅니다. 끊임없이"비디오의 이 부분이 내 사진 속 머그잔과 비슷해 보이는가?"라고 묻습니다.
언어 도우미: 로봇이 혼란을 겪는 경우 (예: 동일한 머그잔이 두 개 있음), "빨간 머그잔"과 같은 텍스트 단서를 제공할 수 있습니다. SOM 은 이 텍스트를 사용하여 주의를 집중시키며,"파란 머그잔은 무시하고 빨간색을 찾고 있다"고 말하는 탐정처럼 행동합니다.
결과: 머그잔의 절반이 토스터기 뒤에 숨겨져 있더라도 머그잔 주위에 완벽한 윤곽선을 그릴 수 있습니다.

2."현실 점검"(TOM)

문제: 최고의 추적기조차 결국 길을 잃습니다. 카메라가 빠르게 회전하거나 머그잔이 완전히 가려지면, 로봇은 머그잔이있었던공간의 한 지점을 계속"추적"할 수 있습니다. 로봇은 자신이 잘못되었음을 알지 못합니다.

STORM 의 해결책: 이것이 이 논문의 가장 큰 혁신입니다. STORM 은 TOM(Tracking Object Module, 추적 객체 모듈)이라는 모듈을 포함합니다. TOM 은 로봇의 추적을 위한안전 검사관또는"거짓말 탐지기"로 생각할 수 있습니다.

메모리 뱅크: TOM 은 로봇이 불과 몇 초 전까지 성공적으로 추적했을 때 머그잔이 어떻게 보였는지에 대한 작은"메모리 뱅크"를 유지합니다.
호환성 테스트: 모든 새로운 비디오 프레임에 대해 TOM 은 묻습니다:"지금 내가 보는 것이 메모리 뱅크와 일치하는가?"
에너지 점수: 점수를 매깁니다. 점수가 낮으면"모든 것이 잘 보인다"는 뜻입니다. 점수가 높아지면 (경보가 울리듯 상승하면)"이제 더 이상 머그잔처럼 보이지 않는다; 우리가 벗어났다!"는 뜻입니다.
수정: 다른 시스템들이 그냥 계속 벗어가는 것과 달리, TOM 은 이러한"벗어남"을 감지하고 즉시"중지하자! 표적을 잃었다"고 말합니다. 그런 다음 머그잔을 처음부터 다시 찾기 위해"수퍼 스포터"(SOM) 를 활성화합니다.

3."3D 청사진"(SAM3D)

로봇이 머그잔의 위치를 평면적인 2D 이미지가 아닌 3D 공간에서 정확히알 수 있도록하기 위해 STORM 은 SAM3D라는 도구를 사용합니다.

단일 참조 사진을 가져와 머그잔의 거친 3D 점토 모델을 구축한다고 상상해 보세요.
이 3D 모델은 견고한 골격 역할을 합니다. 로봇이 머그잔 전체를 볼 수 없더라도 이 골격을 사용하여 올바른 각도와 위치를 추측할 수 있으므로, 로봇이 바닥이 아닌 손잡이를 잡도록 보장합니다.

이것이 중요한 이유 (논문에 따르면)

저자들은 STORM 을 LM-O 및 YCB-Video 데이터셋과 같은 표준 벤치마크 (로봇 비전의"최종 시험"과 같은 것) 에서 테스트했습니다.

수동 지원 불필요: STORM 은 인간이 비디오에 상자를 그리거나 마스크를 작성하지 않고도 작동합니다. 단일 참조 이미지만으로 학습합니다.
기타 방법보다 우수: 특히 물체가 숨겨지거나 빠르게 움직이는 지저분한 장면에서 이전의 최상위 방법들보다 더 좋은 성능을 발휘했습니다.
자기 수정: 가장 중요한 결과는 STORM 이 실수에서 회복할 수 있다는 것입니다. 로봇이 객체를 잃었을 때 STORM 은 실패를 감지하고 자동으로 수정하지만, 다른 시스템들은 침묵하며 계속 실패할 뿐입니다.

요약하자면: STORM 은 지능형 시각 검색 엔진, 3D 빌더, 그리고 자기 점검 안전 검사관을 결합한 시스템입니다. 이를 통해 로봇은 단일 사진에서 객체를 추적하고, 추적을 잃었을 때 이를 인지하며, 인간이 개입하여 도움을 줄 필요 없이 즉시 객체를 다시 찾을 수 있습니다.

기술 요약: STORM (단일 이미지 기반 분할, 추적 및 객체 재국소화)

1. 문제 정의

정밀한 6D 포즈 추정 및 추적은 물리적 AI 시스템의 핵심이지만, 실제 환경에서의 배포는 여전히 취약합니다. 기존 파이프라인은 종종 큐레이션된 CAD 모델, 수동 마스킹, 또는 객체별 적응에 의존하며, 심각한 가림, 모션 블러, 그리고 급격한 시점 변화 하에서는 실패합니다. 기존 방법들의 중요한 한계는 추적 실패를 인식할 수 있는 원칙적인 메커니즘이 부족하다는 점입니다. 추적기들은 종종 "맹목적으로" 작동하며, 대상이 국소적인 매력 영역 (basin of attraction) 내에 남아있다고 가정합니다. 정준 참조 (예: 단일 깨끗한 이미지) 와 관찰 쿼리 (예: 혼란스럽고 가려진 비디오 프레임) 간의 분포적 변화로 인해 드리프트가 발생할 때, 명시적인 실패 감지 없이는 복구가 어렵습니다.

2. 방법론

STORM(Segment, Track, and Object Re-Localization from a Single iMage) 은 주석 없는 참조 조건부 6D 포즈 추적을 위한 통합 프레임워크입니다. 이는 의미론적 이해와 기하학적 일관성을 **분할 객체 모듈 (SOM)**과 **추적 객체 모듈 (TOM)**이라는 두 개의 결합된 학습 가능 모듈을 통해 연결합니다. 본 프레임워크는 표현과 기하학을 위해 동결된 파운데이션 모델 (DINOv3, CLIP, SAM3D, FoundationPose) 을 활용하면서, 융합 및 검증을 위한 특정 구성 요소들을 학습합니다.

2.1. 분할 객체 모듈 (SOM)

SOM 은 하나 이상의 참조 이미지에서 객체 마스크와 3D 기하학을 복원하기 위해 coarse-to-fine 특징 정렬을 수행합니다. 이의 핵심 혁신은 계층적 공간 융합 어텐션 (HSFA) 아키텍처입니다:

의미론적 사전 주입: 인스턴스 모호성을 해결하기 위해 (예: 방해물이 있는 타겟 머그컵 구분), STORM 은 비전 - 언어 모델 (VLM) 에서 파생된 의미론적 제약을 주입합니다. 일반 프롬프트와 참조 이미지가 VLM 에 의해 처리되어 간결한 객체 기술자를 생성하고, 이는 CLIP 에 의해 인코딩됩니다. 이 의미론적 임베딩은 0 으로 초기화된 AdaLN/FiLM 스타일 조건부 계층을 통해 정규화된 시각 토큰을 변조하여, 모델이 잔류 특징 통계 보정을 학습하도록 합니다.
계층적 공간 융합 어텐션 (HSFA): 단순한 연결이나 표준 교차 어텐션과 달리, HSFA 는 여러 스케일에 걸쳐 참조 뷰 증거와 쿼리 - 참조 상호작용을 집계합니다. 이는 단일 또는 다중 뷰 참조로부터 일관된 정준 표현을 구축한 후, 쿼리 특징을 이 표현에 정렬합니다. 이 과정은 반복적으로 수행되어 참조 조건부 증거로 쿼리 표현을 점진적으로 정제합니다.
암시적 정렬: HSFA 는 어텐션 메커니즘을 통해 밀집된 토큰 - 대 - 토큰 대응을 유도합니다. 정렬 행렬은 정렬 가중치로 해석되며, 이를 통해 참조 객체성 사전이 전파되어 쿼리 마스크를 생성합니다.
기하학적 앵커링: 정렬된 2D 특징은 SAM3D를 사용하여 SE(3) 로 들어 올려지며, 이는 참조 이미지 (들) 로부터 정준 3D 메쉬를 생성합니다. 이 메쉬는 강체 기하학적 앵커 역할을 하여, 하류 포즈 추정기 (FoundationPose) 가 예측된 마스크를 측정 가능한 3D 좌표로 매핑할 수 있게 합니다.

2.2. 추적 객체 모듈 (TOM)

TOM 은 학습된 호환성 검증기로 작동하여 추적 충실도를 모니터링하고 드리프트가 지속될 때 재초기화를 트리거합니다.

호환성 검증: TOM 은 호환 가능한 관찰 - 메모리 쌍 (성공적인 추적) 과 호환 불가능한 쌍 (정체성 혼동 또는 드리프트) 을 구분하도록 이진 분류기로 학습됩니다. 이는 현재 관찰 크롭과 과거 성공적인 크롭들의 메모리 풀을 입력으로 받습니다.
에너지 유사 결정 규칙: 하드 이진 결정 대신, TOM 은 연속적인 호환성 로그를 출력합니다. 이는 에너지 유사 점수 ( $E = -g_\theta$ ) 로 변환되며, 여기서 높은 에너지는 낮은 호환성 (드리프트) 을 나타냅니다.
시간적 평활화 및 임계값 설정: 일시적인 가림이나 모션 블러로 인한 오탐지를 피하기 위해, 에너지 점수는 지수 이동 평균 (EMA) 을 사용하여 평활화됩니다. 추적 손실은 평활화된 에너지가 보정된 임계값을 $L$ 개의 연속 프레임 (예: $L=3$ ) 동안 초과할 때만 선언됩니다.
자동 재국소화: 지속적인 드리프트가 감지되면, 시스템은 SOM 을 트리거하여 객체를 재분할하고 포즈를 재초기화함으로써 효과적으로 루프를 닫습니다.

3. 주요 기여

통합 프레임워크: STORM 은 추론 시 CAD 모델이나 인스턴스별 미세 조정이 필요 없이 참조 및 쿼리 데이터 간의 분포적 변화를 해결하는 주석 없는 참조 조건부 6D 포즈 추적을 위한 단일 프레임워크를 제안합니다.
계층적 공간 융합 어텐션 (HSFA): 가변 뷰 참조 조건부 분할을 위한 작업 주도형 아키텍처입니다. HSFA 는 참조 뷰 집계, 쿼리 - 참조 교차 어텐션, 그리고 선택적 VLM 유래 의미론적 조건부 결합을 통해 혼란과 가림 하에서의 강건성을 향상시킵니다.
추적 손실 검증: 추적 검증을 BCE 로 학습된 호환성 문제로 공식화했습니다. TOM 을 통해 구현된 이 메커니즘은 호환성 로그에서 파생된 에너지 유사 점수를 사용하여 지속적인 드리프트를 감지하고 자동 재초기화를 트리거합니다.
추적 실패 벤치마크: 추적기들을 포즈 정확도뿐만 아니라 유효한 추적과 실패 모드 (failure modes) 를 구분하는 능력에 대해서도 평가하는 벤치마크를 확립했습니다. 이는 TOM 이 고정된 메트릭 학습 베이스라인보다 더 신뢰할 수 있는 추적 손실 감지를 제공함을 보여줍니다.

4. 실험 결과

실험은 주석 없는 추론 설정 (테스트 시간 마스크, 박스, 또는 객체별 업데이트 없음) 하에서 LM-O 및 YCB-Video 데이터셋에서 수행되었습니다.

포즈 추정 정확도: LM-O 에서 STORM 은 ADD-AUC 74.0% 와 ADD-S-AUC 89.0% 를 달성하여 강력한 베이스라인 (FoundationPose + CNOS) 을 능가하고, 정답 마스크를 사용한 FoundationPose 의 성능 (각각 78.0% 와 93.0%) 에 근접했습니다. YCB-Video 에서 STORM 은 정답 설정과 일치했으며 CNOS 베이스라인을 5% 초과했습니다.
분할 품질: SOM 모듈은 다섯 개의 BOP 데이터셋에서 평균 정밀도 (mAP) 67.7% 를 달성하여 네 개 (LM-O, TUD-L, HB, YCB-Video) 에서 새로운 최첨단 성능을 수립했고, T-LESS 에서는 미세 조정 없이도 감독된 베이스라인을 능가했습니다.
추적 강건성: 급격한 운동과 가림을 포함하는 스트레스 테스트에서 STORM 은 실패 감지가 없는 베이스라인 (ADD-AUC 74.64% 대 52.76%) 보다 현저히 우수했습니다. TOM 모듈은 드리프트를 성공적으로 감지하고 재추적을 트리거한 반면, 베이스라인은 복구에 실패했습니다.
효율성: 시스템은 실시간으로 작동합니다. TOM 검증기는 프레임당 약 9.1ms 를 추가하여 정상 상태 추적 루프를 25–33 FPS 영역 내에 유지합니다. SOM 은 초기화 또는 재국소화 시에만 호출되며, 단일 참조 설정에서 약 22 FPS 로 실행됩니다.

5. 중요성 및 주장

본 논문은 STORM 이 주석 없는 설정에서 전통적인 템플릿 매칭을 능가하는 참조 조건부 표현 학습과 명시적인 추적 손실 검증의 결합을 보여준다고 주장합니다. 의미론적 이해와 기하학적 일관성을 통합함으로써, 이 프레임워크는 물리적 AI 시스템 배포의 노동 집약적 요구 사항을 줄입니다.

저자들은 추적 상태의 신뢰성을 명시적으로 모델링할 수 있는 능력이 주요 기여라고 강조합니다. 이전 방법들이 침묵 속에서 드리프트하는 것과 달리, STORM 은 일시적인 불확실성과 지속적인 드리프트를 구분하는 연속적인 자기 점검 신호를 제공하여 자율적 복구를 가능하게 합니다. 이 연구는 좌표 일관성을 신중하게 처리한다면 SAM3D 를 통한 재구성된 기하학이 실제 포즈 등록에 충분할 수 있음을 시사하며, 큐레이션된 CAD 자산에 대한 의존성을 줄입니다.

논지는 T-LESS 와 같은 대칭적이거나 질감이 없는 객체에서의 모호성, 그리고 SAM3D 재구성의 충실도와 동결된 FoundationPose 백엔드에 대한 의존성과 같은 한계를 인정하며 겸손한 입장을 유지합니다. 현재 제로샷 설정이 적응이 필요하지 않다고 지적하지만, 향후 작업으로 온라인 임계값 적응과 카테고리 불연속 신개념 객체 처리가 필요하다고 언급합니다.