💻 computer science

RS $^3$ -Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation

RS $^3$ -Prune은 교차 프레임 어텐션 쿼리와 메모리 뱅크 엔트리를 기하학적으로 관련 있는 토큰으로 선택적으로 제한함으로써, 정확도를 희생하지 않으면서도 메모리가 제한된 하드웨어에서 긴 영상의 효율적인 처리를 가능하게 하여 비디오 객체 분할의 추론 지연 시간과 피크 메모리 사용량을 줄이는 학습이 필요 없는 토큰 프루닝 방법이다.

원저자: Avilasha Mandal, Sarvesh Shashikumar

게시일 2026-08-25

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Avilasha Mandal, Sarvesh Shashikumar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 비전의 세계에는 비디오 객체 분할(video object segmentation)이라는 작업이 있습니다. 집에서 찍은 홈 비디오를 보면서 컴퓨터가 매 프레임마다 달리는 강아지의 완벽한 윤곽선을 그려내고, 동물과 잔디, 하늘, 그리고 배경에 있는 사람들을 구분해내는 상황을 상상해 보십시오. 오랫동안 이 작업을 수행하는 최고의 컴퓨터 프로그램들은 자신이 본 모든 것을 기억하는 방식으로 작동해 왔습니다. 비디오가 재생됨에 따라 소프트웨어는 시각적 세부 사항의 거대하고 커지는 라이브러리를 구축하며, 모든 프레임의 모든 픽셀에 대한 아주 작은 정보 조각을 저장했습니다. 이 라이브러리 덕분에 컴퓨터는 강아지가 나무 뒤로 숨거나 방향을 바꾸더라도 강아지를 인식할 수 있었습니다. 그러나 이 방식에는 심각한 결함이 있습니다. 비디오가 길어질수록 라이브러리가 커진다는 점입니다. 결국 컴퓨터는 메모리가 부족해져서 작동을 멈추거나 속도가 현저히 느려지게 됩니다. 이는 이러한 고급 시스템을 긴 영화나 저장 공간이 제한적인 스마트폰 같은 작은 기기에서 사용하는 것을 거의 불가능하게 만듭니다.

연구진은 컴퓨터의 정확도를 떨어뜨리지 않으면서 이 병목 현상을 해결할 방법을 찾아냈습니다. 그들은 소프트웨어가 무엇을 기억하고 무엇을 무시할지 결정하는 방식을 바꾸는 새로운 방법을 개발했습니다. 모든 프레임의 모든 세부 사항을 모조리 쌓아두는 대신, 이제 시스템은 가장 필수적인 문서만을 보관하는 세심한 기록 보관관처럼 행동합니다. 현재 순간에 무엇을 볼 것인지 결정하는 필터와 나중에 저장할 것을 결정하는 필터라는 두 가지 특정 필터를 적용함으로써, 연구진은 컴퓨터가 필요로 하는 메모리 양을 획기적으로 줄일 수 있었습니다. 그들의 연구는 비디오 분할 시스템이 기존의 수정되지 않은 시스템과 동일한 높은 정밀도로 객체를 추적하면서도 훨씬 더 빠르게 실행되고 훨씬 적은 메모리를 사용할 수 있음을 보여줍니다.

연구진인 아빌라샤 만달(Avilasha Mandal)과 사르베쉬 샤시쿠마르(Sarvesh Shashikumar)는 "메모리 뱅크(memory-bank)" 네트워크라고 알려진 특정 유형의 비디오 분석 시스템에 집중했습니다. 이러한 시스템은 두 가지 주요 단계로 작동합니다. 첫째, 새로운 비디오 프레임을 살펴보고 이를 '토큰(token)'이라고 불리는 작은 조각들로 나눕니다. 이 토큰들은 시각적 정보를 나타냅니다. 둘째, 이 새로운 조각들을 이전 프레임들로부터 축적된 메모리 뱅크와 비교하여 객체가 어디에 있는지 파악합니다. 문제는 현대의 시스템들이 새로운 프레임의 모든 토큰을 메모리 뱅크의 모든 토큰과 비교하려고 시도한다는 점입니다. 비디오가 진행됨에 따라 이 메모리 뱅크는 부풀어 오르고, 컴퓨터는 매 프레임마다 엄청난 양의 수학적 계산을 수행해야 하므로 빠르게 자원을 고갈시킵니다.

이 문제를 해결하기 위해 팀은 RS3-Prune이라는 기술을 도입했습니다. 이름은 "Read-Sparse, Store-Sparse(읽기 희소성, 저장 희소성)"의 약자로, 데이터가 줄어드는 두 지점을 설명합니다. 첫 번째 삭감은 컴퓨터가 메모리를 읽을 때 발생합니다. 시스템은 이제 메모리 뱅크에 대해 현재 이미지의 모든 부분에 대해 묻는 대신, 추적 중인 객체를 포함할 가능성이 높은 부분에 대해서만 질문합니다. 이 시스템은 객체의 형태에 기반한 간단한 규칙을 사용합니다. 만약 이미지의 한 부분이 알려진 객체의 위치에서 멀리 떨어져 있다면, 시스템은 그 부분을 무시합니다. 즉, 컴퓨터는 불필요한 계산을 대량으로 건너뛰어 프로세스를 상당히 가속화합니다.

두 번째 삭감은 컴퓨터가 메모리 뱅크에 새로운 정보를 쓸 때 발생합니다. 기존 시스템에서는 데이터의 유용성 여부와 관계없이 모든 프레임이 메모리 뱅크에 전체 데이터 세트를 추가했습니다. 새로운 방식은 무언가를 저장하기 전에 다음과 같은 다른 질문을 던집니다. "이 이미지의 조각이 우리가 추적하는 객체에 속하는가?" 만약 답이 '아니오'라면, 그 정보는 즉시 폐기되어 저장되지 않습니다. 이는 메모리 뱅크가 하늘이나 벽 같은 배경 소음으로 채워지는 것을 방지하여, 몇 시간 동안의 비디오가 지나도 뱅크가 작고 관리 가능한 상태를 유지하도록 보장합니다.

연구진은 이 방법을 5개의 서로 다른 비디오 데이터셋(짧은 클립부터 매우 긴 시퀀스까지)에 테스트했으며, 이를 5가지의 최첨단 비디오 분할 모델에 적용했습니다. 그들은 이 새로운 접근 방식이 시스템을 훨씬 더 빠르게 만든다는 것을 발견했습니다. 평균적으로 속도는 거의 39% 증가했는데, 이는 컴퓨터가 초당 거의 40% 더 많은 프레임을 처리할 수 있음을 의미합니다. 동시에, 소프트웨어를 실행하는 데 필요한 메모리 양은 약 13% 감소했습니다. 아마도 가장 놀라운 점은 추적의 정확도가 저하되지 않았다는 것입니다. 사실, 배경이 복잡한 어려운 비디오의 경우, 시스템은 관련 없는 세부 사항 때문에 혼란을 겪지 않게 됨으로써 오히려 더 나은 성능을 보여주었습니다.

이 발견의 가장 중요한 측면 중 하나는 컴퓨터 모델을 재학습시킬 필요가 없다는 점입니다. 연구진은 단순히 기존 소프트웨어 앞에 서 있는 문지기 역할을 하는 작은 명령 세트를 추가했을 뿐입니다. 그들은 컴퓨터에게 새로운 것을 가르치거나 핵심적인 '뇌'를 변경할 필요가 없었습니다. 이로 인해 이 솔루션은 사용하기 매우 쉽습니다. 메모리 뱅크를 사용하는 모든 현대적인 비디오 분할 시스템에 적용될 수 있으며, 고정된 값비싼 요구 사항을 조정 가능한 유연한 설정으로 바꿀 수 있습니다.

팀은 이 방법이 왜 그렇게 잘 작동하는지 탐구했습니다. 그들은 추적되는 객체들이 보통 뚜렷한 형태와 질감을 가진 반면, 배경은 종종 매끄럽고 균일하다는 것을 깨달았습니다. 가장 많은 시각적 에너지를 담고 있고 객체의 경계 내에 위치한 토큰들에만 집중함으로써, 시스템은 자연스럽게 노이즈를 걸러냅니다. 이는 영화를 보는 사람이 배우에게 집중하고 극장의 빈 좌석은 무시하는 것과 비슷합니다. 컴퓨터도 자동으로 똑같이 학습하는 것입니다.

이 방법이 매우 효과적이긴 하지만, 연구진은 이것이 모든 시나리오에 완벽한 것은 아니라는 점을 인정합니다. 만약 객체가 처음 발견된 곳에서 매우 멀리 이동한다면, 메모리 뱅크가 너무 엄격할 경우 시스템이 추적에 어려움을 겪을 수 있습니다. 그러나 그들은 객체가 몇 프레임 동안 사라졌을 때 검색 영역을 확장하는 안전 장치를 구축하여, 객체를 다시 찾을 수 있도록 보장했습니다. 이러한 엄격한 필터링과 유연한 회복 사이의 균형은 시스템이 인간의 개입 없이도 대부분의 실제 비디오를 처리할 수 있게 해줍니다.

이 연구의 함의는 단순히 소프트웨어를 더 빠르게 만드는 것을 넘어섭니다. 메모리와 처리 능력을 줄임으로써, 이 시스템들은 이전에는 이를 감당하기에 너무 약했던 기기에서도 실행 가능해집니다. 이는 스마트폰, 드론, 또는 웨어러블 카메라에서 실시간 비디오 분석을 가능하게 하여, 장기간 객체를 추적해야 하는 새로운 응용 분야를 열어줄 수 있습니다. 연구진은 이러한 시스템의 한계가 알고리즘의 지능이 아니라, 그들이 처리해야 했던 순수한 데이터의 양이었다는 것을 입증했습니다. 데이터를 지능적으로 솎아냄으로써 그들은 새로운 수준의 효율성을 확보했으며, 때로는 무엇을 기억할지 아는 것만큼 무엇을 잊을지 아는 것이 중요하다는 것을 증명했습니다.

기술 요약: RS3-Prune

문제 정의

현대의 비디오 객체 분할(Video Object-Segmentation, VOS) 네트워크는 이미지 인코더가 모든 프레임에 대해 조밀한 토큰 그리드를 생성하고, 메모리 인코더가 이 토큰들을 증가하는 뱅크에 추가하여 미래의 예측을 조건화하는 "메모리 뱅크" 아키텍처로 수렴했습니다. 이러한 모델들은 짧은 벤치마크에서는 높은 정확도를 달지만, 비디오 길이가 길어짐에 따라 토큰 예산(메모리 파이프라인을 통해 흐르는 토큰의 수)으로 인해 피크 GPU 메모리 소비량이 선형적으로 증가하고 추론 처리량(throughput)이 저하되는 결정적인 배포 한계에 직면합니다.

저자들은 주요 병목 현상이 네트워크의 알고리즘적 능력이 아니라, 통제되지 않는 토큰 예산의 증가라고 주장합니다. 기존의 토큰 프루닝(pruning) 방법들은 대개 어텐션 쿼리 경계(읽히는 것을 압축하는 것)에서만 작동하며, 메모리 뱅크 자체(쓰여지는 것)는 최적화되지 않은 채 가득 찬 상태로 남겨둡니다. 이는 장기 영상(long-form videos)이나 메모리가 제한된 가속기에서의 효율적인 배포를 방해합니다.

방법론: RS3-Prune

RS3-Prune은 기존 VOS 네트워크 상단에 훅(hook) 형태로 구현되는, 학습이 필요 없는(training-free) 추론 시점의 레시피입니다. 이 방법은 토큰 예산을 압축하기 위해 두 가지 뚜렷한 구조적 경계에서 작동합니다.

1. 읽기 측 프루닝 (Read-Side Pruning, 속도 레버)

위치: 이미지 인코더와 메모리 어텐션 리드아웃(readout) 사이.
메커니즘: 현재 프레임의 모든 $m \times n$ $m \times n$ 토큰을 메모리 뱅크의 쿼리로 사용하는 대신, RS3-Prune은 다음 두 가지 기준에 따라 희소한 하위 집합( $K_r$ $K_{r}$ )을 선택합니다.
- 공간적 사전 지식(Spatial Prior): 객체의 바운딩 박스에서 유도된 기하학적 게이트입니다. 첫 번째 프레임의 경우 이는 그라운드 트루스 마스크에 기반하며, 후속 프레임의 경우 모델 자신의 이전 예측으로부터 전파됩니다. 폐쇄(occlusion)나 객체가 프레임을 벗어나는 상황을 처리하기 위해, "스트릭 카운티드 바운딩 박스(streak-counted bounding box)" 폴백(fallback) 기능이 객체가 연속된 프레임 동안 사라질 경우 탐색 반경을 확장합니다.
- 시각적 에너지(Visual Energy): 공간적 사전 지식 내에서 토큰들은 $\ell_2$ 노름(norm)에 의해 순위가 매겨집니다. 이론적으로 코시-슈바르츠 부등식(Cauchy-Schwarz inequality)에 근거하여, 노름이 높은 토큰은 어텐션 리드아웃에 더 크게 기여합니다. 공간적 사전 지식 내의 상위- $\rho$ 비율의 토큰들이 유지됩니다.
구현: 메모리 어텐션 레이어는 유지된 인덱스로부터만 쿼리를 모으도록 패치됩니다. 또한, 유지된 토큰의 특정 공간 좌표와 일치하도록 회전 위치 임베딩(Rotary Positional Embeddings, RoPE)도 함께 수집되어, 밀집(dense) 파이프라인과 수치적 동등성을 보장합니다.

2. 쓰기 측 프루닝 (Write-Side Pruning, 메모리 레버)

위치: 메모리 인코더와 메모리 뱅크 사이.
메커니즘: 이 개입은 어떤 토큰이 장기 메모리 뱅크에 진입할 수 있는지를 결정합니다.
- 시드 기반 선택(Seed-Based Selection): 쓰기 유지 집합( $K_w$ )은 "시드 프레임"(객체가 처음 나타나는 프레임)에서 한 번 계산됩니다. 이는 객체의 초기 마스크를 인코더 그리드로 다운샘플링하고 고정된 여백( $D_w$ )만큼 팽창(dilate)시킨 합집합으로 구성됩니다.
- 고정 스트라이드(Fixed Stride): 이 집합 $K_w$ 는 주어진 객체에 대해 전체 비디오 시퀀스 동안 고정된 상태로 유지됩니다. 오직 이 기하학적 영역 내에 있는 토큰들만이 메모리 인코더를 통과하여 뱅크에 추가됩니다.
안전성: 저자들은 읽기 측 사전 지식( $P^{(t)}$ )이 쓰기 측 유지 집합( $K_w$ )의 부분 집합(여백 $D_w$ 가 충분히 클 경우)이므로, 읽기 측에서 쿼리되는 모든 위치에 메모리 뱅크에 대응하는 항목이 존재함을 보장하여 이 방식이 안전하다고 주장합니다.

3. 후처리(Post-Processing)

유지되지 않은 토큰을 제로잉(zeroing out)함으로써 발생하는 "솔트 앤 페퍼(salt-and-pepper)" 구멍 현상을 완화하기 위해, 최종 argmax 선택 전 단일 형태학적 폐쇄(morphological closure, 팽창 후 침식)가 예측된 이진 마스크에 적용됩니다.

주요 기여

병목 현상 식별: 본 논문은 토큰 예산이 알고리즘적 격차가 아니라, 메모리 뱅크 VOS의 실제 배포 한계라고 상정합니다.
이중 위치 프루닝: RS3-Prune은 읽기(쿼리) 및 쓰기(저장) 경계 모두에서 토큰을 압축하는 대칭적인 레시피를 도입하며, 저자들은 이것이 기존의 이미지 도메인 토큰 프루닝과 차별화되는 VOS만의 특징이라고 주장합니다.
학습이 필요 없는 적응(Training-Free Adaptation): 이 방법은 재학습, 미세 조정 또는 새로운 파라미터를 요구하지 않습니다. 이는 프리트레인된 체크포인트에 대한 패치로서 기능합니다.
기하학적 사전 지식의 정당성: 저자들은 기하학적 사전 지식과 토큰 에너지 랭킹을 결합하는 것이 왜 학습된 특징 기반 선택기 없이도 가장 정보가 풍부한 토큰을 효과적으로 격리할 수 있는지에 대해 수학적 정당성(어텐션 기여도에 대한 코시-슈바르츠 경계)을 제공합니다.

실험 결과

이 방법은 다섯 가지 아키텍처(STM, XMem, Cutie, SAM2, SAM3.1)와 다섯 가지 벤치마크(DAVIS-17, SA-V, YouTube-VOS, MOSE, LVOSv2)에서 평가되었습니다.

효율성 이득: 모든 아키텍처와 데이터셋에 걸쳐, RS3-Prune은 평균 38.8%의 FPS 향상과 평균 13.1%의 피크 VRAM 감소를 달s성했습니다.
- 구체적인 이득은 모델마다 달랐습니다: STM은 +58% FPS / -32% VRAM, XMem은 +26% FPS / -16% VRAM, Cutie는 +60% FPS / -7% VRAM를 기록했습니다.
정확도 보존: 이 방법은 경쟁력 있는 J & F 점수를 유지했습니다. 몇몇 사례(예: SA-V 및 MOSE에서의 SAM2)에서는 정확도가 오히려 기존 모델보다 몇 포인트 향상되었습니다. 저자들은 이를 프루닝이 풀 소프트맥스(full-softmax) 리드아웃에 의해 노이즈로 통합될 수 있는 배경 컨텍스트를 제거하는 "디노이저(denoiser)" 역할을 했기 때문이라고 설명합니다.
베이스라인과의 비교: 객체 사전 지식이 부족하여 비디오 환경에서 상당한 정확도 저하를 일으키는 기존의 효율적 토큰 프루닝 방법들(SparseViT, DynamicViT, VLTP)과 달리, RS3-Prune은 기하학적 객체 마스크를 활용함으로써 높은 정확도를 유지했습니다.

의의 및 주장

논문은 RS3-Prune이 토큰 예산을 아키텍처의 상수가 아닌 조절 가능한 노브(knob)로 변환하여, VSA 모델이 원래 네트워크의 "결합 메커니즘(consolidation machinery)"을 희생하지 않고도 장기 영상 및 메모리 제한 하드웨어에서 실행될 수 있게 한다고 주장합니다.

저자들은 이 방법이 **프롬프팅(prompting)과 직교(orthogonal)**함을 강조합니다. 즉, 시스템이 세미 감독 모드(시드 마스크 사용)로 실행되든 인터랙티브 모드(인간의 개입이 포함된 프롬프트)로 실행되든 효율성 이득은 동일하게 유지됩니다. 의의는 RS3-Prune이 불필요한 배경 토큰을 필터링함으로써 성능을 유지하거나 심지어 향상시키면서, 메모리 고갈로 인해 이전에는 접근 불가능했던 배포 영역(장기 영상, 실시간 스트림)을 열어준다는 점에 있습니다.

한계점

저자들은 쓰기 측 유지 집합이 시드 프레임의 풋프린트를 기준으로 고정되어 있다는 점을 인정합니다. 만약 객체가 이 팽창된 영역 밖으로 크게 이동한다면, 이 방법은 추적에 실패하거나(팽창이 너무 작을 경우) 효율성을 잃을 수 있습니다(팽창이 너무 클 경우). 그들은 학습된 모션 히스토리 인식 쓰기 유지 집합이 이를 해결할 수 있다고 제안하지만, 현재의 고정된 방식이 테스트된 시나리오에서는 충분하며 다른 객체의 출력에는 영향을 주지 않는다고 언급했습니다.