💻 computer science

Dynamic Resolution Routing for Efficient Egocentric Grounding

본 논문은 객체 중심 영역의 고해상도 패치를 선택적으로 활성화함으로써, 작은 객체 국지화에 대한 높은 정확도를 유지하면서도 시각적 토큰과 추론 시간을 크게 줄여 1인칭 시점 시각적 그라운딩의 효율성을 최적화하는 동적 해상도 라우팅 프레임워크인 SmartRes를 제안한다.

원저자: Huixin Sun, Wangbo Zhao, Fanyue Wei, Qiuxia Lin, Pengzhan Sun, Angela Yao

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Huixin Sun, Wangbo Zhao, Fanyue Wei, Qiuxia Lin, Pengzhan Sun, Angela Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 혼란스러운 다락방 안에 숨겨진 아주 작고 특정한 장난감을 찾으려고 노력한다고 상상해 보세요. 만약 당신에게 다락방 전체를 찍은 흐릿하고 저해상도인 사진 한 장만 있다면, 장난감이 너무 작아서 아예 놓쳐버릴 수도 있습니다. 하지만 다락방 전체를 초고해상도로 촬영한다면, 그 파일 용량이 너무 커져서 컴퓨터가 이를 처리하려다 멈춰버릴 것입니다. 이것은 '멀티모달 거대 언어 모델(MLLM)'이라 불리는 특별한 종류의 인공지능이 '에고센트릭(egocentric, 1인칭 시점)' 영상—헬멧에 고프로를 장착한 것처럼 사람 자신의 시점에서 촬영된 영상—을 이해하려고 할 때 겪는 일상적인 고충입니다. 이 영상 속에서 사람은 종드, 도구, 음식과 같은 작은 물체들과 상호작용하는 경우가 많으며, 카메라는 격렬하게 움직입니다. 이러한 작은 물체들을 찾아내기 위해 AI는 매우 선명한 고해상도 뷰가 필요합니다. 하지만 고화질 영상의 모든 픽셀을 처리하는 것은 도서관의 모든 책을 다 읽어서 단 하나의 문장을 찾아내려는 것과 같이 엄청나게 비용이 많이 들고 느린 작업입니다.

과학자들은 이를 해결하기 위해 '토큰 감소(token reduction)'라는 방법을 사용해 왔는데, 이는 AI가 이미지를 보기 전에 중요하지 않다고 생각되는 부분들을 미리 버리는 세련된 방식입니다. 그들은 AI의 주의(attention)가 이미지의 어느 부분에 집중하는지를 살피고 나머지를 삭제하는 것과 같은 지름길을 사용합니다. 그러나 지금 당신이 읽게 될 논문은 이러한 지름길들이 사실 상당히 신뢰할 수 없다고 제안합니다. 이러한 방식은 AI가 물체를 찾는 데 필요한 아주 작고 중요한 디테일을 버리는 대신, 지루한 배경을 남겨두는 경우가 많습니다. 이는 마치 건초더미에서 바늘을 찾으려고 하는데, 소음이 심한 짚에 비해 상대적으로 "조용해" 보인다는 이유로 정작 바늘까지 함께 던져버리는 것과 같습니다.

여기에 연구원 훈신(Huixin Sun)과 그 팀이 제안한 새로운 프레임워크인 SmartRes가 등장합니다. SmartRes는 AI가 이미지를 본 다음에 무작정 부분을 잘라내는 대신, 선제적으로 대응함으로써 게임의 판도를 바꿉니다. 이는 마치 똑똑한 카메라 기사처럼 행동합니다. 먼저 방의 전체적인 레이아웃을 파악하기 위해 전체를 빠르게 찍은 흐릿한 스냅샷을 찍습니다. 그다음, 가볍고 빠른 '라우터(router, 매우 빠르고 작은 의사 결정자라고 생각하면 됩니다)'를 사용하여 정확히 어디에 흥미로운 물체가 있는지 파악합니다. 일단 위치를 알게 되면, 그 특정 지점들만 줌인하여 초고해상도 사진을 찍고, 나머지 부분은 흐릿하게 유지합니다. 이렇게 하면 AI는 작은 물체를 찾는 데 필요한 고화질 디테일을 얻으면서도, 빈 벽이나 바닥을 처리하는 데 에너지를 낭비하지 않게 됩니다.

연구진은 이 방법이 게임 체인저라는 것을 발견했습니다. SmartRes를 사용함으로써, 그들은 전체의 방대한 이미지를 처리할 때 얻을 수 있는 성능의 **86.4%**를 유지하면서도 시각적 '토큰(AI가 처리하는 디지털 조각)'의 수를 최대 **67%**까지 줄일 수 있었습니다. 더욱 인상적인 점은, 이 접근 방식이 토큰을 제거하거나 병합하려고 시도하는 기존의 최선책들보다 1.66배 더 빠르게 실행되었다는 것입니다. 연구팀은 이 방법을 Ego4D 및 EgoIntention와 같은 1인칭 영상 데이터셋에서 테스트했으며, SmartRes가 특히 찾기 어려운 작은 물체를 찾는 데 탁ual한 성능을 보인다는 것을 발견했습니다. 또한, 단순히 어느 부분을 줌인할지 추측하는 것만으로는 부족하며, '마진 정규화 목적 함수(margin-regularized objective)'라는 특별한 수학적 규칙을 사용하여 라우터가 '전경(물체)'과 '배경(그 외 모든 것)'을 엄격하게 구분하도록 가르쳐야 한다는 점도 발견했습니다. 이 규칙은 라우터가 압도적인 배경 노이즈에 의해 혼란을 겪지 않도록 보장합니다.

요약하자면, SmartRes는 AI를 효율적으로 만드는 최선의 방법이 단순히 데이터를 삭제하는 것이 아니라, 컴퓨팅 파워를 어디에 쓸지 똑똑하게 결정하는 것임을 시사합니다. 이는 마치 형사가 도시 전체를 블록 단위로 뒤지는 것이 아니라, 사건 현장을 빠르게 훑어본 뒤 그 지점에만 고성능 현미경을 가져다 대는 것과 같습니다. 연구 결과는 이 전략을 통해 AI가 고해상도 이미지를 처리하는 막대한 비용에 짓눌리지 않고도, 복잡한 1인칭 뷰에서 작고 중요한 디테일을 포착할 수 있음을 보여줍니다.

기술 요약: 에고센트릭 그라운딩을 위한 동적 해상도 라우팅 기술, SmartRes

문제 정의
에고센트릭 시각적 그라운딩(Egocentric visual grounding)—자연어 질의를 바탕으로 1인칭 비디오 스트림 내에서 대상 객체를 국지화하는 작업—은 고해상도 입력의 필요성과 이를 처리하는 데 드는 계산 비용 사이의 심각한 긴장 상태에 직면해 있습니다. 에고센트릭 장면의 대상 객체는 종종 작고, 부분적으로 가려져 있으며, 급격한 시점 변화 속에서 관찰되므로, 미세한 공간적 세부 사항을 보존하기 위해 고해상도 입력이 필수적입니다. 그러나 멀티모달 거대 언어 모델(MLLM)을 이러한 고해상도 프레임(예: 3780 × 1920)을 처리하도록 확장하면 과도한 수의 시각적 토큰이 발생합니다. 저자들은 시각적 인코딩과 LLM 프리필링(prefilling)이 전체 추론 예산의 최대 66.5%를 소비하며 주요 병목 현상이 된다는 점을 식별했습니다.

디코더 어텐션이나 특징 유사성과 같은 휴리스틱을 사용하여 잠재 공간(latent space)에서 토큰을 제거하거나 병합하는 기존의 효율적 전략들은 이 도메인에서 신뢰할 수 없는 것으로 나타났습니다. 이러한 방식들은 미세한 객체 증거를 배경 토큰 대신 버리거나, 노이즈가 있는 컨텍스트(예: 손 또는 아티팩트)에 의해 오도되어, 중간 정도의 토큰 유지 비율에서도 상당한 성능 저하를 초래합니다.

방법론: SmartRes
이러한 한계를 해결하기 위해, 저자들은 사후적인 잠재 공간 토큰 프루닝(pruning)에서 선제적이고 동적인 픽셀 공간 내 해상도 라우팅으로 효율성 최적화의 패러다임을 전환하는 프레임워크인 SmartRes를 제안합니다. 핵심 아키텍처는 다음과 같이 작동합니다:

이중 뷰 입력 및 저해상도 가이드: 시스템은 원본 이미지를 기반으로 정렬된 두 개의 뷰, 즉 저해상도(LR) 이미지( $I_{LR}$ )와 고해상도(HR) 이미지( $I_{HR}$ )를 도출하여 처리합니다. LR 뷰는 비전 인코더를 통과하여 전역 공간 특징을 추출하며, 이는 라우팅 결정을 위한 가이드 역할을 합니다.
학습 가능한 패치 레벨 라우팅: 경량화된 MLP 기반 라우팅 헤드는 LR 특징으로부터 살리언시 맵(saliency map)을 예측합니다. 이 맵은 Straight-Through Estimator(STE)를 사용하여 이진화되어 라우팅 마스크를 생성합니다. 이 마스크는 HR 이미지의 어느 영역에 상세한 처리가 필요한지를 결정합니다.
순서 보존형 시각적 토큰 조립: 토큰을 단순히 버리는 대신, Smart-Res는 가변 길이의 시각적 시퀀스를 구축합니다. 배경 영역에는 압축된 LR 특징을 유지하고, 선택된 LR 패치를 객체 중심 영역에 해당하는 연속적인 HR 토큰 그룹으로 교체합니다. 결정적으로, 이 조립 과정은 캐노니컬 래스터 스캔(raster-scan) 순서를 보존하여 LLM을 위한 공간 구조가 온전하게 유지되도록 합니다.
마진 정규화 라우팅 목적 함수: 에고센트릭 데이터에 내재된 심각한 전경-배경 불균형(객체가 이미지의 아주 작은 부분만을 차지하는 현상)을 처리하기 위해, 저자들은 마진 정규화 라우팅 목적 함수를 도입합니다. 표준 이진 교차 엔트로피(BCE) 손실 외에도, 전경과 배경 토큰의 로짓(logit) 분포 간의 분리를 명시적으로 강제하는 **마진 힌지 손실(margin hinge loss)**을 사용하여 전경 재현율(recall)을 높이고 라우터가 쉽게 분류되는 배경 토큰에 의해 지배되는 것을 방지합니다.

주요 기여
본 논문은 세 가지 주요 기여를 설명합니다:

잠재 공간의 한계 식별: 저자들은 잠재 공간에서의 휴리스틱 기반 토큰 감소가 에고센트릭 그라운딩에서 객체 중심의 공간적 증거를 보존하는 데 신뢰할 수 없음을 입증했습니다.
동적 해상도 라우팅 프레임워크: 잠재 프루닝을 선제적인 픽셀 공간 선택으로 대체하는 SmartRes를 소개합니다. 여기에는 LR 뷰가 HR 프로세싱의 동적 활성화를 가이드하는 패치 레벨 할당 메커니즘이 포함됩니다.
마진 정규화를 통한 견고한 라우팅: 전경-배경 불균형을 해결하기 위해, 전경과 배경의 로짓을 명시적으로 분리하여 공간적 희소성 하에서도 견고한 라우팅을 보장하는 마진 정규화 목적 함수를 제안합니다.

실험 결과
에고센트릭 벤치마크(Ego4D 및 EgoIntention)와 표준 참조 표현 이해(REC) 데이터셋(RefCOCO, RefCOCO+, RefCOCOg)에서 평가된 결과, SmartRes는 우수한 효율성-정확도 트레이드오프를 보여줍니다:

성능 유지: Smart-Res-Lite는 시각적 토큰의 **33%**만을 사용하면서 전체 해상도 성능의 **86.4%**를 유지합니다. Smart-Res-Pro는 **55%**의 토큰 예산에서 **89.9%**의 성능을 유지합니다.
효율성 이득: 이 프레임워크는 시각적 토큰 소비를 최대 67% 줄입니다. 또한 더 높은 정확도를 유지하면서도 최신 토큰 감소 방법(예: Dyn-LLaVA) 대비 최대 1.66배 빠른 추론 속도를 달성합니다.
작은 객체 그라운딩: SmartRes는 균일 다운샘플링 및 잠재 프루닝 방식보다 작은 객체에 대해 월등히 뛰어난 성능을 보입니다. 예를 들어, Ego4D에서 55% 토큰 예산 사용 시 균일 다운샘플링은 심각한 성능 저하를 겪는 반면, SmartRes는 작은 객체에 대해 전체 해상도 성능의 88.9%를 유지합니다.
일반화: 이 방법은 표준 REC 벤치마크에도 잘 일반화되어, 42%의 토큰만을 사용하여 8개 분할 평균 80.5%의 성능 유지율을 달성했습니다.

의의 및 주장
본 논문은 Smart-Res가 효율적인 에고센트릭 그라운딩을 위한 새로운 **파레토 프런티어(Pareto frontier)**를 구축한다고 주장합니다. 효율성 최적화를 픽셀 공간으로 이동시키고 객체 중심 레이블로 감독되는 학습 가능한 라우터를 활용함으로써, SmartRes는 1인칭 뷰의 작은 객체 탐지를 저해하는 해상도 손실 문제를 효과적으로 완화합니다. 저자들은 이 접근 방식이 전체 해상도 처리에 따른 높은 계산 비용이 주요 장벽인 엣지 디바이스에 그라운딩 모델을 배포하는 데 실질적인 솔루션을 제공한다고 단언합니다. 본 연구는 미세한 공간적 증거를 동적 해상도 할당을 통해 보존하는 것이 시각적 시퀀스를 인코딩한 후 압축하는 것보다 더 효과적임을 강조합니다.

유사한 논문