💻 computer science

RADSeg: Unleashing Parameter and Compute Efficient Zero-Shot Open-Vocabulary Segmentation Using Agglomerative Models

이 논문은 RADIO 기반의 아그로머레이티브 모델을 활용해 기존 초대형 모델들의 성능을 뛰어넘으면서도 파라미터와 연산 효율성을 극대화한 새로운 제로샷 오픈-보카불러리 분할 방법인 RADSeg 를 제안합니다.

원저자: Omar Alama, Darshil Jariwala, Avigyan Bhattacharya, Seungchan Kim, Wenshan Wang, Sebastian Scherer

게시일 2026-04-13

📖 4 분 읽기☕ 가벼운 읽기

원저자: Omar Alama, Darshil Jariwala, Avigyan Bhattacharya, Seungchan Kim, Wenshan Wang, Sebastian Scherer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'RADSeg'**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 우리가 이미지를 보고 "이건 의자야", "그건 나무야"라고 설명할 때, 컴퓨터가 그 설명을 듣고 이미지 속의 각 부분을 정확하게 찾아내어 구분해 주는 '지능형 이미지 분할' 기술입니다.

기존의 방법들은 너무 무겁고 느려서 실생활에 쓰기 힘들거나, 새로운 물체를 가르쳐 주지 않으면 못 알아보는 문제가 있었는데요. RADSeg 는 이 모든 문제를 '가볍고, 빠르고, 똑똑하게' 해결했습니다.

이 기술을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

1. 기존 방법들의 문제: "무거운 백팩을 멘 탐정"

기존의 AI 모델들은 이미지를 분석할 때 두 가지 큰 문제가 있었습니다.

방대한 지식만 가진 '거인' (CLIP 등): 이 모델들은 책상 위에 쌓인 수만 권의 책을 다 읽어서 어떤 물체인지 대략적으로 알 수는 있지만, "이 책상 위 컵의 정확한 위치"를 찾아내는 데는 서툴렀습니다. (전체적인 맥락은 좋지만, 세부적인 위치 파악이 안 됨)
여러 명을 부르는 '팀워크' (Trident 등): 정확도를 높이기 위해 거인 모델 하나에다가 다른 전문가들 (SAM, DINO 등) 을 여러 명 부려서 함께 일하게 했습니다. 결과는 좋았지만, 인건비 (컴퓨터 성능) 가 너무 비싸고, 일하는 속도가 매우 느렸습니다. 마치 작은 가게를 운영하느라 전 세계의 전문가들을 고용한 것과 같았죠.

2. RADSeg 의 해결책: "한 명으로 모든 일을 해내는 '슈퍼 탐정'"

RADSeg 는 **'RADIO'**라는 새로운 기반 모델을 사용했습니다. 이 모델은 여러 전문가들의 지식을 하나로 합쳐서 만든 '아그로메이티브 (Agglomerative, 응집형)' 모델입니다.

비유: 마치 한 명의 **'슈퍼 탐정'**이 있습니다. 이 탐정은 과거의 거인 모델들이 가진 지식과, 세부적인 위치를 찾는 능력까지 모두 한 몸에 가지고 있습니다.
효과: 여러 명을 부를 필요가 없으니, 인건비 (메모리) 가 훨씬 적게 들고, 일하는 속도 (속도) 가 엄청나게 빨라졌습니다.

3. RADSeg 의 핵심 기술 3 가지 (비유로 설명)

RADSeg 는 이 슈퍼 탐정이 더 똑똑하게 일할 수 있도록 세 가지 비법을 적용했습니다.

① 자기만의 거울 보기 (Self-Correlating Recursive Attention)

상황: 탐정이 "의자"를 찾을 때, 이미지 속의 한 부분만 보고 "아, 의자다!"라고 단정 짓는 대신, **"이 부분은 저 부분과 비슷하네? 저것도 의자일 거야"**라고 주변과 비교합니다.
비유: 마치 거울을 여러 개 놓아두고 자신의 모습을 여러 각도에서 확인하듯, 이미지 속의 유사한 부분끼리 서로 대화하게 만들어서 오류를 줄이고 정확한 위치를 찾아냅니다.

② 창문 조각 맞추기 (Self-Correlating Global Aggregation)

상황: 큰 이미지를 잘게 잘라서 (창문처럼) 하나씩 분석하면, 경계선 부분에서 "여기는 A 가 맞는데 저기는 B 가 되네?" 하는 **불일치 (아티팩트)**가 생길 수 있습니다.
비유: 퍼즐 조각을 맞출 때, 조각 하나하나만 보는 게 아니라 전체 그림을 한 번에 훑어보며 조각들이 자연스럽게 이어지도록 다듬는 작업입니다. 이렇게 하면 이미지의 끊어짐 없이 매끄러운 결과를 얻습니다.

③ 미세 조정 도구 (RADIO-SAM Refinement)

상황: 대략적인 위치는 찾았지만, 물체의 **가장자리 (테두리)**가 조금 뭉개져 보일 수 있습니다.
비유: 그림을 그릴 때 대략적인 윤곽을 먼저 그리고, 마지막에 세밀한 붓질을 하는 것과 같습니다. RADSeg 는 이 세밀한 작업을 위해 아주 작은 도구 (SAM 의 일부 기능) 만을 추가로 사용합니다. 전체 무게는 거의 늘지 않으면서 결과는 훨씬 선명해집니다.

4. 왜 이 기술이 중요한가요? (결과 요약)

속도: 기존에 가장 잘하는 방법들보다 약 4 배 더 빠릅니다. (거인 4 명을 부르는 대신, 슈퍼 탐정 1 명으로 해결)
크기: 컴퓨터가 필요로 하는 메모리는 약 2.5 배 더 적습니다. (휴대폰이나 드론 같은 작은 기기에서도 쉽게 실행 가능)
정확도: 가장 놀라운 점은, 작은 모델 (RADSeg-base) 이 기존에 거대한 모델 (Huge 모델) 들을 합친 것보다 더 정확하게 물체를 찾아낸다는 것입니다.

5. 결론: "가볍고 빠른 미래의 눈"

이 연구는 **"무조건 크고 무거운 AI 가 좋은 건 아니다"**라는 것을 보여줍니다. RADSeg 는 적은 자원으로도 높은 성능을 내는 효율적인 AI의 새로운 기준을 제시합니다.

실제 활용: 자율주행차가 복잡한 도시를 빠르게 인식하거나, 로봇이 집안일을 할 때 물체를 정확히 구분하거나, 의료 영상에서 병변을 찾아내는 등 실시간이 필요한 모든 분야에 적용될 수 있습니다.

요약하자면, RADSeg 는 **"여러 명의 거인을 부르는 대신, 한 명의 똑똑하고 빠른 슈퍼 탐정을 만들어서, 적은 비용으로 더 정확한 결과를 얻는 기술"**입니다.

RADSeg: 집합적 (Agglomerative) 모델을 활용한 파라미터 및 연산 효율적인 제로샷 오픈 보카불러리 분할

1. 문제 정의 (Problem)

오픈 보카불러리 시맨틱 분할 (OVSS) 의 한계: 기존 OVSS 방법은 두 가지 주요 접근법을 취합니다.
1. 학습 기반 (Training-based): CLIP 등의 비전 - 언어 모델 (VLM) 을 제한된 분할 데이터셋으로 미세 조정 (Fine-tuning) 합니다. 이는 일반화 능력을 저하시키고 새로운 클래스에 대한 적응을 어렵게 만듭니다.
2. 제로샷 (Zero-shot) 접근법: CLIP 등의 모델을 그대로 사용하거나, 여러 모델 (DINOv2, SAM 등) 을 결합하여 사용합니다.
  - 밀도 추론 (Dense-inference): 이미지 크롭을 여러 번 입력하여 특징을 생성하는 방식은 연산 비용이 매우 큽니다.
  - 모델 결합 (Model Combination): Trident, TextRegion 등 여러 거대 모델을 결합한 방법은 정확도는 높지만, 파라미터 수와 메모리/지연 시간 (Latency) 이 과도하게 증가하여 실시간 로봇이나 임베디드 시스템에 적용하기 어렵습니다.
핵심 과제: 높은 정확도 (mIoU) 를 유지하면서도 파라미터 수와 연산 비용을 획기적으로 줄이는 효율적인 제로샷 OVSS 방법론이 필요합니다.

2. 방법론 (Methodology)

저자들은 RADIO (Agglomerative Vision Foundation Model) 를 기반으로 한 새로운 파이프라인 RADSeg를 제안합니다. RADIO 는 CLIP, SigLIP, SAM, DINOv2 등 여러 거대 모델의 지식을 단일 모델에 증류 (Distill) 한 모델입니다.

주요 구성 요소:

밀도 언어 정렬 (Dense Language Alignment):
- RADIO 는 기본적으로 CLS 토큰만 언어와 정렬되도록 학습되었습니다.
- 저자들은 RADIO 의 패치 (Patch) 토큰에 SigLIP CLS 어댑터 (MLP) 를 적용함으로써, 패치 단위 특징이 언어와 정렬되는 발현적 속성 (Emergent Property) 을 발견하고 활용합니다. 이를 통해 별도의 학습 없이 밀도 특징 맵을 생성합니다.
자기 상관 재귀적 어텐션 (Self-Correlating Recursive Attention, SCRA):
- 목적: 패치 간의 공간적 국소성 (Spatial Locality) 을 강화하고, 의미론적으로 유사한 패치들이 서로 주의를 기울이도록 유도합니다.
- 구현: RADIO 의 마지막 블록 출력에서 패치 간 코사인 유사도 행렬을 계산하고, 음의 상관관계는 $-\infty$ 로 설정하여 유사한 패치만 주의를 기울이게 합니다. 이를 마지막 어텐션 블록에 재귀적으로 피드백하여 특징을 정제합니다. 추가 파라미터 없이 공간적 일관성을 높입니다.
자기 상관 글로벌 집계 (Self-Correlating Global Aggregation, SCGA):
- 목적: 슬라이딩 윈도우 추론 시 발생하는 윈도우 경계 아티팩트 (Windowing Artifacts) 를 제거합니다.
- 구현: 서로 다른 윈도우에서 추출된 동일한 객체의 특징이 일관되도록, 전역 특징 맵 내에서 의미론적으로 유사한 특징들을 평균화 (Aggregation) 합니다. 이를 통해 노이즈를 줄이고 특징 맵의 선명도를 유지합니다.
RADIO-SAM 정제 (Optional Refinement, RADSeg+):
- 목적: 분할 마스크의 경계를 더 정교하게 다듬습니다.
- 구현: RADIO 의 출력 토큰을 SAM-Huge 의 토큰 공간으로 매핑하는 어댑터만 사용하여, SAM-Huge 의 전체 파라미터 중 0.8%(약 13M 파라미터) 만 추가로 사용합니다. 이를 통해 SAM 의 정제 능력을 활용하면서도 경량화를 유지합니다.

3. 주요 기여 (Key Contributions)

RADIO 의 제로샷 OVSS 에 대한 최초의 포괄적 연구: RADIO 모델이 제로샷 오픈 보카불러리 분할에 얼마나 효과적인지, 그리고 다른 백본 (Backbone) 과 비교했을 때의 효율성을 처음으로 체계적으로 분석했습니다.
고효율 파이프라인 RADSeg 제안: SCRA 와 SCGA 를 도입하여 RADIO 의 공간적 국소성을 강화하고, RADIO-SAM 정제를 통해 마스크 품질을 높였습니다.
성능과 효율성의 동시 달성:
- Base 모델 (106M 파라미터) 로 거대 모델 (850M~1.35B 파라미터) 을 능가하는 성능 달성.
- 기존 최상위 방법론 (Trident, TextRegion 등) 대비 3.95 배 빠른 추론 속도와 2.5 배 적은 파라미터를 사용하면서도 mIoU 를 6~30% 향상시켰습니다.

4. 실험 결과 (Results)

2D 분할 (5 개 데이터셋):
- RADSeg (Base): 모든 해상도 조건 (Low, Mid, High) 에서 기존 SOTA 방법론들 (Trident, TextRegion 등) 보다 평균 mIoU 가 3~5% 높았습니다.
- RADSeg+: SAM 정제를 추가하여 평균 mIoU 를 최대 7% 더 향상시켰습니다.
- 효율성: 거대 모델 기반의 Trident Huge (1.35B) 나 TextRegion Huge (850M) 보다 9.3~12.6 배 빠른 속도와 8.1~12.7 배 적은 파라미터로 더 높은 정확도를 달성했습니다.
3D 분할 (Replica, ScanNet, ScanNet++):
- 2D 특징을 3D 포인트 클라우드/볼륨으로 투영하여 평가했습니다.
- RADSeg 는 다중 뷰 일관성 (Multi-view Consistency) 이 뛰어나며, 기존 방법론 대비 더 깨끗하고 오분류가 적은 3D 시맨틱 맵을 생성했습니다.
Ablation Study:
- SCRA 와 SCGA 는 각각 약 2% 와 1.4% 의 mIoU 향상을 제공하며, 연산 오버헤드는 미미합니다.
- RADIO 의 Base 모델이 Huge 모델보다 오히려 CLS-Patch 정렬이 더 잘 되어 있어 제로샷 분할에 유리함을 확인했습니다.

5. 의의 및 결론 (Significance)

효율성과 정확도의 트레이드오프 해소: 기존에 "정확한 분할을 위해서는 무거운 모델을 사용해야 한다"는 인식을 깨뜨렸습니다. 단일 집합적 모델 (Agglomerative Model) 과 효율적인 어텐션 기법만으로 거대 모델 조합을 능가하는 성능을 달성했습니다.
실용성 증대: 낮은 파라미터 수와 빠른 추론 속도로 인해 로봇 조작, 자율 주행, 임베디드 시스템 등 자원이 제한된 환경에서의 실시간 오픈 보카불러리 분할 적용이 가능해졌습니다.
미래 방향: 집합적 모델 (Agglomerative Models) 이 오픈 보카불러리 태스크의 새로운 표준 백본이 될 수 있음을 시사하며, 인스턴스 분할 및 다중 레이블 분할로 연구 범위를 확장할 가능성을 제시합니다.

이 논문은 RADIO라는 강력한 기반 모델과 SCRA/SCGA라는 효율적인 모듈을 결합하여, 작은 모델로 거대 모델의 성능을 압도하는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.