기술 요약: X2SAM: 이미지 및 비디오 내 임의 분할

1. 문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 전역적 시각 이해 및 추론 (예: 이미지 캡션 생성, VQA) 에서 크게 진전되었으나, 정밀한 공간 및 시간적 이해를 위한 밀집된 픽셀 단위 출력 생성 능력은 여전히 제한적입니다. 반면, SAM 및 SAM2 와 같은 기반 분할 모델은 고품질 마스크를 생성하지만, 저수준 시각 프롬프트 (점, 상자) 에 의존하며 복잡한 대화형 텍스트 지시를 본질적으로 해석하는 능력이 부족합니다.

기존 분할 MLLM 은 이러한 격차를 해소하려 시도하지만 구조적 단편화로 고통받고 있습니다:

• 이미지만 모델 (예: LISA) 은 텍스트를 처리하지만 시각 프롬프트 및 비디오 입력을 지원하지 않습니다.
• 비디오 전용 모델 (예: VISA, VideoLISA) 은 시간적 텍스트-마스크 생성을 지원하지만 정적 이미지 및 시각 프롬프트를 위한 통합 아키텍처가 종종 결여되어 있습니다.
• 현재 한계: 단일 프레임워크가 정적 이미지와 동적 비디오 모두에서 텍스트 및 시각 프롬프트를 본질적으로 지원하면서도 시간적 일관성을 유지하는 경우는 없습니다.

2. 방법론: X2SAM 프레임워크

X2SAM 은 이미지에서 비디오로 "임의 분할 (any-segmentation)" 기능을 확장하도록 설계된 통합 분할 중심 MLLM 입니다. 이는 다양한 작업을 단일 지시 따르기 패러다임 하에서 처리하기 위해 MLLM 과 전문화된 마스크 메모리 모듈을 통합합니다.

2.1 통합 공식화

이 프레임워크는 관심 대상을 조건부 상태로, 언어 지시를 문맥 입력으로 간주합니다. 객체 조건을 구분하기 위해 특수 토큰 <p> 와 </p> 를 사용하고, 분할 마스크를 나타내기 위해 전용 <SEG> 토큰을 사용합니다. <SEG> 토큰의 숨겨진 표현은 마스크 디코더를 안내하는 의미적 지시자로 작용합니다. 이 공식화는 다음을 포함한 이미지 및 비디오에 걸친 14 가지 고유한 작업을 지원합니다:

• 일반, 오픈-보카불러리, 참조, 추론 분할.
• 기반 대화 생성 (GCG).
• 상호작용 및 시각 기반 분할 (VGD).

2.2 아키텍처

이 모델은 이중 분기 시각 추출 및 통합 생성 파이프라인을 사용합니다:

1. 시각 인코더:
   • 비전 인코더: Qwen3-VL 기반이며, 이미지 또는 비디오 프레임 (타임스탬프 보강) 에서 전역 시각 표현 ($Z_v$) 을 추출합니다.
   • 마스크 인코더: SAM2 기반이며, 밀집 마스크 예측에 필수적인 세밀한 고해상도 특징 ($Z_m$) 을 포착합니다.
   • 영역 샘플러: 점 샘플링 및 적응형 풀링을 사용하여 $Z_m$ 에서 국소화된 시각 프롬프트 임베딩을 추출하는 파라미터 없는 모듈로, 시각 단서 (점/상자) 를 LLM 에 주입할 수 있게 합니다.
2. 대규모 언어 모델 (LLM):
   • 토큰화된 텍스트 지시 및 시각 임베딩을 처리합니다.
   • 언어 응답 ($Y_q$) 과 전용 SEG 잠재 임베딩을 자동회귀적으로 생성합니다. 이 임베딩은 언어 이해와 마스크 예측 사이의 의미적 다리 역할을 합니다.
3. 마스크 디코더:
   • X-SAM 에서 재설계되었으며, 토큰 - 이미지 어텐션과 쿼리 - 이미지 어텐션을 통합합니다.
   • 투영된 SEG 토큰 임베딩 ($Z_p$), 학습 가능한 마스크 쿼리 ($Q_m$), 그리고 시간적으로 정제된 시각 특징 ($Z_w$) 을 수신합니다.
   • 안정적인 훈련을 보장하기 위해 토큰 - 이미지 어텐션 파라미터에 제로 초기화를 사용합니다.
4. 마스크 메모리 모듈:
   • 비디오 작업에 필수적인 이 모듈은 이전 프레임의 안내된 비전 특징에 대한 선입선출 (FIFO) 캐시를 유지합니다.
   • 메모리 어텐션: 이전 프레임의 안내된 특징에 어텐션하여 현재 프레임에 대한 시간적으로 정제된 특징을 생성합니다.
   • 메모리 인코더: 다운샘플링된 비전 특징과 현재 마스크 로그를 새로운 안내된 특징으로 인코딩하여 저장합니다.
   • 이 메커니즘은 독립적인 프레임 단위 디코딩을 대체하여 비디오 시퀀스 전반에 걸쳐 마스크 일관성을 보장합니다.

2.3 훈련 전략

X2SAM 이질적인 이미지 및 비디오 데이터셋에 걸쳐 통합 연합 훈련 전략을 사용합니다:

• 1 단계 (무관 분할기): 마스크 인코더는 고정되며, 마스크 디코더는 SA-1B(마스크 전용) 에서 훈련되어 클래스 독립적인 모양 및 경계 사전 지식을 학습합니다.
• 2 단계 (연합 훈련): 모델은 14 가지 분할 작업 및 채팅 데이터셋에서 공동 훈련됩니다.
  • 차원 이동 파이프라인: 비디오 텐서는 전치되어 프레임 단위 텐스로 분할되어 이미지 수준 인터페이스를 통해 처리되며, 시간적 종속성은 마스크 메모리가 처리합니다.
  • 모달리티 인식 배치: 메모리 제약을 관리하기 위해 비디오 배치는 작게 유지 (장치당 배치 크기 1) 되는 반면 이미지 배치는 확장 (4 배 승수) 되어 GPU 병렬 처리를 효율적으로 활용합니다.
  • 손실 함수: 자동회귀 손실 (언어), 마스크 손실 (BCE + Dice), 및 포커스 손실 (분류) 을 결합한 공동 목적 함수를 사용합니다.

3. 주요 기여

1. 통합 프레임워크: X2SAM 은 단일 지시 따르기 인터페이스 내에서 이미지와 비디오 모두에 걸쳐 7 가지 분할 작업 (일반, 오픈-보카불러리, 참조, 추론, 기반 대화, 객체 중심, 시각 기반) 을 본질적으로 지원하는 최초의 모델입니다.
2. 마스크 메모리 모듈: 의미적 기반과 시간적 전파를 결합하는 새로운 모듈을 도입하여, 캐스케이드 전파 또는 프레임 단위 독립성에 의존하지 않고도 비디오에 대한 시간적으로 일관된 마스크 생성을 가능하게 합니다.
3. 비디오 시각 기반 (V-VGD) 벤치마크: 상호작용형 시각 프롬프트 (점/상자) 를 사용하여 비디오 내 객체 트랙을 분할하는 능력을 평가하는 새로운 벤치마크를 제안하여 기존 평가 프로토콜의 공백을 메웁니다.
4. 효율적 연합 훈련: 모달리티 전반의 균형을 유지하면서 훈련 비용을 줄이는 (단순 연합 훈련의 5.2K GPU 시간 대비 3.3K GPU 시간) 통합 훈련 전략을 입증합니다.

4. 실험 결과

X2SAM 은 이미지 및 비디오 벤치마크에 걸친 14 가지 작업에서 평가되었으며, 두 영역 모두에서 강력한 성능을 보였습니다:

• 이미지 분할: X2SAM 은 이미지 전용 일반 모델 (예: X-SAM) 과 경쟁력을 유지합니다. 참조 분할 (RefCOCOg) 및 추론 분할에서 최첨단 또는 최첨단에 근접한 결과를 달성하는 반면, 기존 MLLM 기반 방법 대비 오픈-보카불러리 분할 (I-OV) 을 크게 개선합니다.
• 비디오 분할: X2SAM 은 대부분의 벤치마크에서 기존 MLLM 기반 비디오 일반 모델 (예: VISA, VideoLISA, UniPixel) 을 능가합니다.
  • 일반 분할: VSPW 에서 65.1 mIoU 를 달성하고 YT-VIS19 에서 69.9/88.4 AP/AP50 을 기록합니다.
  • 참조 및 추론: 비디오 참조 (Ref-YT21, Ref-DV17) 및 추론 (ReVOS) 작업에서 새로운 최첨단을 설정하여, 추론 작업에서 ReferFormer-B 와 같은 전문 비-MLLM 모델을 능가합니다.
  • 기반 대화: VideoGLaMM 대비 V-GCG mIoU 를 +21.5 향상시킵니다.
• 시각 기반 (V-VGD): 새로운 V-VGD 벤치마크에서 X2SAM 은 SAM2-H 를 크게 능가합니다 (예: 상자 프롬프트를 사용한 YT-VIS19 에서 74.4 AP 대 54.0 AP). 이는 시각 프롬프트 전파에 있어 영역 샘플러 및 마스크 메모리의 유효성을 입증합니다.
• 채팅 능력: 분할에 중점을 두었음에도 불구하고 X2SAM 은 강력한 일반 이미지 및 비디오 채팅 능력을 유지하며, MMBench 및 VideoMME 와 같은 벤치마크에서 많은 채팅 전용 모델을 능가합니다.

5. 중요성 및 주장

이 논문은 X2SAM 이 정적 이미지에서 동적 비디오로 "임의 분할" 패러다임을 성공적으로 통합했다고 주장합니다. MLLM 과 마스크 메모리 모듈을 통합함으로써 이전의 단편화된 접근 방식의 한계를 극복하고, 다양한 작업에 걸쳐 복잡한 멀티모달 지시 (텍스트 및 시각) 를 위한 단일 인터페이스를 제공합니다.

저자들은 X2SAM 이 통합 픽셀 단위 시공간 이해를 위한 실용적인 기준을 수립했다고 강조합니다. 좁은 범위의 작업 (예: 언어 없이 최적화된 비디오 객체 분할) 에서는 전문 모델이 여전히 X2SAM 을 능가할 수 있음을 인정하지만, X2SAM 은 작업 범위, 정확도, 일반 대화 능력 보존 사이의 강력한 균형을 달성하는 일반 모델임을 입증합니다. V-VGD 벤치마크의 도입과 통합 연합 훈련 전략은 더욱 견고하고 다재다능한 비전 - 언어 시스템으로 나아가는 핵심 단계로 강조됩니다.