1. 문제 정의 (Problem)

**Referring Image Segmentation (RIS, 지시적 이미지 분할)**은 자연어 표현 (예: "파란색 셔츠를 입은 사람") 으로 설명된 대상 객체를 이미지에서 정확하게 분할하는 작업입니다.
기존의 RIS 방법론들은 주로 **비전 (Vision) 특징을 쿼리 (Query)**로, **언어 (Language) 토큰을 키 - 밸류 (Key-Value)**로 사용하는 Transformer 디코더 구조를 채택했습니다. 그러나 이러한 접근 방식에는 다음과 같은 한계가 존재합니다.

• 교차 모달 (Cross-modal) 투사의 불일치: 언어 토큰에 시각 정보를 주입하거나 언어 토큰을 키 - 밸류로 사용할 때, 시각적 특징 공간과 언어적 특징 공간 간의 모달리티 간극 (Modality Gap) 이 발생합니다. 이는 높은 분산 (High-variance) 을 유발하여 어텐션 (Attention) 메커니즘의 정렬을 저해합니다.
• 세밀한 분할의 어려움: 자유 형식의 언어 입력만으로는 대상의 구조적, 의미적 정보를 완벽하게 전달하기 어렵습니다. 이로 인해 네트워크가 대상 영역이 아닌 넓은 비대상 영역에 주의를 기울이거나, 대상의 일부만 분할하는 오류가 발생합니다.

2. 제안 방법론 (Methodology)

저자들은 **시각적 정보 부분 어텐션 (Visual Informative Part Attention, VIPA)**이라는 새로운 프레임워크를 제안합니다. 핵심 아이디어는 언어 토큰 대신 **시각적 맥락의 정보성 있는 부분 (Informative Parts of Visual Contexts)**을 추출하여 이를 **'시각적 표현 (Visual Expression, VE)'**으로 만들고, 이를 디코더의 키 - 밸류 집합으로 사용하는 것입니다.

A. 시각적 표현 생성기 (Visual Expression Generator, VEG)

VEG 모듈은 두 단계로 구성되어 언어적 맥락에 기반하여 시각적 토큰을 선별하고 정제합니다.

1. 정보성 있는 시각 토큰 검색 (Visual Informative Token Retrieval):
   • 이미지의 모든 픽셀 중 대상과 관련된 부분만 선별하기 위해, 지역적 (Local, 단어 수준) 및 전역적 (Global, 문장 수준) 언어적 맥락을 단서 (Cue) 로 활용합니다.
   • 시각 특징과 언어 토큰 간의 유사도 점수를 계산하여, 높은 관련성을 가진 시각 토큰을 가변적 샘플링 (Differentiable Sampling) 기법을 통해 추출합니다.
   • 잘못된 영역이 높은 점수를 받지 않도록 픽셀 대비 손실 (Pixel Contrastive Loss) 을 통해 지도 학습을 수행합니다.
2. 시각적 맥락 정제 (Visual Context Refinement):
   • 추출된 토큰들을 단순히 합산하는 것이 아니라, **동적 마스크 어텐션 (Dynamic Masked Cross-Attention)**을 적용하여 노이즈 정보를 제거하고 의미 정보에 더 집중하도록 정제합니다.
   • 정제된 토큰들은 서로 시각적 속성을 공유 (Mutually Sharing) 하여, 대상의 구조적, 의미적 맥락을 포괄하는 '시각적 표현 (VE)'을 생성합니다.

B. 시각적 정보 부분 어텐션 (VIPA) 디코더

• 생성된 **시각적 표현 (VE)**을 Transformer 디코더의 키 - 밸류 (Key-Value) 집합으로 사용합니다.
• 기존 방식 (언어 토큰을 KV 로 사용) 과 달리, 쿼리 (시각 특징) 와 키 - 밸류 (시각적 표현) 가 모두 시각적 특징 공간에 정렬되어 있으므로, 모달리티 간 투사 오차를 최소화하고 의미적 일관성 (Semantic Consistency) 을 극대화합니다.
• 이를 통해 네트워크의 어텐션이 미세한 대상 영역 (Fine-grained regions) 으로 강력하게 정렬되도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 (VIPA) 제안: RIS 작업에서 시각적 맥락의 정보성 있는 부분을 추출하여 '시각적 표현 (Visual Expression)'으로 만들고, 이를 어텐션 메커니즘의 키 - 밸류 집합으로 활용하는 최초의 연구입니다.
2. 시각적 표현 생성기 (VEG) 모듈 설계: 지역적/전역적 언어 단서를 통해 관련 시각 토큰을 검색하고, 노이즈를 제거하며 의미 정보를 공유하도록 토큰을 정제하는 모듈을 개발했습니다.
3. 성능 및 효율성 입증: 기존 SOTA(State-of-the-Art) 방법론들 (특히 Transformer 기반 및 LLM 기반 모델) 보다 우수한 성능을 보였으며, 대규모 LLM 기반 모델에 비해 계산 비용이 훨씬 낮으면서도 더 정확한 분할을 수행함을 증명했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: RefCOCO, RefCOCO+, RefCOCOg, ReferIt 등 4 개의 공개 RIS 벤치마크에서 기존 최첨단 방법론들을 압도하는 성능을 기록했습니다.
  • 단일 데이터셋 설정에서 모든 분할 (Split) 에서 SOTA 를 달성했습니다.
  • 특히 가장 어려운 벤치마크인 RefCOCOg 에서 oIoU 기준 2.22%~2.48% 의 큰 폭의 개선을 보였습니다.
  • mIoU 기준으로도 CGFormer 등 기존 모델 대비 평균 1.84% 향상되었습니다.
• LLM 기반 모델과의 비교: LLM 기반 모델 (LISA, GLaMM 등) 은 SAM 과 같은 거대한 분할 모델과 대규모 데이터 학습을 기반으로 하지만, VIPA 는 계산 비용 (GFLOPs) 이 54.6% 적고 추론 속도가 5~10 배 빠르면서도 경쟁력 있는 성능을 보여주었습니다.
• 일반화 능력 (Generalization): 훈련 시 보지 못한 (Unseen) 대상 클래스에 대한 일반화 능력에서도 기존 방법론보다 우수한 성능을 보였습니다.
• 시각적 분석: t-SNE 시각화 및 어텐션 맵 분석 결과, 제안된 시각적 표현 (VE) 이 언어 기반 표현보다 대상 픽셀과 더 밀접하게 정렬되어 있으며, 네트워크가 대상 영역에 더 정확하게 주의를 기울임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 RIS 작업에서 언어 정보를 시각적 특징 공간으로 투사하는 기존 패러다임을 전환했습니다. 언어 토큰을 통해 시각 정보를 간접적으로 전달하는 대신, 시각적 맥락 자체에서 의미 있는 부분을 직접 추출하여 어텐션의 키 - 밸류로 사용함으로써, 교차 모달 투사의 불일치를 해결하고 어텐션의 정합성을 높였습니다.

이는 대규모 언어 모델 (LLM) 에 의존하지 않고도, 효율적인 Transformer 기반 아키텍처를 통해 정밀한 이미지 분할을 가능하게 하며, 시각적 정보의 직접적인 활용이 언어 기반 지시 분할의 성능을 결정하는 핵심 요소임을 입증했다는 점에서 중요한 의의를 가집니다.