[기술 요약] GenSeg-R1: 미세 참조 분할을 위한 강화학습 기반 시각-언어 그라운딩

1. 문제 정의 (Problem Statement)

기존의 참조 이미지 분할(Referring Image Segmentation) 모델들은 자연어 쿼리를 바탕으로 이미지 내 특정 객체를 찾아 마스크(Mask)를 생성합니다. 하지만 다음과 같은 두 가지 핵심적인 한계가 존재합니다.

• 신뢰성 문제 (Reliability Issue): 기존 모델들은 쿼리가 이미지 내용과 일치하지 않는 '부정적 쿼리(Negative Query, 예: 빨간 셔츠를 입은 사람에게 "파란 셔츠를 입은 사람"이라고 명령)'를 받았을 때, 대상이 없음에도 불구하고 잘못된 객체를 찾아 마스크를 생성하는 '환각(Hallucination)' 현상이 빈번합니다.
• 그라운딩과 분할의 괴리: 텍스트를 통해 좌표(Bounding Box 등)를 생성하는 모델과 실제 마스크를 만드는 모델(SAM 등)이 분리되어 있어, 좌표 생성 모델이 생성한 값이 실제 분할 모델의 성능을 최적화하는 방향으로 학습되지 않는 경우가 많습니다.

2. 제안 방법론 (Methodology)

본 논문은 "Reason-then-Segment(추론 후 분할)" 파이프라인을 제안하며, 크게 두 단계로 구성됩니다.

A. 파이프라인 구조

1. Stage 1 (Reasoning & Grounding): 미세 조정된 Qwen3-VL 모델이 이미지와 쿼리를 입력받아 <think> 태그 내에서 논리적 추론을 수행한 후, <answer> 태그 내에 구조화된 공간 프롬프트(Bounding Box + 2개의 내부 핵심 포인트)를 출력합니다.
2. Stage 2 (Promptable Segmentation): 고정된(Frozen) SAM 2 모델이 Stage 1에서 받은 프롬프트를 사용하여 고품질의 마스크를 생성합니다.

B. 핵심 학습 전략: GRPO (Group Relative Policy Optimization)

본 연구의 가장 큰 특징은 **강화학습(RL)**을 사용하여 별도의 정답 추론 체인(Reasoning-chain) 데이터 없이도 모델이 스스로 추론 능력을 갖추도록 학습시킨 점입니다.

• GenSeg-R1 (Distance-based Reward): 학습 속도를 높이기 위해 좌표 간의 거리(L1 distance)와 IoU를 기반으로 보상을 계산합니다.
• GenSeg-R1-G (SAM 2-in-the-loop Reward): 더욱 정밀한 학습을 위해 SAM 2를 보상 루프에 직접 포함시킵니다. 즉, VLM이 생성한 좌표로 SAM 2가 마스크를 만들게 하고, 그 결과물(Mask)이 실제 정답(Ground Truth)과 얼마나 일치하는지(IoU)를 보상으로 사용합니다. 또한, 부정적 쿼리에 대해 no_target을 출력했을 때 높은 보상을 주어 환각을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 최신 백본 활용: 기존 Qwen2.5-VL보다 공간 추론 능력이 뛰어난 Qwen3-VL을 기반으로 설계되었습니다.
2. SAM 2-in-the-loop 강화학습: VLM의 텍스트 출력이 최종 분할 품질로 직접 연결되도록 하는 새로운 보상 설계 방식을 도입했습니다.
3. 부정적 쿼리 대응 능력: GRefCOCO 데이터셋과 특수 보상 설계를 통해, 대상이 없는 경우 정확히 "없음"을 판단하는 능력을 확보했습니다.
4. 창발적 추론(Emergent Reasoning): 지도 학습 없이 GRPO만으로도 모델이 스스로 논리적인 <think> 과정을 생성함을 보여주었습니다.

4. 실험 결과 (Results)

• RefCOCOg (벤치마크): GenSeg-R1-8B 모델은 0.7127 cIoU를 달성하여, 기존 SOTA 모델인 Seg-Zero-7B 대비 +3.3 cIoU, Seg-R1-7B 대비 +5.2 cIoU의 성능 향상을 보였습니다.
• GRefCOCO (부정적 쿼리 테스트): GenSeg-R1-G 모델은 82.40%의 No-Target 정확도를 기록했습니다. 반면, 기존 모델들은 부정적 쿼리에 대해 0%의 정확도를 보이며 모두 잘못된 마스크를 생성했습니다.
• ReasonSeg (복합 추론 테스트): 복잡한 논리적 추론이 필요한 테스트에서도 GenSeg-R1-4B는 68.40% mIoU를 기록하며 기존 모델들을 크게 압도했습니다.
• 프롬프트 효율성: Bounding Box만 사용할 때보다 **2개의 내부 핵심 포인트(Keypoints)**를 함께 사용할 때 마스크 품질이 유의미하게 향상됨을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

본 논문은 강화학습(GRPO)과 최신 분할 모델(SAM 2)을 결합함으로써, 시각-언어 모델이 단순히 좌표를 찍는 것을 넘어 **"실제 분할이 잘 되도록 추론하는 법"**을 배울 수 있음을 증명했습니다. 특히, 사용자의 잘못된 명령(부정적 쿼리)에도 흔들리지 않는 **강건성(Robustness)**을 확보했다는 점에서 로보틱스, 인터랙티브 비전 시스템 등 실전 응용 분야에서의 가치가 매우 높습니다.