CoPRS: Chain-of-Thought 기반 위치적 사전 지식 학습을 통한 추론 분할 (Reasoning Segmentation) 기술 요약

본 논문은 CoPRS (CoT-based Positional perception model for Reasoning Segmentation) 를 제안하며, 언어적 추론 (Reasoning) 과 시각적 분할 (Segmentation) 을 연결하는 새로운 패러다임을 제시합니다. 기존 방법들의 한계를 극복하고, 해석 가능한 위치적 사전 지식 (Positional Prior) 을 통해 더 정밀한 마스크 예측을 가능하게 합니다.

1. 문제 정의 (Problem)

기존의 추론 분할 (Reasoning Segmentation) 연구는 주로 두 가지 접근 방식으로 나뉘어 왔으나, 각각 중요한 한계를 가지고 있습니다.

• 잠재적 추론 방법 (Latent Reasoning): 언어 모델 (LLM) 의 숨겨진 특징 (Hidden Features) 을 직접 마스크 디코더에 연결합니다.
  • 한계: 중간 추론 과정이 불투명하며, 해석 가능성 (Interpretability) 이 낮고 디버깅이 어렵습니다.
• 텍스트 기반 추론 방법 (Text-based Reasoning): 텍스트로 좌표 (박스, 점) 를 생성하여 분할 모델에 입력합니다.
  • 한계: 이산적 (Discrete) 인 좌표는 미세한 시각적 의미 (Fine-grained semantics) 를 포착하기 어렵고, 포맷 오류나 이미지 밖 좌표 발생에 취약합니다.

이러한 양극화된 접근법의 한계를 극복하기 위해, 해석 가능하면서도 미분 가능한 (Differentiable) 인터페이스를 통해 추론 과정을 시각적 분할에 직접 연결하는 새로운 방식이 필요했습니다.

2. 제안 방법 (Methodology: CoPRS)

CoPRS 는 멀티모달 체인 오브 씽 (MCoT) 을 기반으로 하며, 추론 과정을 밀집된 가시적 히트맵 (Dense Differentiable Heatmap) 형태의 '위치적 사전 지식 (Positional Prior)'으로 변환하여 분할을 수행합니다.

2.1. 아키텍처

1. MLLM 백본 (Backbone): Qwen2.5-VL 을 기반으로 하며, 입력 (이미지 + 지시문) 에 대해 **MCoT(Chain-of-Thought)**를 생성합니다.
   • <thought>...</thought> 블록을 통해 추론 과정을 명시적으로 표현합니다.
   • 추론 후 <REF_POS>라는 **학습 가능한 집중 토큰 (Learnable Concentration Token)**을 출력합니다.
2. 집중 쿼리 (Concentration Query):
   • MCoT 에서 추출된 집중 토큰 임베딩을 Query Head를 통해 '집중 쿼리 (Concentration Query)'로 변환합니다.
3. 위치적 사전 지식 생성 (Positional Prior Generation):
   • 생성된 쿼리가 비전 백본 (ViT-H) 에서 추출된 이미지 키 (Keys) 와 멀티헤드 어텐션을 수행합니다.
   • 이를 통해 **히트맵 형태의 위치적 사전 지식 ($H_{prior}$)**이 생성됩니다. 이는 대상 영역에 대한 밀집된 확률 분포를 나타내며, 추론의 결과를 시각적으로 해석 가능한 형태로 만듭니다.
4. 가벼운 디코더 (Lightweight Decoder):
   • 생성된 히트맵을 SAM(Segment Anything Model) 의 디코더 구조를 차용한 경량 디코더를 통해 정밀한 분할 마스크 ($\hat{M}$) 로 변환합니다.

2.2. 학습 프레임워크 (Unified Training Framework)

CoPRS 는 언어 경로와 비전 경로를 하나의 통합된 목적 함수로 학습합니다.

• GRPO (Group Relative Policy Optimization): 언어 모델의 추론 능력을 강화하기 위해 강화 학습 (RL) 기법인 GRPO 를 적용합니다.
  • 보상 함수는 **마스크 품질 (IoU, Dice)**과 CoT 형식 준수 여부를 결합하여 설계되었습니다.
• 지도 분할 손실 (Supervised Segmentation Loss): 생성된 히트맵과 최종 마스크에 대해 BCE, Dice, Focal Loss 를 적용하여 정밀도를 높입니다.
• 통합 최적화: GRPO 손실과 분할 손실을 동시에 최적화하여 추론 능력과 분할 정확도를 동시에 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. CoPRS 공식화: 언어 기반의 위치적 사전 지식 (히트맵) 을 중간 단계로 도입하여, 추론 이해와 마스크 예측을 해석 가능하게 정렬하는 엔드 - 투 - 엔드 모델을 제안했습니다.
2. 통합 학습 프레임워크: GRPO 전략과 지도 학습을 결합하여 단일 루프 내에서 추론과 분할을 동시에 강화하는 새로운 학습 방식을 제시했습니다.
3. 위치적 사전 지식 인터페이스: 이산적 좌표나 숨겨진 특징 대신, 학습 가능한 집중 쿼리를 통해 생성된 밀집 히트맵을 사용하여 해석 가능성과 정밀한 경계 품질을 동시에 달성했습니다.
4. 강력한 성능: 다양한 벤치마크에서 기존 최첨단 (SOTA) 방법들을 능가하거나 동급의 성능을 기록했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • RefCOCO 시리즈 (RefCOCO, RefCOCO+, RefCOCOg): 모든 분할 (Split) 에서 기존 방법들 (LISA, Seg-Zero, RAS 등) 보다 우수한 cIoU/gIoU 점수를 기록했습니다. 특히 3B/7B 모델 크기로 13B 모델급 성능을 달성했습니다.
  • ReasonSeg: 제로샷 (Zero-shot) 설정에서도 복잡한 추론 분할 작업에서 SOTA 성능을 보였으며, 강화 학습을 적용한 모델들이 일반 지도 학습 모델보다 우수한 일반화 능력을 보임을 입증했습니다.
• 상관관계 분석:
  • CoT 품질과 분할 정확도: CoT 추론의 질이 높을수록 생성된 히트맵의 정확도와 최종 마스크의 IoU 가 높게 상관관계를 보였습니다 (상관계수 $R > 0.7$). 이는 추론 과정이 분할 성능에 직접적인 영향을 미친다는 것을 의미합니다.
  • 히트맵과 마스크: 생성된 위치적 사전 지식 (히트맵) 이 이미 매우 집중되어 있으며, 디코더가 이를 미세 조정하여 정밀한 마스크를 생성함을 확인했습니다.

5. 의의 및 결론 (Significance)

CoPRS 는 추론 분할 분야에서 **해석 가능성 (Interpretability)**과 정밀도 (Precision) 사이의 균형을 성공적으로 잡았습니다.

• 해석 가능성: 블랙박스처럼 작동하던 잠재적 추론을 가시적인 히트맵으로 변환하여, 모델이 왜 특정 영역을 선택했는지 진단할 수 있게 했습니다.
• 유연성: 이산적 좌표의 한계를 넘어, 밀집된 확률 분포를 통해 복잡한 지시문과 미세한 시각적 특징을 모두 포착할 수 있습니다.
• 확장성: 제안된 프레임워크와 위치적 사전 지식 인터페이스는 궤적 예측 (Trajectory Prediction) 등 다른 영역 집중 (Region Concentration) 작업으로도 자연스럽게 확장 가능합니다.

결론적으로, CoPRS 는 언어적 추론과 시각적 분할을 통합하는 새로운 표준을 제시하며, 복잡한 지시문에 따른 정밀한 시각적 이해를 위한 강력한 기반을 마련했습니다.