Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

기술 요약: Refusal-Calibrated GRPO를 통한 MLLM의 거절 능력 학습

문제 정의

본 논문은 그동안 충분히 연구되지 않은 일반화된 참조 표현 이해(Generalized Referring Expression Comprehension, GREC) 문제를 다룹니다. 기존의 참조 표현 이해(REC)가 대상 객체가 항상 존재한다고 가정하는 것과 달리, GREC는 멀티모달 거대 언어 모델(MLLM)이 다음 두 가지 뚜렷한 과업을 수행할 것을 요구합니다:

1. 긍정적 로컬라이제이션(Positive Localization): 텍스트 표현으로 묘사된 객체가 이미지 내에 존재할 때 이를 정확하게 찾아내는 것.
2. 부정적 거절(Negative Refusal): 묘사된 객체가 부재하거나 속성 또는 관계가 일치하지 않을 때(예: 갈색 말 이미지를 보고 "흰색 말"이라고 요청하는 경우) 이를 올바르게 식별하고 로컬라이제이션을 거절하는 것.

현재의 MLLM은 로컬라이제이션에는 뛰어나지만, 거절 능력에서는 자주 실패합니다. 대규모 사전 학습 과정에서 부정 샘플(negative samples)의 부재로 인해, 이러한 모델들은 "없음(None)"이라는 출력을 내놓기보다는 존재하지 않는 객체에 대해 바운딩 박스를 생성하는 환각(hallucination) 현상을 보이는 경향이 있습니다. SFT(Supervised Fine-Tuning)나 DPO(Direct Preference Optimization), GRPO(Group Relative Policy Optimization)와 같은 표준 강화 학습(RL) 기반의 기존 사후 학습 솔루션들은 거절율을 높일 수는 있지만, 긍정 샘플에 대한 로컬라이제이션 정확도를 심각하게 저하시키는 문제가 있습니다. 이는 모델이 무분별하게 "아니오"라고 말하도록 학습되어, 두 가지 능력이 모두 필요한 실제 응용 분야에서 사용 불가능하게 만드는 최적화 불균형을 초라합니다.

방법론: Refusal-Calibrated GRPO (RC-GRPO)

저자들은 거절 행동을 교정하면서도 핵심적인 로컬라이제이션 역량을 보존하도록 설계된 2단계 강화 학습 프레임워크인 RC-GRPO를 제안합니다. 이 프레임워크는 GRPO를 기반으로 하되, GREC의 고유한 과제를 해결하기 위한 특정 메커니즘을 도입했습니다.

1. 학습 데이터 구축
이 방법은 언어적 섭동(속성/관계 변경) 및 이미지 편집을 통해 생성된 정교한 부정 샘플을 포함하는 미세 조정 벤치마크인 FineCops-Ref를 활용합니다. 학습 세트는 2,000개의 균형 잡힌 샘플(긍정 1,000개, 부정 1,000개)로 구성됩니다.

2. 1단계: 대비 보상(Contrastive Reward)을 통한 거절 교정
이 단계의 목표는 긍정 성능의 붕괴 없이 기초적인 거절 능력(0에서 1로의 전환)을 확립하는 것입니다. 이를 위해 세 가지 핵심 요소를 사용합니다:

• 강제 거절 롤아웃(Forced-Rejection Rollout): 기본 MLLM은 학습 초기 단계에서 "None" 출력을 거의 탐색하지 않기 때문에, 표준 GRPO는 부정 샘플에 대해 유효한 어드밴티지(advantage)를 계산하는 데 실패합니다(모든 롤아웃이 바운딩 박스를 생성하기 때문). RC-GRPO는 모델이 자연스럽게 생성하지 못할 경우 제약된 빔 서치(constrained beam search)를 통해 "None" 출력을 강제함으로써, 부정 샘플에 대한 유효한 어드밴티지 추정을 보장합니다.
• 대비 보상(Contrastive Reward): 긍정 샘플에 대한 과잉 거절을 방지하기 위한 보상 함수를 설계합니다.
  • 긍정 샘플의 경우: 정확한 바운딩 박스(IoU $\ge$ 0.5)는 보상 1을, "None" 예측은 -1을 부여합니다.
  • 부정 샘플의 경우: "None" 예측은 보상 1을, 바운딩 박스는 0을 부여합니다.
    이 구조는 모델에게 긍정 사례에서의 잘못된 거절보다 (부정 사례에서의) 나쁜 박스가 더 낫다는 것을 가르칩니다.
• 부정 어드밴티지 스케일링(Negative Advantage Scaling): 모델이 "None"이라고 말하는 더 쉬운 과업에 과적합되는 것을 방지하기 위해, 부정 샘플의 어드밴티지를 계수 $\alpha \in (0, 1]$에 의해 스케일링합니다. 이는 두 샘플 유형 간의 최적화 역학을 조절합니다.

3. 2단계: 추론 가이드 강화(Reason-Guided Reinforcement)
거절이 단순한 패턴 매칭이 아닌 진정한 의미론적 이해에서 비롯되도록 하기 위해, 두 번째 단계에서는 모델이 거절에 대한 설명을 생성하도록 유도합니다.

• 근거 보상(Rationale Reward): 모델은 왜 객체가 없는지에 대한 이유를 설명하도록 프롬프트됩니다. 규칙 기반 검증 시스템은 생성된 설명이 특정 의미론적 섭동(예: "뒤에"가 "앞에"로 변경됨)과 일치하는지 평가합니다.
• 보상 공식화: 보상은 올바른 거절에 대한 기본 보상과 함께, 특정 불일치(잘못된 패턴) 및 원래의 유효한 묘사(원래 패턴)를 정확히 식별한 것에 대한 밀집 보상(dense reward)을 포함합니다. 이는 인과적 이해와 해석 가능성을 강화합니다.

주요 기여

1. 과업 정의: 본 연구는 GREC 과업을 공식적으로 연구하여, 실세계 배포를 위해 로컬라이제이션 정확도와 거절 신뢰도 사이의 균형이 필수적임을 강조합니다.
2. RC-GRPO 프레임워크: 거절 교정(유효한 그래디언트 신호를 위한 "None" 출력 강제)과 긍정 샘플 페널티(대비 보상)를 도입하여 거절과 로컬라이제이션을 공동 최적화하는 교정된 RL 프레임워크를 제안합니다.
3. 추론 강화: 거절을 인과적 추론에 근거하게 만드는 추론 생성 단계를 도입하여, "아니오" 결정의 신뢰성과 모델의 해석 가능성을 모두 향상시킵로 합니다.
4. 실증적 검증: RC-GRPO가 SFT, DPO 및 기타 RL 베이스라인 모델에 비해 긍정 및 부정 샘플 성능 사이에서 우수한 트레이드오프를 달라는 것을 광범위한 실험을 통해 입증했습니다.

실험 결과

실험은 세 가지 벤치마크인 FineCops-Ref, gRefCOCO, D3(Described Object Detection)에서 수행되었습니다.

• 성능 향상: gRefCOCO에서 Qwen2.5-VL-7B에 적용된 RC-GRPO는 정밀도(Precision, Pr)를 기본 38.2%에서 RC-GRPO-I의 62.8%, RC-GRPO-II의 **64.9%**로 향상시켰으며, 이는 전문 모델 및 ROD-MLLM, CRS와 같은 기존 MLLM 베이스라인을 크게 상회하는 수치입니다.
• 균형 잡힌 트레이드오프: 높은 거절 정확도(N-acc)를 달esa면서도 긍정 로컬라이제이션(P-acc)의 치명적인 하락을 초래했던 SFT와 달리, RC-GRPO는 높은 P-acc를 유지하면서 견고한 N-acc를 달성했습니다.
• 파레토 프런티어(Pareto Frontier): P-acc와 N-acc 사이의 트레이드오프 분석 결과, RC-GR포는 모델이 거절을 위해 그라운딩 능력을 희생하는 "유틸리티 붕괴 구역"을 피하며 고효용 영역에서 우수한 파레토 프런티어를 구축함을 보여주었습니다.
• 일반화: 본 방법은 일반적인 멀티모달 벤치마크(MME, MMBench, POPE)에서 성능 저하가 거의 없음을 보여주었으며, 이는 거절 로직이 일반적인 시각적 이해를 해치거나 새로운 환각을 유발하지 않음을 나타냅니다.
• 절제 연구(Ablation Studies): 강제 거절, 대비 보상, 또는 어드밴티지 스케일링 중 어느 하나라도 제거하면 성능이 저하되었으며, 이는 전체 프레임워크의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 RC-GRPO가 GREC를 위한 MLLM 학습의 고유한 최적화 불균형을 해결한다고 주장합니다. 교정된 강화 학습을 통해 인과적 거절 로직을 내재화함으로써, 이 방법은 모델이 핵심적인 로컬라이제이션 역량을 희생하지 않고도 신뢰성 있게 "아니오"라고 말할 수 있게 합니다. 저자들은 이 접근 방식이 단순한 임계값 설정이나 구조적 변경을 넘어, 객체가 부재하거나 일치하지 않을 수 있는 실세계 시나리오에서 GREC를 실질적으로 유용하게 만드는 확장 가능한 사후 학습 솔루션을 제공한다고 단언합니다. 이 연구는 모델이 단순히 입력을 무차별적으로 거절하는 것이 아니라, 언제 그리고 왜 거절해야 하는지를 학습한다는 점을 강조합니다.