논문 개요: DiG (Differential Grounding)

이 논문은 멀티모달 대규모 언어 모델 (MLLM) 이 가진 세밀한 시각적 지각 (Fine-grained perception) 과 정밀한 공간 추론 (Precise spatial reasoning) 능력의 한계를 해결하기 위해 제안된 새로운 프록시 태스크 프레임워크인 DiG(Differential Grounding) 를 소개합니다.

1. 문제 제기 (Problem)

• 현황: 최신 MLLM 은 이미지 캡셔닝이나 시각적 질문 응답 (VQA) 과 같은 전반적인 장면 이해 (Holistic understanding) 에서는 뛰어난 성능을 보이지만, 작은 객체의 변화, 색상 차이, 결여된 요소 등 미세한 시각적 단서를 포착하는 능력과 이를 공간적으로 정확하게 위치를 특정하는 능력에는 여전히 한계가 있습니다.
• 기존 접근법의 한계:
  • 기존 시각적 그라운딩 (Visual Grounding) 데이터셋 (예: RefCOCO) 은 수동 주석이 필요하여 확장성이 떨어지고 다양성이 부족합니다.
  • 다른 프록시 태스크 (퍼즐, 허위 설명 탐지 등) 는 미세한 시각적 지각을 강화하도록 명시적으로 설계되지 않았습니다.
  • 강화 학습 (RL) 을 적용할 때, 초기 모델이 미세한 차이를 찾지 못해 보상 신호가 희소 (Sparse) 해지고 학습이 불안정해지는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 DiG라는 새로운 학습 프레임워크를 제안하며, 이는 크게 세 가지 핵심 요소로 구성됩니다.

가. DiG 태스크 정의

• 목표: 두 개의 유사한 이미지 쌍 (Before/After) 을 입력받아, 두 이미지 간의 모든 시각적 차이 (차이점) 를 식별하고 Before 이미지의 해당 영역에 바운딩 박스로 표시하는 것입니다.
• 특징: 모델은 차이의 개수를 미리 알지 못하며, 모든 차이 (객체 추가/제거, 색상/형태/크기/재질 변경 등) 를 찾아내야 합니다. 이는 모델이 단순한 의미 정렬을 넘어 세밀한 비교 추론을 하도록 강제합니다.

나. 자동화된 3D 렌더링 데이터 파이프라인

• 데이터 생성: Blender 기반의 3D 렌더링 엔진을 사용하여 대규모의 고품질 이미지 쌍을 자동 생성합니다.
• 장점:
  • 완벽한 정답 (Ground Truth): 3D 공간에서의 변경 사항을 렌더러에서 직접 추출하여 바운딩 박스 정답을 자동으로 생성하므로, 수동 라벨링이 불필요하고 정확도가 보장됩니다.
  • 제어 가능한 난이도: 객체 수, 차이 유형, 차이 개수 등을 프로그래밍 방식으로 정밀하게 제어할 수 있어 데이터의 다양성과 난이도 조절이 가능합니다.

다. 커리큘럼 학습 기반 강화 학습 (Curriculum Learning with RL)

• 문제: 초기 학습 단계에서 모델이 차이를 찾지 못해 보상이 0 에 수렴하는 '희소 보상 (Reward Sparsity)' 문제가 발생합니다.
• 해결책 (커리큘럼 학습):
  1. Stage 1 (단일 차이): 차이점이 1 개만 있는 간단한 데이터로 학습하여 기본 지각 능력을 습득.
  2. Stage 2 (이중 차이): 차이점이 2 개인 데이터로 학습하여 복합적 추론 능력 강화.
  3. Stage 3 (혼합 차이): 1~4 개의 차이가 섞인 복잡한 데이터로 학습하여 일반화 능력 완성.
• 보상 함수 (Reward Function):
  • 형식 보상 (Format Reward): 바운딩 박스 형식이 올바른지 확인.
  • 정확도 보상 (Accuracy Reward): 탐지된 차이의 완전성 (F1 Score) 과 공간적 정밀도 (IoU) 를 종합하여 계산.
  • 최적화: GRPO (Group Relative Policy Optimization) 알고리즘을 사용하여 정책 최적화를 수행합니다.

3. 주요 기여 (Key Contributions)

1. DiG 프레임워크 제안: MLLM 의 세밀한 공간 지각 능력을 향상시키기 위한 새로운 프록시 태스크인 '차이점 기반 그라운딩'을 제안했습니다.
2. 확장 가능한 데이터 파이프라인: 3D 렌더링을 기반으로 한 자동화 데이터 생성 시스템을 개발하여, 정답이 완벽하게 통제 가능한 대규모 고품질 데이터셋을 구축했습니다.
3. 안정적인 학습 전략: 희소한 보상 신호 문제를 해결하기 위해 난이도가 점진적으로 증가하는 커리큘럼 학습 전략을 도입하여 RL 학습의 안정성을 확보했습니다.

4. 실험 결과 (Results)

저자들은 Qwen3-VL(4B, 8B) 모델을 기반으로 실험을 수행했으며, 다음과 같은 결과를 도출했습니다.

• 시각적 지각 벤치마크 향상: HalBench, HRBench, POPE, VSR 등 다양한 지각 벤치마크에서 기존 모델 대비 일관된 성능 향상을 보였습니다. 특히 8B 모델은 HalBench 에서 +3.4, VSR 에서 +2.1 등의 큰 개선을 기록했습니다.
• 일반 멀티모달 벤치마크 전이: RefCOCO, RefCOCO+, RefCOCOg 와 같은 세밀한 그라운딩 태스크뿐만 아니라, MMBench, MM-Vet, ScienceQA 등 일반적인 추론 및 이해 태스크에서도 성능이 향상되었습니다. 이는 DiG 를 통해 학습된 세밀한 지각 능력이 고수준 추론 능력으로 효과적으로 전이됨을 의미합니다.
• Ablation Study:
  • 커리큘럼 학습 (단일 → 복합) 을 적용했을 때 성능이 점진적으로 향상됨을 확인했습니다.
  • IoU(공간 정밀도) 와 F1(탐지 완전성) 보상을 모두 사용할 때 최적의 성능을 발휘함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 단순한 의미 정렬을 넘어, 미세한 시각적 차이를 포착하고 공간적으로 위치를 특정하는 능력을 강화함으로써 MLLM 의 '눈'을 더 정교하게 만들었습니다.
• 확장성과 실용성: 수동 라벨링 없이 3D 렌더링으로 고품질 데이터를 대량 생성할 수 있어, 향후 더 복잡한 시각적 지각 태스크를 위한 데이터 구축에 중요한 방향성을 제시합니다.
• 향후 전망: DiG 는 고수준 추론과 저수준 지각을 연결하는 확장 가능하고 견고한 프레임워크로, 더 정교한 멀티모달 지능을 구현하는 데 중요한 기여를 할 것으로 기대됩니다.

요약: 이 논문은 MLLM 이 놓치기 쉬운 미세한 시각적 차이를 찾아내는 능력을 강화하기 위해, 3D 렌더링으로 생성된 데이터와 커리큘럼 학습을 결합한 강화 학습 프레임워크 (DiG) 를 제안했습니다. 이를 통해 모델의 지각 정밀도와 공간 추론 능력이 크게 향상되었으며, 이는 다양한 다운스트림 태스크로 효과적으로 전이됨을 실험적으로 증명했습니다.