KARL: Knowledge-Aware Reasoning and Reinforcement Learning for Knowledge-Intensive Visual Grounding

이 논문은 **지식 기반 시각적 그라운딩 (Knowledge-Intensive Visual Grounding, KVG)**이라는 새로운 과제를 정의하고, 이를 해결하기 위해 제안된 KARL (Knowledge-Aware Reasoning and Reinforcement Learning) 프레임워크에 대해 설명합니다. Multimodal Large Language Models (MLLMs) 이 풍부한 지식과 일반적인 시각적 그라운딩 능력을 갖추고 있음에도 불구하고, 구체적인 도메인 지식을 시각적 위치 추정 (Grounding) 에 효과적으로 활용하지 못하는 '지식 - 그라운딩 간극 (Knowledge-Grounding Gap)' 문제를 해결하는 데 중점을 둡니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 정의 (Problem Definition)

• 지식 - 그라운딩 간극 (Knowledge-Grounding Gap): 최근의 MLLM 은 특정 엔티티 (예: '클럼버 스패니얼' 견종) 를 텍스트로 정확히 인식할 수 있지만, 이미지 내에서 해당 엔티티를 정확히 위치 (Bounding Box) 를 찾아내는 작업에서는 실패하는 경우가 많습니다. 이는 모델 내부에 존재하는 엔티티 지식과 시각적 위치 추정 능력 간의 불일치를 의미합니다.
• KVG (Knowledge-Intensive Visual Grounding) 과제: 기존 시각적 그라운딩이 일반적인 표현 ("왼쪽 개") 을 사용하는 반면, KVG 는 세분화된 도메인 특화 엔티티 이름 (예: "클럼버 스패니얼") 을 요구합니다. 이미지 내에는 시각적으로 매우 유사한 다른 개체들이 존재하므로, 모델은 단순한 시각적 패턴 매칭이 아닌, 도메인 지식을 활용하여 시각적 특징을 비교·분석해야만 정확한 위치를 찾을 수 있습니다.
• 기존 방법의 한계: 기존의 추론 기반 (Reasoning-based) 시각적 그라운딩 방법들은 일반적인 추론 능력을 강화하는 데 초점을 맞추었으나, 구체적인 엔티티 지식을 시각적 증거와 연결하는 데는 효과적이지 못했습니다.

2. 제안 방법: KARL 프레임워크

저자들은 지식 - 그라운딩 간극을 해소하기 위해 **지식 인식 훈련 패러다임 (Knowledge-Aware Training Paradigm)**을 제안하며, 이는 두 단계로 구성됩니다.

2.1. 지식 유도 추론 데이터 구축 (Knowledge-Guided Reasoning Data Construction)

• 목적: 모델이 그라운딩 예측을 하기 전에 도메인 관련 엔티티 지식을 명시적으로 활성화하도록 유도합니다.
• 데이터 생성:
  • 다중 엔티티 합성: FGVR(Fine-Grained Visual Recognition) 데이터셋을 기반으로, 한 이미지 내에 동일한 카테고리 (예: 항공기) 의 서로 다른 세부 엔티티들이 여러 개 포함된 합성 이미지를 생성합니다.
  • CoT (Chain-of-Thought) 생성: 고사양 MLLM (Qwen2-VL-72B, Qwen3-VL-32B) 을 교사 모델로 사용하여, 시각적 특징 분석, 유사 개체 간 비교, 지식 기반 검증 과정을 포함한 추론 과정 (CoT) 을 생성합니다.
  • CoT-SFT: 생성된 추론 데이터를 사용하여 모델을 감독 학습 (Supervised Fine-Tuning) 하여, 지식을 활용하는 추론 습관을 초기화합니다.

2.2. 지식 인식 강화 학습 (Knowledge-Aware Reinforcement Learning, KARL)

• 핵심 아이디어: 모델은 엔티티마다 지식 습득 수준 (Knowledge Mastery) 이 다릅니다. 모든 샘플에 동일한 보상 신호를 주는 것은 비효율적이므로, 엔티티별 지식 수준에 따라 보상 신호를 적응적으로 조절합니다.
• 엔티티 지식 추정: 학습 데이터의 각 엔티티에 대해 모델이 해당 엔티티를 식별하는 능력 (다중 선택 퀴즈 정확도) 을 측정하여 '지식 수준 (Knowledge Level)'을 1~5 단계로 분류합니다.
• 지식 인식 보상 (KA-IoU Reward):
  • 높은 지식 수준 엔티티: 이미 잘 알고 있는 엔티티이므로, 틀린 예측에 대해서는 강한 페널티를, 맞은 예측에는 보상 조절을 완화합니다.
  • 낮은 지식 수준 엔티티: 모델이 잘 모르는 엔티티이므로, 맞은 예측에 대해서는 보상을 증폭하여 학습을 유도하고, 틀린 예측에 대해서는 약한 페널티를 주어 학습의 안정성을 확보합니다.
• 최적화: GRPO (Group Relative Policy Optimization) 를 사용하여 이 보상 체계를 기반으로 정책을 업데이트합니다.

3. 벤치마크: KVG-Bench

• 구성: 10 가지 도메인 (항공기, 자동차, 파충류, 조류, 음식, 개, 연체동물, 포유류, 꽃, 랜드마크) 에 걸쳐 1,336 개의 테스트 케이스로 구성되었습니다.
• 특징: 531 개의 이미지와 882 개의 세부 엔티티를 포함하며, 각 이미지에는 시각적으로 유사한 여러 개체가 존재하여 세밀한 구분이 필요합니다.
• 평가: '관측된 (Seen)' 카테고리 (학습 데이터 포함) 와 '미관측 (Unseen)' 카테고리 (학습 데이터 미포함) 로 나누어 일반화 능력을 평가합니다.

4. 실험 결과 (Results)

• 성능: KARL 은 KVG-Bench 에서 모든 베이스라인 모델 (대규모 MLLM, 전문 그라운딩 모델, 기존 추론 모델) 을 능가했습니다.
  • 관측된 카테고리: 67.30% 정확도 (Qwen3-VL-8B 대비 10% 이상 향상).
  • 미관측 카테고리 (Generalization): 70.04% 정확도로, 기존 모델들 (약 57~66%) 보다 월등히 뛰어난 교차 도메인 일반화 능력을 보였습니다.
• 일반 능력 유지: KVG 작업에 특화되었음에도 불구하고, MMStar, RealWorldQA 등 일반적인 멀티모달 벤치마크에서의 성능은 기저 모델과 유사하게 유지되어 일반 능력 저하가 없음을 확인했습니다.
• Ablation Study:
  • 2 단계 훈련 (CoT-SFT + KARL) 이 단일 단계 훈련보다 효과적이었습니다.
  • 지식 인식 보상 스케일링 (Knowledge-Aware Reward Scaling) 이 특히 '지식 수준이 낮은' 엔티티에서 성능 향상에 결정적인 역할을 했습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 과제 및 벤치마크 제안: MLLM 의 지식과 시각적 위치 추정 능력 간의 간극을 체계적으로 평가할 수 있는 KVG 과任务和 KVG-Bench를 최초로 제안했습니다.
2. 지식 유도 추론 전략: 단순한 추론 심화가 아닌, 엔티티 지식을 시각적 증거와 명시적으로 연결하는 CoT 훈련 전략을 도입했습니다.
3. 지식 인식 강화 학습 (KARL): 모델이 각 엔티티에 대해 가진 지식의 불균형을 고려하여 보상 신호를 동적으로 조절하는 새로운 RL 프레임워크를 제안했습니다. 이는 지식 수준이 낮은 개념에 대한 학습을 촉진하고, 불필요한 과적합을 방지하여 일반화 성능을 극대화합니다.
4. 실질적 통찰: 현재 MLLM 은 지식을 가지고 있음에도 이를 시각적 작업에 적용하지 못하는 '활용의 부재'가 주요 병목 현상임을 증명하고, 이를 해결하기 위한 구체적인 방법론을 제시했습니다.

이 연구는 MLLM 이 전문가 수준의 도메인 지식을 시각적 인식 작업에 효과적으로 통합할 수 있는 새로운 방향을 제시하며, 정밀한 시각적 이해가 필요한 다양한 응용 분야 (의료, 과학, 정밀 제조 등) 에 중요한 기여를 할 것으로 기대됩니다.