SGG-R$^{\rm 3}$: From Next-Token Prediction to End-to-End Unbiased Scene Graph Generation

이 논문은 MLLM 기반의 구조적 추론, 관계 증강 전략, 그리고 미세/대분류 보상 체계를 통합한 강화 학습 프레임워크인 SGG-R$^{\rm 3}$를 제안하여, 희소성과 편향 문제를 해결하고 종단간 편향 없는 장면 그래프 생성을 달성하는 방법을 제시합니다.

핵심

이 논문은 **"SGG-R3"**이라는 새로운 기술을 소개합니다. 이 기술은 컴퓨터가 사진을 보고 그 안에 있는 사물과 사물 사이의 관계를 이해하는 능력, 즉 **'장면 그래프 생성 (Scene Graph Generation)'**을 획기적으로 개선한 방법입니다.

기존의 AI 는 사진을 볼 때 사물을 찾거나 관계를 추측하는 과정에서 실수를 많이 하거나, 자주 나오는 관계만 반복해서 말하며 드문 관계는 놓치는 문제가 있었습니다. 이 논문은 이를 해결하기 위해 **AI 에게 "생각하는 과정"을 가르치고, "더 많은 경험을 쌓게" 하며, "정답을 잘 맞추도록 보상"**하는 세 가지 전략을 사용했습니다.

창의적인 비유로 설명해 드리겠습니다.

---

🎨 비유: AI 를 '초보 화가'에서 '마스터 화가'로 만드는 과정

이 기술은 마치 초보 화가 (기존 AI) 를 훈련시켜 마스터 화가 (SGG-R3) 로 만드는 과정과 같습니다.

1. 문제: 초보 화가의 실수 (기존 AI 의 한계)

기존 AI 는 사진을 볼 때 다음과 같은 실수를 합니다.

• 혼란스러운 생각: "저게 뭐지? 사람인가, 개인가? 그리고 그 옆에 있는 건 뭐지?"라고 막연하게 생각하다 보니, 엉뚱한 사물을 찾거나 관계를 엉뚱하게 연결합니다. (예: "개"가 "비행기"를 타고 있다고 말함)
• 편향된 기억: 자주 나오는 관계만 기억합니다. "사람이 의자에 앉아 있다"는 말은 잘 하지만, "사람이 창문을 바라본다"는 드문 관계는 잘 못 찾습니다. (기억의 편향)

2. 해결책: SGG-R3 의 3 단계 훈련법

이 논문은 AI 를 훈련시킬 때 세 가지 단계로 나누어 체계적으로 가르칩니다.

1 단계: 생각의 지도 그리기 (구조화된 추론, Structured Reasoning)

• 비유: 화가가 그림을 그릴 때, "일단 사람부터 그리고, 그 다음에 배경을 그리고, 마지막으로 사물 사이의 관계를 그리자"라고 작업 순서를 정해준 것입니다.
• 설명: AI 가 무작정 그림을 그리게 하지 않고, ① **무엇이 있는지 (카테고리)**를 먼저 찾고, ② **그것들이 어디에 있는지 (위치)**를 정확히 찍고, ③ **서로 어떤 관계인지 (관계)**를 연결하는 순서대로 생각하게 합니다. 이렇게 하면 AI 가 헷갈리지 않고 논리적으로 그림을 완성할 수 있습니다.

2 단계: 상상력을 키워주는 연습 (관계 증강, Relation Augmentation)

• 비유: 화가가 처음에는 "사람과 의자" 관계만 많이 봤습니다. 하지만 이 기술은 AI 에게 "사람이 의자에 앉아 있는 것뿐만 아니라, 사람이 창문을 바라보거나, 책이 책상 위에 있는 것" 같은 다양한 상황도 상상해 보게 합니다.
• 설명: 실제 데이터에는 드문 관계 (예: '사람이 구름을 바라본다') 가 너무 적습니다. 그래서 AI 가 이미 알고 있는 정보를 바탕으로 새로운 합리적인 관계들을 만들어내게 (증강) 하고, 그중에서 말이 되는 것만 골라 훈련시킵니다. 이렇게 하면 AI 가 드문 관계도 잘 기억하게 됩니다.

3 단계: 정답을 맞출 때 주는 보상 (이중 보상 시스템, Dual-Granularity Reward)

• 비유: 화가가 그림을 그렸을 때, 선생님 (보상 시스템) 이 두 가지 기준으로 점수를 줍니다.
  1. 정밀한 점수: "사람의 손이 의자에 정확히 닿았나요?" (세밀한 정확도)
  2. 넓은 점수: "전체적으로 그림의 분위기가 맞나요? 자주 나오는 관계뿐만 아니라 드문 관계도 포함되었나요?" (다양성)
• 설명: AI 가 관계를 맞췄을 때, 단순히 '맞았다/틀렸다'만 보는 게 아니라, **자주 나오는 관계 (Head)**와 드문 관계 (Tail) 모두를 잘 맞추도록 점수를 다르게 줍니다. 특히 드문 관계를 맞추면 더 큰 보상을 주어, AI 가 편향되지 않고 모든 관계를 골고루 잘 찾도록 유도합니다.

---

🚀 결과: 왜 이것이 중요한가요?

이 방법을 적용한 SGG-R3는 다음과 같은 성과를 냈습니다.

• 더 많은 것을 봅니다: 기존에 놓치던 사물이나 관계까지 찾아냅니다. (Recall 향상)
• 더 공정하게 봅니다: 자주 나오는 관계만 말하는 편향을 줄이고, 드문 관계도 잘 찾아냅니다. (Unbiased)
• 더 똑똑하게 봅니다: 단순히 정답을 외우는 게 아니라, 단계별로 생각하며 논리적으로 그림을 완성합니다.

💡 한 줄 요약

"SGG-R3 는 AI 에게 '순서대로 생각하게 하고', '상상력을 키워주며', '다양한 정답을 칭찬하는' 훈련을 시켜, 사진을 보고 사물과 관계를 완벽하게 이해하는 마스터 화가로 만든 기술입니다."

이 기술은 자율 주행 자동차가 도로 상황을 이해하거나, 로봇이 집안일을 돕는 등, AI 가 세상을 더 정교하게 이해해야 하는 모든 분야에서 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

**장면 그래프 생성 (Scene Graph Generation, SGG)**은 이미지를 객체와 그들 간의 관계로 구성된 구조화된 그래프로 변환하는 작업입니다. 최근 멀티모달 대규모 언어 모델 (MLLM) 이 도입되면서 종단 간 (End-to-End) SGG 가 가능해졌으나, 기존 방법론들은 다음과 같은 심각한 한계를 겪고 있습니다.

• 구조화된 추론의 부재: 일반적인 "단계별 사고 (Chain-of-Thought)" 프롬프트만으로는 복잡한 시각적 공간에서 객체와 관계를 논리적으로 연결하는 데 한계가 있어, 할루시네이션 (환각) 이 발생하고 재현율 (Recall) 이 낮습니다.
• 희소성과 긴 꼬리 분포 (Sparsity & Long-tail): 데이터셋 내 관계 (Predicate) 의 분포가 극도로 불균형합니다. 빈번한 관계는 잘 예측하지만, 드문 (Tail) 관계는 거의 예측하지 못하거나 편향된 (Biased) 결과를 초래합니다.
• 불완전한 장면 그래프: 위 두 가지 문제로 인해 생성된 장면 그래프는 객체 누락이나 관계 누락으로 인해 불완전하며, 편향된 예측을 보입니다.

2. 제안 방법론: SGG-R3

저자는 SGG-R3라는 구조화된 추론 프레임워크를 제안합니다. 이는 MLLM 을 기반으로 하며, **지도 미세 조정 (SFT)**과 **강화 학습 (RL)**을 결합하여 세 가지 순차적 단계를 거치도록 설계되었습니다.

가. 3 단계 구조화된 추론 (Three-stage Structured Reasoning)

모델이 무작위 생성이 아닌 체계적인 과정을 따르도록 유도합니다.

1. 객체 카테고리 탐지 (Object Category Detection): 이미지 내 존재하는 객체의 '카테고리'만 먼저 식별하여 검색 공간을 축소합니다.
2. 객체 인스턴스 그라운딩 (Object Instance Grounding): 식별된 카테고리별로 구체적인 객체 인스턴스 (Bounding Box) 를 탐지하고 위치를 파악합니다.
3. 다중 유형 관계 추출 (Multi-type Relation Extraction): 탐지된 객체들 간의 관계를 3 가지 유형 (공간적, 소유적, 상호작용적) 으로 나누어 체계적으로 추출합니다.

• 모든 출력은 JSON 형식과 <CATEGORY>, <OBJECT>, <RELATION> 태그로 구조화되어 일관성을 유지합니다.

나. SFT 단계: 관계 증강 (Relation Augmentation)

• 문제: 원본 데이터의 관계 데이터가 희소하여 모델 학습이 어렵습니다.
• 해결: Qwen2.5-VL-32B 를 활용하여 CoT 프롬프트로 이미지 설명을 생성하고, 이를 바탕으로 새로운 관계 삼중항 (Triplets) 을 생성합니다.
• 필터링: 생성된 관계가 원본 데이터와 의미적으로 일치하는지 **Sentence-BERT 임베딩 유사도 (Cosine Similarity)**를 계산하여 임계값 이상인 데이터만 선별합니다. 이를 통해 데이터의 양과 다양성을 확보하면서도 품질을 유지합니다.

다. RL 단계: 이중 세분도 보상 (Dual-Granularity Reward)

강화 학습을 통해 모델의 추론 능력을 최적화하기 위해 두 가지 보상을 도입합니다.

1. 세분화된 보상 (Fine-grained Reward):
   • 빈도 기반 적응 가중치 (Frequency-based adaptive weighting) 를 적용하여 드문 관계 (Tail predicates) 에 더 높은 보상을 부여함으로써 편향을 완화합니다.
2. 거시적 보상 (Coarse-grained Reward):
   • DBSCAN 기반 의미 클러스터링을 사용합니다. 정답과 정확히 일치하지 않더라도 의미적으로 유사한 관계 (예: "car on road"와 "car on street") 를 클러스터로 묶어 보상을 부여합니다. 이는 희소 데이터에서의 일반화 능력을 향상시킵니다.

라. 학습 알고리즘

• GSPO (Group Sequence Policy Optimization): 토큰 수준의 중요도 샘플링 대신 시퀀스 수준의 중요도 비율을 사용하여 긴 구조화된 JSON 출력 생성 시 학습의 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 추론 프레임워크: 객체 카테고리 탐지, 인스턴스 그라운딩, 관계 추출의 3 단계를 명시적으로 분리하여 종단 간 편향 없는 장면 그래프 생성을 가능하게 했습니다.
2. 관계 증강 및 보상 설계: SFT 를 위한 관계 증강 전략과 RL 을 위한 이중 세분도 보상 (Dual-granularity Reward) 을 제안하여, 데이터의 희소성과 긴 꼬리 분포 문제를 동시에 해결했습니다.
3. 성능 입증: 두 가지 주요 벤치마크 (VG150, PSG) 에서 기존 비-VLM 방법론 및 최신 VLM 기반 방법론을 모두 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

• VG150 및 PSG 데이터셋: SGG-R3 은 Recall, mean Recall (mRecall), Zero-shot Recall (zsRecall) 모든 지표에서 기존 최첨단 (SOTA) 방법론들을 능가했습니다.
  • 특히 Zero-shot Recall에서 뛰어난 성능을 보이며, 훈련 중 보지 못한 새로운 관계에 대한 일반화 능력이 탁월함을 입증했습니다.
  • 3B 파라미터 모델이 7B 또는 72B 파라미터의 기존 MLLM 기반 방법론들보다 더 높은 성능을 기록하여, 구조화된 후학습 (Post-training) 전략의 효과성을 증명했습니다.
• Ablation Study:
  • 관계 증강 (RA): RA 를 적용하지 않은 경우보다 SFT 및 RL 단계 전반에서 성능이 크게 향상되었으며, 특히 드문 (Tail) 관계 인식에 결정적인 역할을 했습니다.
  • 이중 세분도 보상 (DGR): 표준 보상만 사용한 경우보다 mRecall 이 향상되었고, zsRecall 이 증가하여 의미적 클러스터링이 일반화에 기여함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 을 활용한 장면 그래프 생성 분야에서 **구조화된 추론 (Structured Reasoning)**의 중요성을 강조합니다. 단순히 다음 토큰을 예측하는 것을 넘어, 시각적 이해와 논리적 추론을 단계별로 분리하고, 데이터의 불균형을 보상 메커니즘과 데이터 증강을 통해 해결함으로써 편향되지 않고 포괄적인 (Unbiased and Comprehensive) 장면 이해를 가능하게 했습니다. 이는 비주얼 퀘스천 애너싱 (VQA), 이미지 검색, embodied navigation 등 다양한 다운스트림 애플리케이션에 강력한 기반을 제공할 것으로 기대됩니다.