Long Grounded Thoughts: Synthesizing Visual Problems and Reasoning Chains at Scale

이 논문은 대규모 시각 중심 데이터와 추론 체인을 자동 생성하는 프레임워크를 제안하여, 이를 통해 학습된 오픈 소스 모델이 기존 폐쇄형 모델을 능가하는 성능을 보이며 텍스트 및 오디오 추론 등 다양한 영역으로의 긍정적 전이 효과를 입증했습니다.

핵심

1. 문제: "눈만 뜨고 있는 아이"와 "수학 문제집"

지금까지 AI(컴퓨터) 는 이미지를 보고 "이게 뭐야?"라고 물으면 대답하는 건 잘했지만, "왜 그런지", "어떻게 연결되는지" 같은 복잡한 논리를 펼치는 건 서툴렀습니다. 마치 눈은 잘 뜨지만, 논리적으로 생각할 수 없는 아이와 같습니다.

기존에는 이런 능력을 키우기 위해 사람이 직접 문제를 만들고 답을 적어주거나, 수학 문제 같은 딱딱한 데이터만 썼습니다. 하지만 이는 데이터 양이 너무 적고 (3 만 개 정도), 복잡한 사고 과정을 가르치기엔 부족했습니다.

2. 해결책: "100 만 개의 문제집"을 만드는 공장 (Long Grounded Thoughts)

이 연구팀은 AI 가 스스로 100 만 개가 넘는 고난도 시각 문제를 만들어 학습하게 하는 공장을 지었습니다. 이 공장은 두 단계로 이루어져 있습니다.

1 단계: "상자 속 보물 찾기" (다양한 문제 만들기)

• 비유: imagine 한 상자 (이미지) 가 있습니다. 기존 방식은 상자 전체를 설명하는 글 (캡션) 만 보고 "상자에 뭐가 있을까?"라고 물었습니다. 하지만 AI 는 항상 상자에서 가장 눈에 띄는 것만 골라 같은 질문만 반복했습니다.
• 이 연구의 방법: 연구팀은 상자 속 각각의 물건 (사과, 인형, 책상 등) 에 정확한 위치 좌표를 붙여주었습니다. 그리고 AI 에게 "이 인형 옆에 있는 파란 물건은 뭐지?"처럼 구체적인 물건을 겨냥한 질문을 만들게 했습니다.
• 효과: 이렇게 하면 AI 는 상자 전체가 아니라 세부적인 부분까지 꼼꼼히 보게 되어, 훨씬 다양하고 풍부한 문제를 만들 수 있게 됩니다.

2 단계: "퍼즐 조각을 이어 붙이기" (문제 어렵게 만들기)

• 비유: 1 단계에서 만든 쉬운 문제들 (예: "인형은 파란색이야", "상자는 오른쪽에 있어") 을 따로따로 풀게 하면 AI 는 금방 답을 맞춥니다. 하지만 진짜 지능은 여러 단계를 거쳐 답을 찾는 것입니다.
• 이 연구의 방법: AI 가 만든 쉬운 문제들을 하나의 거대한 퍼즐로 합칩니다. "인형이 파란색이고, 그 인형이 상자에 있는데, 그 상자가 창문 왼쪽에 있다면?"처럼 여러 정보를 조합해서 답을 찾아야 하는 복잡한 문제를 만듭니다.
• 효과: AI 는 단순히 답을 외우는 게 아니라, 논리를 펼쳐가며 (추론) 답을 찾아가는 법을 배우게 됩니다.

3. 핵심 기술: "생각의 과정"을 가르치는 것 (CoT)

이 공장에서는 단순히 "정답"만 주는 게 아니라, **정답에 도달하기까지의 '생각 과정' (추론)**을 함께 가르칩니다.

• 비유: 수학 문제를 풀 때, 답만 적어주는 게 아니라 **"먼저 A 를 계산하고, 그다음 B 를 확인하고, 아! 실수했네, 다시 생각해보자"**라고 혼잣말 (Self-talk) 을 하며 고민하는 과정을 보여줍니다.
• 결과: AI 는 이 과정을 통해 실수를 발견하고 수정하는 능력을 키웁니다. 마치 아이가 문제를 풀다가 "아, 내가 착각했네"라고 스스로 깨닫는 것과 같습니다.

4. 놀라운 성과: "눈으로만 배웠는데, 귀와 입도 좋아졌다"

이 공장 (데이터) 으로 학습한 AI 는 놀라운 능력을 보여줍니다.

1. 시각 능력: 이미지 기반 벤치마크에서 기존 오픈소스 모델들을 압도하고, 유료 모델들과도 대등한 성적을 냈습니다.
2. 전환 능력 (Transfer Learning):
   • 텍스트: 이미지를 전혀 보지 않은 순수 텍스트 문제 (MMLU-Pro) 도 훨씬 잘 풀었습니다. (논리력이 텍스트에도 적용됨)
   • 소리: 음악이나 소리를 분석하는 능력도 향상되었습니다. (시각적 논리가 청각적 논리로도 확장됨)
   • 로봇: 로봇이 환경을 보고 행동하는 구체적 질문에도 큰 향상을 보였습니다.

5. 결론: "스스로 생각하게 만드는 마법"

이 연구는 **"AI 에게 정답을 알려주는 것보다, 스스로 고민하고 추론하는 과정을 100 만 번 연습시키는 것"**이 더 중요하다는 것을 증명했습니다.

• 기존 방식: 사람이 일일이 가르침 (비효율적, 데이터 부족).
• 이 연구: AI 가 스스로 복잡한 문제를 만들고, 스스로 고민하며, 스스로 고쳐가는 스스로 학습하는 생태계를 구축함.

이제 AI 는 단순히 "보는 것"을 넘어, 보고, 생각하고, 실수하고, 다시 생각하는 진정한 '지능'을 갖게 된 것입니다. 마치 눈만 뜨고 있던 아이가, 스스로 문제를 풀며 논리력을 키워 대학에 가는 과정과 비슷합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

최근 언어 기반 추론 (Language-based Reasoning) 을 위한 오픈 소스 데이터셋의 발전이 두드러졌으나, 시각 중심 (Vision-centric) 다중 모달 추론을 위한 체계적인 대규모 데이터 생성 방법은 여전히 부족합니다. 기존 오픈 소스 시각 추론 데이터셋은 규모가 제한적이거나 시각 수학 (Visual Math) 에만 집중되어 있으며, 복잡한 추론 구조 (검증, 백트래킹, 하위 목표 설정 등) 를 가진 긴 사고 체인 (Chain-of-Thought, CoT) 을 생성하는 데 한계가 있습니다.

특히, 이전 연구인 **LongPerceptualThought (LPT)**는 밀집된 캡션 (Dense Caption) 을 기반으로 문제를 생성했으나, 다음과 같은 두 가지 주요 병목 현상을 겪었습니다:

1. 문제 생성 포화 (Problem Synthesis Saturation): 캡션에만 의존할 경우 생성된 질문의 다양성이 빠르게 포화되어 성능 향상이 멈춥니다.
2. 인지적 단순성 (Cognitive Simplicity): 생성된 추론 흔적 (Reasoning Traces) 이 고차원적인 구조를 갖추지 못해 복잡한 추론 능력을 키우기에 부족합니다.

2. 제안된 방법론 (Methodology)

저자들은 **Long Grounded Thoughts (LGT)**라는 새로운 프레임워크를 제안하여, 100 만 개 이상의 고품질 시각 중심 문제와 복잡한 추론 체인을 합성합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

2.1. 1 단계: 대규모 다양성 있는 문제 생성 (Scale & Diversity)

• 접근 방식: 기존 캡션 기반 생성의 한계를 극복하기 위해 **객체 메타데이터 (Grounded Object Metadata, 즉 바운딩 박스 좌표 및 태그)**를 활용합니다.
• 프로세스:
  1. 이미지에서 Grounded-SAM 등을 통해 객체별 바운딩 박스와 태그를 추출합니다.
  2. 밀집된 캡션과 객체 메타데이터를 결합하여 LLM 에게 전달합니다.
  3. LLM 은 각 객체를 기반으로 다양한 다중 선택형 질문 (MCQ) 을 생성합니다.
• 효과: 객체 메타데이터를 활용함으로써 질문의 의미적 분포 (Semantic Spread) 를 3.2 배 넓히고 중복성을 줄여 100 만 개 이상의 데이터 생성이 가능해졌습니다.

2.2. 2 단계: 구성적 강화 (Composition Hardening for Complexity)

• 접근 방식: 1 단계에서 생성된 단순한 MCQ 들을 병합하여 더 복잡한 멀티홉 (Multi-hop) 문제로 변환합니다.
• 프로세스:
  1. 동일한 이미지에 대한 여러 개의 MCQ 를 선택합니다.
  2. LLM 을 사용하여 이들을 하나의 복잡한 문제로 구성 (Compose) 합니다.
  3. 원래 문제들이 중간 단계 (Intermediate steps) 가 되도록 하여 분해 및 고차원 추론을 요구하도록 설계합니다.
• 효과: 단순하게 해결 가능한 문제의 비율을 기존 36.7% 에서 3.3% 로 대폭 감소시켜 문제의 난이도를 획기적으로 높였습니다.

2.3. 추론 흔적 (Reasoning Traces) 합성

• 이중 증류 전략:
  1. VLM (Vision-Language Model) 에서 초기 CoT 추출: 이미지와 질문에 대해 VLM 이 간단한 추론 (Simple CoT) 을 생성합니다.
  2. LLM (Reasoning LLM) 을 통한 사고 확장 (Thought Expansion): 강력한 추론 LLM (예: DeepSeek-R1, Qwen2.5-VL-72B 등) 이 초기 CoT 를 바탕으로 하위 목표 설정, 백트래킹, 자기 검증 등의 복잡한 인지 행동을 포함하도록 사고 체인을 확장합니다.
• RL 데이터: 정답 여부와 간결성을 기준으로 선호도 데이터 (Preference Data) 를 생성하여 오프라인 RL (DPO) 과 온라인 RL (GRPO) 에 활용합니다.

3. 주요 기여 (Key Contributions)

1. 대규모 고품질 데이터셋: 100 만 개 이상의 시각 중심 문제와 129,000 개의 RL 을 위한 선호도 데이터를 포함한 Long Grounded Thoughts 데이터셋을 공개했습니다.
2. 성능 향상: 생성된 데이터로 Qwen2.5-VL-7B를 파인튜닝한 결과, 기존 오픈 데이터 베이스라인을 압도하며, MiMo-VL-7B-RL 과 같은 강력한 폐쇄형 (Closed-data) 모델과도 경쟁하거나 우위를 점했습니다.
3. 범용적 전이 학습 (Cross-Modality Transfer):
   • 텍스트 추론: 시각 데이터만 사용했음에도 MMLU-Pro(텍스트 전용) 에서 +3.7% 향상.
   • 오디오 추론: Omni-7B 모델에서 MMAU(사운드/음악) 벤치마크에서 +1.32% 향상.
   • 구현형 (Embodied) QA: embodied 데이터가 없음에도 NiEH 벤치마크에서 **+8.8%**의 큰 폭 향상.
4. VLM 포스트-트레이닝 파이프라인 분석: 대규모 (100 만 개 이상) 데이터를 활용한 체계적인 분석을 통해 다음과 같은 인사이트를 도출했습니다.
   • 온라인 RL 은 고품질 SFT 를 통한 '인지 행동 (Cognitive Behaviors)'의 사전 학습이 필수적입니다.
   • 오프라인 RL (SFT → DPO) 은 온라인 RL 과 유사한 성능을 내면서 컴퓨팅 비용을 분리할 수 있습니다.
   • 고품질 SFT 는 도메인 외 (Out-of-Domain) 및 크로스-모달 전이에 결정적인 역할을 합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: V*Bench, CV-Bench, MMStar-V 등 5 개 주요 시각 벤치마크에서 오픈 소스 모델 중 가장 높은 성능을 기록했습니다. 특히 SFT + DPO 구성은 5 개 벤치마크 중 3 개에서 폐쇄형 모델 (MiMo-VL-7B-RL) 을 능가했습니다.
• 복잡성 및 풍부함:
  • 생성된 문제의 '완전 해결률 (Perfect Solve Rate)'이 36.7% (기존 LPT) 에서 **3.3%**로 낮아져 난이도가 크게 상승했습니다.
  • 추론 흔적 내의 복잡한 인지 행동 (하위 목표 설정, 백트래킹 등) 빈도가 206% 증가하여, 기존 대비 3 배 더 풍부한 추론 구조를 가졌습니다.
• 확장성 (Scaling): 데이터 크기가 100 만 개로 증가해도 성능이 포화되지 않고 지속적으로 향상되는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 시각 중심 추론을 위한 대규모 고품질 데이터 생성의 새로운 표준을 제시합니다. 단순히 데이터를 늘리는 것을 넘어, 객체 기반의 grounding과 **구성적 강화 (Composition Hardening)**를 통해 문제의 복잡성과 추론의 깊이를 동시에 확보했습니다.

가장 중요한 점은 시각 데이터로 학습된 모델이 텍스트, 오디오, 로봇 제어 (Embodied) 등 다른 모달리티와 도메인으로도 긍정적으로 전이된다는 사실입니다. 이는 추론 능력 (Reasoning Capability) 이 모달리티에 구애받지 않는 보편적인 능력임을 시사하며, 오픈 소스 다중 모달 모델의 발전에 중요한 이정표가 될 것입니다. 또한, 온라인 RL 의 효율성을 높이기 위한 'SFT 기반의 인지 행동 교육'의 필요성을 실증적으로 증명했다는 점에서도 학술적 가치가 큽니다.