ViRC: Enhancing Visual Interleaved Mathematical CoT with Reason Chunking

이 논문은 Miller 의 법칙과 인간의 문제 해결 패턴에 영감을 받아, 동적 시각 정보 획득과 단계별 추론을 가능하게 하는 'Reason Chunking' 메커니즘을 도입하고 CRUX 데이터셋 및 점진적 학습 전략을 통해 다중 모달 수학 추론 성능을 획기적으로 향상시킨 ViRC 프레임워크를 제안합니다.

핵심

VIRC: 수학 문제를 푸는 '인간 같은' AI의 새로운 비법

이 논문은 VIRC라는 새로운 인공지능(AI) 모델을 소개합니다. 이 모델은 복잡한 수학 문제를 풀 때, 마치 인간이 그림을 보며 단계별로 생각하듯이 행동하도록 설계되었습니다.

기존의 AI 들은 수학 문제를 풀 때, 그림을 한 번만 보고는 끝까지 텍스트로만 답을 찾으려 했습니다. 하지만 인간은 문제를 풀다가 막히면 다시 그림을 자세히 보거나, 확대하거나, 특정 부분만 잘라보며 단계별로 논리를 쌓아갑니다. VIRC 는 바로 이 인간의 사고 방식을 모방한 것입니다.

이 논리의 핵심을 쉽게 설명해 드릴게요.

---

1. 문제: AI 는 왜 수학 그림을 못 볼까?

기존 AI 들은 수학 문제를 풀 때 두 가지 극단적인 방식을 썼습니다.

• 방식 A (텍스트만 믿기): 그림을 처음에 한 번만 보고, 그 이후로는 눈으로 확인하지 않고 텍스트만 계속 씁니다. (마치 눈을 감고 문제를 푸는 것과 같습니다.)
• 방식 B (너무 자주 보기): 매 단계마다 그림을 다시 봅니다. 하지만 중요한 부분만 보는 게 아니라, 쓸데없는 부분까지 다 보느라 혼란을 겪습니다. (마치 매 1 초마다 카메라를 돌리는 것과 같습니다.)

2. 해결책: 'Reason Chunking' (생각의 덩어리 만들기)

이 논문은 **밀러의 법칙 (Miller's Law)**이라는 심리학 이론에서 영감을 받았습니다. 이 법칙은 "인간의 뇌는 한 번에 7 개 정도의 정보 덩어리 (Chunk) 만 처리할 수 있다"는 것입니다.

VIRC 는 이 원리를 적용하여 문제를 **CRU(중요 추론 단위)**라는 작은 덩어리로 나눕니다.

• 비유: 긴 수학 문제를 풀 때, 한 번에 다 풀려고 하지 않고 **"1 단계: 각도 찾기", "2 단계: 변의 길이 계산", "3 단계: 최종 합치기"**처럼 작은 목표 단위로 쪼개는 것입니다.
• VIRC 의 방식: 각 '덩어리 (CRU)' 안에서만 논리를 정리하고, 다음 단계로 넘어갈 때 필요한 순간에만 그림을 다시 봅니다. 이때 그림을 어떻게 볼지 결정합니다.
  • 확대 (Scale): 너무 작아서看不清 (잘 안 보일 때) 확대합니다.
  • 자르기 (Crop): 중요한 부분만 잘라내어 집중합니다.
  • 다시 보기 (Display): 헷갈리면 원래 그림을 다시 확인합니다.

3. 훈련 방법: 인간처럼 배우는 3 단계 과정

이 모델은 단순히 많은 문제를 풀게 하는 게 아니라, 인간이 배우는 과정을 따라가며 훈련합니다.

1. 1 단계: 이론 수업 (Instructional SFT)

   • 그림 없이 텍스트만으로 "어떻게 문제를 덩어리로 나누고, 어떤 순서로 생각해야 하는지" 구조를 먼저 배웁니다.
   • 비유: 수학 공식을 외우고 문제 풀이 순서를 머릿속에 그리는 단계입니다.

2. 2 단계: 실전 연습 (Practice SFT)

   • 이제 그림을 실제로 보고, 위에서 배운 순서대로 그림을 확대하거나 자르며 문제를 풉니다.
   • 비유: 이론을 배웠으니, 이제 연필과 자를 들고 실제 문제를 풀며 눈으로 확인하는 단계입니다.

3. 3 단계: 전략 강화 (Strategic RL)

   • 가장 어려운 문제들만 골라, "어떤 상황에서 어떤 도구를 써야 가장 효율적인가?"를 스스로 학습합니다.
   • 비유: 어려운 시험 문제를 풀면서, "아, 이 문제는 확대해서 봐야겠다", "저 문제는 다시 전체를 봐야겠다"는 전략을 스스로 터득하는 단계입니다.

4. 결과: 왜 이것이 특별한가?

이 방식을 적용한 VIRC-7B 모델은 기존 최고의 모델들보다 수학 문제 해결 능력이 약 19% 향상되었습니다.

• 기존 모델: 그림을 보다가 헷갈리면 계속 같은 실수를 반복하거나, 너무 많은 정보를 받아들이고 망가집니다.
• VIRC: "이제 이 부분만 봐야겠다"라고 판단하고 그림을 확대하거나, "아, 내가 잘못 생각했네"라고 판단하고 다시 전체를 확인합니다.

요약

이 논문은 **"AI 가 수학 문제를 풀 때, 인간의 눈과 뇌가 작동하는 방식처럼 '단계별로' 그리고 '필요할 때만' 그림을 보게 하자"**는 아이디어를 제시했습니다.

마치 수학 선생님이 칠판의 복잡한 도형을 가리키며 "자, 여기만 집중해 보자"라고 가르쳐주는 것처럼, VIRC 는 AI 가 스스로 중요한 정보를 찾아내고 논리를 쌓아갈 수 있도록 도와줍니다. 이는 AI 가 단순히 답을 맞추는 것을 넘어, 진짜로 '생각'하는 단계로 나아갔음을 의미합니다.

기술 요약

1. 문제 정의 (Problem)

기존의 다중 모달 대규모 언어 모델 (MLLM) 은 수학 문제 해결 시 다음과 같은 한계를 겪고 있습니다:

• 정적 시각 인식의 한계: 대부분의 모델은 단일 정적 이미지에서 텍스트 기반 추론 (CoT) 만 수행합니다. 이는 복잡한 수학 도형에서 미세한 정보를 동적으로 포착하지 못해 오류를 유발합니다.
• 비효율적인 시각 토큰 주입: 최근 'Thinking with Images' 접근법은 추론 단계마다 시각 토큰을 주입하지만, 이는 불필요한 정보 중복을 초래하고 인간의 선택적 주의 (Selective Attention) 메커니즘을 따르지 못합니다.
• 계층적 추론 부재: 기존 방법들은 단일 추론 경로에 머무르며, 인간이 복잡한 문제를 해결할 때 사용하는 '중간 명제 증명'과 같은 계층적 분해 전략을 따르지 못합니다.

2. 방법론 (Methodology)

저자들은 인간의 인지 과학 원리, 특히 밀러의 법칙 (Miller's Law, 정보의 청킹) 에서 영감을 받아 VIRC (Visual Interleaved Reasoning with Chunking) 프레임워크를 제안합니다.

A. Reason Chunking (추론 청킹)

• 핵심 개념: 추론 과정을 중요 추론 단위 (Critical Reasoning Units, CRUs) 로 분해합니다.
• 구조: 각 CRU 는 하나의 자기 완결적인 중간 명제 (Intermediate Proposition) 를 검증하는 단위입니다.
  • 단위 내 (Intra-unit): 텍스트 간의 논리적 일관성을 유지하며 명제를 증명합니다.
  • 단위 간 (Inter-unit): 다음 명제를 생성하기 위해 필요한 시각 정보만 동적으로 주입합니다 (Crop, Scale, Display 도구 사용).
• 효과: 불필요한 시각 토큰을 제거하고, 인간처럼 필요한 시점에 시각 정보를 선택적으로 참조하는 효율적인 추론을 가능하게 합니다.

B. CRUX 데이터셋 구축

Reason Chunking 을 학습시키기 위해 CRUX라는 새로운 10 만 개 샘플 규모의 다중 모달 수학 추론 데이터셋을 구축했습니다.

• 생성 파이프라인:
  1. 샘플링: 다양한 이미지 스케일에서 올바른 경로와 잘못된 경로를 생성.
  2. 매핑: 세부 추론 단계를 CRU 단위로 그룹화.
  3. 그라운딩: 각 CRU 에 해당하는 시각적 영역 (Bounding Box) 과 도구 호출 (Crop, Scale, Display) 을 할당.
• 인지 패턴: Planning(계획), Reflecting(반성), Verifying(검증), Backtracking(되돌아가기) 의 4 가지 인간 유사 추론 패턴을 명시적으로 주석 처리했습니다.

C. 점진적 학습 전략 (Progressive Training Strategy)

CRUX 데이터셋을 기반으로 인간의 학습 패턴을 모방한 3 단계 학습 전략을 적용합니다:

1. Instructional SFT (지시적 SFT): 시각 신호를 마스킹한 텍스트-only 데이터로 CRU 구조와 논리적 템플릿을 학습.
2. Practice SFT (연습 SFT): 실제 도구 호출과 시각 피드백이 포함된 멀티모달 데이터로 학습하여 시각 - 텍스트 정합성 강화.
3. Strategic RL (전략적 강화학습): 어려운 하위 집합 (Hard Subset) 과 맞춤형 보상 함수 (정답 정확도, 멀티모달 일관성, 추론 패턴 정합성 등) 를 사용하여 모델의 도구 선택 및 추론 전략을 최적화.

3. 주요 기여 (Key Contributions)

1. VIRC 프레임워크 제안: 밀러의 법칙에 기반한 Reason Chunking 메커니즘을 도입하여, 구조화된 CRU 를 통해 다중 모달 수학 추론 능력을 획기적으로 향상시켰습니다.
2. CRUX 데이터셋 공개: 인간 중심의 인지 패턴 (계획, 검증, 되돌아가기 등) 과 다중 CRU 가 명시적으로 주석된 최초의 시각 - 텍스트 교차 추론 데이터셋을 구축했습니다.
3. 점진적 학습 커리큘럼: 구조적 이해, 시각적 정합성, 전략적 의사결정을 단계적으로 강화하는 학습 방식을 설계하여 모델의 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

VIRC-7B 모델은 다양한 벤치마크에서 기존 SOTA 모델들을 압도하는 성능을 보였습니다.

• 수학 추론 벤치마크 (GeoQA, MMStar-Math, MathVista-Math):
  • VIRC-7B 는 평균 18.8% 의 성능 향상을 기록했습니다.
  • 특히 GeoQA(기하학 문제) 에서 75.07% 의 정확도를 달성하여 이전 최고 성능 (MM-Eureka-Qwen-7B) 보다 7.44%p 높았습니다.
  • VIRC-3B 모델조차도 70 억 파라미터 규모의 기존 모델들과 경쟁 가능한 성능을 보였습니다.
• 고해상도 이미지 일반화 (VisualProbe, V, HR-Bench):*
  • 수학 데이터로만 학습되었음에도 불구하고, 2K~16K 고해상도 이미지 벤치마크에서 평균 9% 향상된 성능을 보여주어 강력한 일반화 능력을 입증했습니다.
• 효율성:
  • Reason Chunking 기법을 적용함으로써 불필요한 토큰 생성을 줄여 추론 속도와 토큰 사용량을 최적화했습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 모달 추론 분야에서 인간의 인지적 문제 해결 방식 (정보 청킹, 선택적 주의, 계층적 분해) 을 모델에 성공적으로 적용한 사례입니다.

• 패러다임 전환: 단순히 시각 정보를 더 많이 주입하는 방식에서 벗어나, "언제, 무엇을, 어떻게" 시각적으로 확인해야 하는지 학습하는 전략적 추론의 중요성을 강조합니다.
• 확장성: 제안된 Reason Chunking 메커니즘과 CRUX 데이터셋은 향후 복잡한 시각 - 언어 작업 (과학 문장 이해, 의료 이미지 분석 등) 에서 인간 수준의 추론 능력을 구현하는 데 중요한 기반이 될 것으로 기대됩니다.

결론적으로 VIRC 는 다중 모달 LLM 이 복잡한 수학 문제를 해결할 때 인간의 사고 과정을 모방하여 정확성과 효율성을 동시에 달성할 수 있음을 입증한 획기적인 연구입니다.