CodePercept: Code-Grounded Visual STEM Perception for MLLMs

이 논문은 MLLM 의 STEM 시각 추론 한계가 추론이 아닌 지각 능력에 기인한다는 통찰을 바탕으로, 실행 가능한 코드를 지각 매체로 활용하여 대규모 데이터셋 (ICC-1M) 과 평가 벤치마크 (STEM2Code-Eval) 를 구축함으로써 시각 지각 능력을 체계적으로 향상시키는 'CodePercept' 프레임워크를 제안합니다.

핵심

🧠 "코드페셉트": AI 가 과학 문제를 풀 때 왜 망치는가? (그리고 해결책)

이 논문은 Multimodal Large Language Models(MLLMs, 이미지와 텍스트를 모두 이해하는 거대 AI) 가 과학, 기술, 공학, 수학 (STEM) 문제를 풀 때 왜 자꾸 실수를 하는지, 그리고 어떻게 고칠 수 있는지에 대한 놀라운 발견을 담고 있습니다.

간단히 말해, **"AI 가 문제를 못 푸는 건 '생각'이 부족해서가 아니라, '눈'이 안 좋은 탓이다"**라는 결론을 내렸고, 그 눈을 뜨게 해주는 비결로 **'코딩'**을 제시했습니다.

---

1. 문제: AI 는 왜 과학 문제를 못 풀까? (눈 vs 뇌)

과학 문제를 풀 때 AI 는 두 단계를 거칩니다.

1. 눈 (Perception): 그림을 보고 "이건 삼각형이고, 변의 길이는 5cm 야"라고 설명하는 것.
2. 뇌 (Reasoning): 그 설명을 바탕으로 "그럼 넓이는 12.5cm²야"라고 계산하는 것.

연구진은 "AI 가 틀리는 건 뇌 (추론 능력) 가 약해서일까, 아니면 눈 (시각 인식) 이 못 봐서일까?"를 실험해 봤습니다.

• 실험 결과: 뇌 (추론) 능력을 아무리 키우더라도, 눈 (시각) 능력을 키우는 것이 훨씬 더 큰 효과를 냈습니다.
• 비유: 마치 시력이 나쁜 사람이 안경을 끼지 않고 두뇌 훈련만 시키는 것과 같습니다. 아무리 머리가 좋아도 안경 (시력) 이 없으면 문제를 못 봅니다.

2. 기존 방법의 한계: "눈으로만 설명하면 안 돼"

기존에는 AI 가 그림을 보고 "이건 빨간색 원이 3 개 있고, 파란색 네모가 2 개 있어"라고 글 (자연어) 로 설명하게 훈련시켰습니다. 하지만 과학 그림은 자연어로 설명하기엔 너무 정밀합니다.

• 문제점: AI 가 "대략 3 개쯤 있어"라고 말하거나, "왼쪽 위에 있겠지"라고 **망상 (Hallucination)**을 일으키기 쉽습니다.
• 비유: 건축가에게 "이건 대충 3 층짜리 빌딩이야"라고 말하면, 실제 시공은 불가능합니다. 정확한 치수와 도면이 필요하죠.

3. 해결책: "코딩"을 새로운 눈으로 쓰다

이 논문은 **"그림을 설명할 때 글 대신 '실행 가능한 코드 (Python)'를 쓰자"**고 제안합니다.

• 왜 코드인가?
  • 코드는 수학적으로 정확합니다. "원점 (0,0) 에서 반지름 5cm"라고 코드로 쓰면, AI 는 "대충 5cm"라고 말하지 않고 정확히 5cm를 그립니다.
  • 코드는 검증 가능합니다. 코드를 실행해서 그림이 나오면, AI 가 진짜로 그림을 완벽하게 이해한 것입니다.
• 비유: AI 에게 "그림을 그리라"고 할 때, "빨간색 원 그려"라고 말 (자연어) 하는 대신, **"이런 명령어로 그려라"**라고 **명확한 레시피 (코드)**를 주는 것과 같습니다.

4. 어떻게 만들었나? (ICC-1M 데이터셋)

연구진은 AI 를 훈련시키기 위해 **100 만 개 이상의 '그림 - 설명 - 코드' 쌍 (ICC-1M)**을 만들었습니다.

1. 그림을 코드로 바꾸기: 기존 과학 그림을 보고 AI 가 그 그림을 다시 그릴 수 있는 Python 코드를 짜게 합니다.
2. 코드로 다시 설명하기: AI 가 짠 정확한 코드를 보고, 그 내용을 자연어로 다시 설명하게 합니다. (이 과정에서 AI 의 망상이 사라집니다.)
3. 다양한 변형: 같은 원리지만 모양을 다르게 변형한 그림들도 만들어 AI 가 다양한 상황을 학습하게 합니다.

5. 결과: 눈이 트인 AI

이 방법으로 훈련된 AI (CodePercept) 는 기존 모델들보다 훨씬 뛰어난 성능을 보였습니다.

• 문제 해결 능력 향상: 그림을 정확히 이해했기 때문에, 그 다음 단계인 계산 (추론) 도 훨씬 잘하게 되었습니다.
• 새로운 평가 기준: 연구진은 단순히 "정답을 맞췄나?"를 보는 게 아니라, **"AI 가 그린 그림이 원본과 똑같은가?"**를 평가하는 새로운 시험 (STEM2Code-Eval) 을 만들었습니다. 여기서 CodePercept 는 다른 모델들을 압도했습니다.

🌟 요약: 한 줄로 정리하면?

"AI 가 과학 문제를 못 푸는 건 머리가 나빠서가 아니라, 눈이 안 좋은 탓이다. 그래서 AI 에게 '그림을 그리는 법 (코드)'을 가르쳐 눈을 뜨게 하니, 갑자기 천재가 되었다!"

이 연구는 앞으로 AI 가 복잡한 과학, 공학 문제를 풀 때, **단순한 말 (자연어) 이 아니라 정밀한 명령 (코드)**을 통해 세상을 더 정확하게 바라보게 될 것임을 보여줍니다.

기술 요약

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 STEM(과학, 기술, 공학, 수학) 분야의 시각적 추론에서 괄목할 만한 성과를 보였으나, 여전히 한계가 존재합니다. 이 논문은 MLLM 이 STEM 문제를 실패할 때 그 원인이 추론 (Reasoning) 능력의 부족인지, 아니면 지각 (Perception) 능력의 결함인지에 대한 근본적인 질문을 던집니다.

기존 연구들은 대부분 추론 능력을 강화하는 데 집중했으나, 저자들은 체계적인 확장성 분석 (Scaling Analysis) 을 통해 현재 STEM 시각적 추론의 진정한 병목 현상은 '지각'에 있음을 발견했습니다. 자연어 기반의 이미지 설명 (Caption) 은 복잡한 공간 관계, 정밀한 수치, 요소 간의 상호작용 등을 정확하게 표현하는 데 한계가 있으며, 기존 지식 증류 (Knowledge Distillation) 방식은 할루시네이션 (Hallucination) 을 유발하여 사실적 오류를 낳습니다. 또한, 기존 벤치마크는 문제 해결 정확도를 지각 능력의 대리 지표로 사용하는데, 이는 문제와 관련된 정보만 추출하는 능력을 측정할 뿐 포괄적인 시각 이해도를 평가하지 못합니다.

2. 방법론 (Methodology)

저자들은 "실행 가능한 코드 (Executable Code) 를 지각의 매개체로 사용한다" 는 새로운 패러다임을 제안합니다. 코드는 자연어의 모호함을 없애고, 구조화된 의미와 정밀한 공간/수치 정보를 제공하여 이미지 재구성을 가능하게 하기 때문입니다.

가. 데이터 구축: ICC-1M

지각 능력을 향상시키기 위해 100 만 개의 이미지 - 캡션 - 코드 (Image-Caption-Code) 3 중항 (Triplets) 으로 구성된 대규모 데이터셋 ICC-1M을 구축했습니다. 데이터 생성은 세 가지 파이프라인을 통해 이루어집니다:

1. 이미지 재현 (Image Reproduction): 기존 STEM 이미지를 MLLM 이 분석하여 실행 가능한 Python 코드 (matplotlib 등) 로 변환합니다.
2. 이미지 다양성 (Image Diversity): 원본 이미지의 과학적 원리를 추출하여 다양한 시각적 맥락에서 재구현하는 코드를 생성합니다.
3. 입체 기하학 합성 (Solid Geometry Synthesis): MLLM 이 취약한 입체 기하학 영역을 위해 파라미터화된 코드 템플릿을 사용하여 정밀한 3D 구조를 생성합니다.

나. 코드 기반 학습 태스크

구축된 데이터를 활용하여 두 가지 핵심 태스크를 수행합니다:

1. 코드 기반 캡션 생성 (Code-Grounded Caption Generation):
   • MLLM 이 생성한 초기 캡션 (Draft) 과 실행 가능한 코드를 분석하여 추출한 사실적 정보 (Visual Facts) 를 결합합니다.
   • 코드가 제공하는 정확한 수치와 공간 관계를 캡션에 반영하여, 자연어 설명의 할루시네이션을 제거하고 사실적 정확도를 높입니다.
2. STEM 이미지-코드 번역 (STEM Image-to-Code Translation):
   • 이미지를 직접 실행 가능한 재현 코드로 변환하는 태스크를 학습시킵니다.
   • 단순히 코드를 생성하는 것을 넘어, 시각적 요소가 어떻게 코드 구조로 매핑되는지 설명하는 '설명형 (Explanatory)' 코드를 학습시켜 모델의 이해도를 높입니다.

다. 학습 전략

• 지도 미세 조정 (SFT): ICC-1M 데이터를 사용하여 이미지 캡션 생성과 이미지-코드 번역 태스크를 동시에 학습합니다.
• 강화 학습 (RL): GRPO(Group Relative Policy Optimization) 를 적용하여 코드의 실행 가능성 (Executability) 과 시각적 유사성을 보상으로 삼아 코드의 품질을 추가로 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 지각의 병목 현상 규명: 확장성 분석을 통해 STEM 시각적 추론에서 추론 능력보다 지각 능력이 더 중요한 제한 요소임을 실증적으로 증명했습니다.
2. STEM2Code-Eval 벤치마크 도입: 기존 문제 해결 방식이 아닌, 모델이 주어진 이미지를 실행 가능한 Python 코드로 재현하는 능력을 평가하는 새로운 벤치마크를 제안했습니다. 이는 지각 능력을 결정적이고 검증 가능하게 (Deterministic & Verifiable) 평가할 수 있게 합니다.
3. ICC-1M 데이터셋 및 CodePercept 프레임워크: 100 만 개의 고품질 3 중항 데이터셋과 이를 활용한 두 가지 코드 기반 학습 태스크를 통해 MLLM 의 시각적 지각 능력을 체계적으로 향상시켰습니다.

4. 실험 결과 (Results)

• 문제 해결 기반 평가 (Captioner-Solver Setup):
  • CodePercept 모델은 다양한 SOTA MLLM 들보다 일관되게 높은 성능을 보였습니다.
  • 특히, 4B/8B 파라미터 규모의 CodePercept 모델은 72B 이상의 거대 모델이나 Claude-Opus 4.1, GPT-5 와 같은 최첨단 모델들을 능가하거나 견줄 만한 성능을 기록했습니다. 이는 지각 능력의 향상이 추론 성능에도 직접적인 영향을 미친다는 것을 보여줍니다.
• 이미지 재현 평가 (STEM2Code-Eval):
  • 기존 모델들은 이미지 재현 (코드 생성 및 실행) 에서 낮은 점수와 실행 실패율을 보였습니다.
  • 반면, CodePercept-32B-R1 모델은 **Image Score 68.97, Code Score 62.53, 실행 성공률 95.9%**를 기록하여, 기존 모델들 (예: Qwen3-VL-32B-Instruct) 보다 압도적인 성능 향상을 보여주었습니다.
  • 강화 학습 (R1) 단계를 거치면서 실행 가능성과 재현 정확도가 크게 개선되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 MLLM 의 STEM 능력 향상을 위해 추론 중심의 접근법에서 지각 중심의 접근법으로의 전환이 필요함을 강력하게 주장합니다. 자연어의 모호함을 극복하고 실행 가능한 코드를 '지각의 Ground Truth'로 활용함으로써, 모델이 시각적 사실을 정확하게 파악하고 구조화할 수 있게 되었습니다.

CodePercept 는 코드가 단순한 출력 도구를 넘어, **시각적 이해를 위한 강력한 학습 매개체 (Perceptual Medium)**가 될 수 있음을 입증했습니다. 이는 향후 복잡한 과학적 시각 자료 분석, 교육용 AI, 그리고 정밀한 시각적 추론이 필요한 분야에서 MLLM 의 한계를 극복하는 중요한 이정표가 될 것으로 기대됩니다.