🤖 AI

What does RL improve for Visual Reasoning? A Frankenstein-Style Analysis

이 논문은 시각 추론에서 강화학습 (RL) 이 시각 지각을 전반적으로 향상시키는 것이 아니라, 중간~후반 레이어의 추론 과정을 체계적으로 정제하여 시각과 추론 간의 정렬을 개선한다는 것을 '프랑켄슈타인' 스타일의 분석 프레임워크를 통해 규명했습니다.

원저자: Xirui Li, Ming Li, Tianyi Zhou

게시일 2026-02-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xirui Li, Ming Li, Tianyi Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"시각적 추론 (Visual Reasoning)"**을 잘하는 인공지능 (AI) 을 만들 때, 왜 **강화학습 (RL)**이 기존 방법보다 더 잘 작동하는지 그 '비밀'을 파헤친 연구입니다.

마치 프랑켄슈타인의 괴물을 부위별로 분해하고 다시 조립해 보듯, 연구자들은 AI 의 두뇌 (모델) 를 층 (Layer) 단위로 잘게 쪼개어 어떤 부분이 실제로 변했는지 분석했습니다.

이 논문의 핵심 내용을 쉽게 풀어서 설명해 드릴게요.

🧩 1. 문제: "점수가 올랐는데, 뭐가 좋아진 걸까?"

최근 AI 는 그림을 보고 문제를 풀 때, **강화학습 (RL)**을 거치면 점수가 확실히 올라갑니다. 하지만 연구자들은 의문을 가졌습니다.

"그냥 **눈 (시각)**이 더 잘 보이는 걸까?"
"그냥 **머리 (추론)**가 더 똑똑해진 걸까?"
아니면 "눈과 머리가 서로 대화하는 방식이 나아진 걸까?"

기존의 점수만 보면 이 모든 것이 다 좋아진 것처럼 보이지만, 자세히 뜯어보니 시각 능력이나 순수한 추론 능력 자체는 크게 변하지 않았습니다. 그렇다면 도대체 뭐가 변한 걸까요?

🔬 2. 방법: "프랑켄슈타인 스타일 분석"

연구자들은 AI 모델을 프랑켄슈타인처럼 부위별로 나누어 실험했습니다. AI 는 보통 20~30 개의 층 (Layer) 으로 이루어진 '거대한 사다리' 같은 구조입니다.

기능 찾기 (Causal Probing): 사다리의 어느 층에서 '눈'이 그림을 보고, 어느 층에서 '머리'가 생각을 하는지 찾아냈습니다.
- 아래쪽 층 (Early): 그림을 보고 글자를 읽거나 물체를 찾는 '눈'의 역할.
- 중간~위쪽 층 (Mid-Late): 그림을 보고 논리적으로 추리하는 '머리'의 역할.
부위 교체 (Model Merging): A 모델의 '눈' 부분과 B 모델의 '머리' 부분을 섞어서 새로운 괴물을 만들어봤습니다.
동결 실험 (Freezing): 학습할 때 특정 부위를 움직이지 못하게 고정해 봤습니다.

💡 3. 발견: "시각이 좋아진 게 아니라, '연결'이 좋아졌다!"

이 실험들을 통해 놀라운 사실을 발견했습니다.

눈 (시각) 은 그대로: 강화학습을 해도 AI 가 그림을 보는 능력 (물체 인식, 글자 읽기 등) 은 크게 변하지 않았습니다.
머리 (추론) 도 그대로: 그림이 없으면 푼 수 있는 수학 문제 능력도 크게 변하지 않았습니다.
진짜 변화는 '중간~위쪽 층'에서 일어났다:
- 강화학습을 거친 AI 는 그림 정보를 '머리'로 전달하는 과정이 훨씬 정교해졌습니다.
- 마치 통역사가 있습니다. 강화학습을 하기 전에는 통역사가 그림을 보고 "아, 고양이네"라고만 말했지만, 학습 후에는 "이 고양이가 노란색이고, 오른쪽에 있고, 귀가 서 있네. 그러니까 이 문제는 '노란 고양이'를 찾는 거야"라고 추론 과정에 맞춰 그림 정보를 정리해서 전달하게 된 것입니다.

🎯 4. 핵심 비유: "레고 조립의 미묘한 차이"

이 논문의 결론을 레고로 비유해 볼까요?

기존 모델 (IN): 레고 블록 (눈) 은 잘 쌓아두었지만, 그걸로 집을 짓는 설계도 (추론) 를 읽을 때 "어? 이 블록이 어디에 붙어야 했지?" 하고 헤매는 경우가 많았습니다.
강화학습 모델 (RL): 새로운 레고 블록을 추가한 게 아닙니다. 이미 있는 블록들을 어떻게 조립해야 가장 잘 맞는지, 설계도 (추론) 와 블록 (시각) 을 어떻게 연결해야 하는지를 배우게 된 것입니다.
- 특히 중간~위쪽 층에서 이 '연결'이 훨씬 매끄럽게 변했습니다.
- 연구자들은 이 부분을 모델의 '중간~위쪽 층'을 강화학습 모델에서 가져와서 기존 모델에 붙여주면 (Merging), 기존 모델도 갑자기 똑똑해졌습니다. 반대로 이 부분을 빼면 똑똑해지지 않았습니다.

📝 5. 결론: 무엇을 배운 것일까?

강화학습 (RL) 은 AI 에게 "더 많이 보게 (시각 향상)" 하거나 "더 많이 생각하게 (추론 향상)" 한 것이 아닙니다.

그 대신, **"눈으로 본 것을 머리로 어떻게 해석하고 연결할지 (Vision-to-Reasoning Alignment)"**를 체계적으로 다듬어 준 것입니다.

핵심 메시지: AI 가 그림 문제를 잘 풀게 된 비결은 '눈'이나 '머리' 자체를 키운 게 아니라, 눈과 머리가 서로 대화하는 방식을 중반~후반부에서 정교하게 다듬었기 때문입니다.

이 연구는 단순히 "점수가 올랐다"는 결과만 보는 것이 아니라, AI 의 두뇌 내부에서 실제로 어떤 변화가 일어났는지를 '프랑켄슈타인'처럼 잘게 쪼개서 분석해야만 진실을 알 수 있음을 보여줍니다.

이 논문은 비전 - 언어 모델 (VLM) 의 시각적 추론 (Visual Reasoning) 능력을 향상시키기 위해 강화 학습 (RL) 이 실제로 어떤 변화를 가져오는지, 그리고 그 메커니즘이 무엇인지에 대한 심층 분석을 제시합니다. 저자들은 기존의 벤치마크 점수 향상만으로는 RL 의 실제 기여를 명확히 구분하기 어렵다는 문제의식을 바탕으로, '프랑켄슈타인 스타일 (Frankenstein-style)' 분석 프레임워크를 제안하여 모델의 내부 작동 원리를 층 (Layer) 단위로 해부하고 재조립하는 실험을 수행했습니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

현황: 최근 VLM 의 추론 능력 향상을 위해 '지도 미세 조정 (SFT) 초기화 (IN)' 후 '검증 가능한 보상을 통한 강화 학습 (RL)'을 적용하는 2 단계 파이프라인이 표준으로 자리 잡았습니다.
문제점: RL 적용 후 벤치마크 점수가 상승하는 것은 사실이지만, 이것이 시각 인식 능력 (Vision), 추론 능력 (Reasoning), 혹은 시각과 추론 간의 정렬 (Vision-to-Reasoning Alignment) 중 어떤 부분이 실제로 개선되었는지는 불분명합니다.
모호성: 단순히 추론 토큰 길이를 늘리는 것만으로는 시각적 오류가 해결되지 않으며, 오히려 언어적 편향 (Language Priors) 을 강화하여 시각적 오류를 악화시킬 수도 있습니다. 따라서 종단간 (End-to-end) 벤치마크 점수만으로는 RL 이 시각적 추론에 어떤 구체적인 기여를 하는지 파악하기 어렵습니다.

2. 방법론: 프랑켄슈타인 스타일 분석 프레임워크 (Methodology)

저자들은 모델을 기능적 영역으로 분해하고, 각 영역을 조작하여 RL 의 영향을 인과적으로 규명하는 3 단계 분석 프레임워크를 제안했습니다.

인과적 프로빙을 통한 기능적 국소화 (Functional Localization via Causal Probing):
- 모델의 각 층 (Layer) 이 시각 정보 처리와 추론 계산에 어떻게 기여하는지 파악하기 위해 개입 (Intervention) 실험을 수행했습니다.
- 시각 기능: 시각 토큰을 교체 (Swapping) 하여 모델의 예측이 변하는지 확인. 결과: 단순 인식은 초기 층 (Early), OCR/객체 인식/카운팅 등 고차원 시각 처리는 중간 층 (Mid) 에서 주로 처리됨.
- 추론 기능: 특정 층을 생략 (Layer Skipping) 하여 추론 성능 저하를 측정. 결과: 복잡한 수학적 추론은 주로 후기 층 (Late) 에서 집중적으로 수행됨.
- 이를 바탕으로 모델을 Early, Mid, Late 영역으로 기능적으로 구분했습니다.
파라미터 비교를 통한 업데이트 특성화 (Update Characterization via Parameter Comparison):
- IN 모델과 RL 모델 간의 파라미터 업데이트 ( $\Delta W$ ) 를 층별로 비교했습니다.
- 업데이트 에너지 (Energy): IN 과 RL 모두 중간 층에서 업데이트 크기가 큽니다.
- 업데이트 다양성 (Diversity): RL 은 중간 - 후기 층 (Mid-Late) 에서 업데이트의 스펙트럼이 더 가파르게 감소합니다. 이는 RL 이 특정 주된 방향 (Dominant directions) 으로 집중된 정교한 미세 조정 (Refinement) 을 수행함을 의미합니다.
모델 병합을 통한 전이성 테스트 (Transferability Test via Model Merging):
- IN 모델과 RL 모델의 파라미터를 층 영역 (Early, Mid, Late) 단위로 섞어 하이브리드 모델을 생성했습니다.
- 실험: RL 로 정제된 (Refined) 중간 - 후기 층을 IN 모델에 이식했을 때 성능이 어떻게 변하는지 확인했습니다.
- 결과: RL 의 중간 - 후기 층을 포함하는 모델은 시각 - 추론 정렬 및 추론 성능에서 일관된 개선을 보였습니다.
필요성 검증 (Necessity Validation via Model Freezing):
- RL 훈련 도중 특정 층 영역의 파라미터를 고정 (Freezing) 하여 RL 의 개선 효과가 해당 층의 업데이트에 의존하는지 확인했습니다.
- 결과: 후기 층 (Late) 을 고정하면 RL 의 성능 향상 효과가 크게 사라졌으나, 초기 층을 고정하는 것은 큰 영향을 미치지 않았습니다. 이는 RL 의 개선이 시각적 인식 자체의 향상보다는 중간 - 후기 층에서의 정제 과정에 필수적임을 증명합니다.

3. 주요 결과 (Key Results)

비선형적 개선: RL 은 시각 인식 능력 (Vision) 이나 순수 언어 추론 능력 (Reasoning) 을 단조롭게 향상시키지 않습니다. 오히려 벤치마크 점수 상승은 시각과 추론 간의 정렬 (Vision-to-Reasoning Alignment) 이 개선되면서 발생합니다.
주의 패턴의 변화: RL 적용 후, 추론 토큰이 시각 토큰에 주의를 기울이는 (Attention) 비율이 중간 - 후기 층에서 일관되게 증가했습니다. 이는 초기 층에서는 관찰되지 않는 현상입니다.
계층적 정제: RL 의 핵심 기여는 시각 정보를 더 잘 '보는' 것이 아니라, 이미 획득된 시각 정보를 추론 과정에 효과적으로 통합하고 정렬하는 능력을 중간 - 후기 층에서 체계적으로 다듬는 것입니다.
전이성: RL 로 학습된 중간 - 후기 층의 기능적 개선은 다른 모델 구조로 이식 (Merging) 되어도 유지되며, 이는 RL 이 학습한 것이 모듈화된 기능임을 시사합니다.

4. 기여 및 의의 (Significance)

메커니즘적 이해의 심화: 기존 연구들이 종단간 성능 지표에 의존했던 것과 달리, 이 논문은 RL 이 VLM 의 내부 구조 (Transformer Layer) 의 어느 부분에서, 어떤 방식으로 (정렬 및 정제) 변화를 일으키는지 명확히 규명했습니다.
벤치마크의 한계 지적: 벤치마크 점수 상승이 반드시 모델의 '시각 능력' 향상을 의미하지는 않으며, '시각 - 추론 정렬'의 개선일 수 있음을 보여주어, 향후 VLM 평가 지표의 정교화가 필요함을 강조했습니다.
효율적인 학습 전략 제안: RL 의 핵심 기여가 초기 시각 인식이 아닌 추론 단계의 정렬에 있음을 밝힘으로써, 향후 VLM 의 추론 능력 향상을 위해 중간 - 후기 층의 최적화에 집중하거나, 해당 영역의 파라미터를 효율적으로 활용하는 전략 (예: 모델 병합, 부분 학습) 에 대한 통찰을 제공합니다.

요약하자면, 이 논문은 RL 이 VLM 의 시각적 추론 능력을 향상시키는 핵심 메커니즘이 **"시각 인식 능력의 직접적인 향상"이 아니라, "중간 - 후기 층에서 이루어지는 시각 정보와 추론 과정 간의 정렬 (Alignment) 및 정제 (Refinement)"**임을 '프랑켄슈타인 스타일'의 실험을 통해 증명했습니다.