🤖 AI

Scalable Visual Pretraining for Language Intelligence

이 논문은 그림과 레이아웃 같은 풍부한 정보를 보존하는 가공되지 않은 시각적 문서에 대한 비지도 시각적 사전 학습이 텍스트 전용 방식보다 일관되게 우수한 성능을 보이며 향상된 언어 지능을 위한 확장 가능한 경로를 제공한다는 점을 입증함으로써, 파운데이션 모델 사전 학습의 텍스트 전용 패러다임에 도전한다.

원저자: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yiming Zhang, Zhonghan Zhao, Wenwei Zhang, Haiteng Zhao, Tianyang Lin, Yunhua Zhou, Demin Song, Kuikun Liu, Haochen Ye, Haian Huang, Yuzhe Gu, Haijun Lv, Qipeng Guo, Bin Liu, Gaoang Wang, Kai Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 세상을 이해하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 표준적인 레시피는 산더미 같은 책, 기사, 웹사이트를 로봇에게 먹이는 것이었지만, 한 가지 조건이 있었습니다. 로봇이 읽기 전에 인간(또는 컴퓨터)이 모든 그림, 구불구불한 수학 기호, 차트, 그리고 화려한 페이지 레이아웃을 제거하여, 모든 것을 평범하고 지루한 텍스트로 바꾸어 놓는 것입니다. 이것은 마치 누군가에게 케이크를 굽는 법을 가르치기 위해 완성된 케이크의 사진, 믹싱 볼의 도해, 오븐 온도가 어떻게 변하는지를 보여주는 알록달록한 그래프는 모두 버린 채, 냅킨에 적힌 재료 목록만 주는 것과 같습니다.

2026년의 한 새로운 논문은 이러한 "텍스트 전용" 접근 방식이 거대한 퍼즐의 조각 중 아주 큰 부분을 놓치고 있다고 제안합니다. 상하이와 저장성 팀이 이끄는 연구진은 문서의 시각적 부분을 버리는 것이 우리가 로봇이 진정으로 똑똑해지는 데 필요한 바로 그 단서들을 버리는 것이라고 주장합니다. 그들은 이 새로운 방법을 **시각적 사전 학습(Visual Pretraining, VP)**이라고 부르며, 이는 로봇에게 단순히 텍text 설명만을 주는 것이 아니라, 도표와 방정식이 포함된 교과서의 실제 페이지를 읽는 법을 가르치는 것과 같습니다.

거대한 발견: 보는 것이 믿는 것이며, 배우는 것이다
연구팀은 이 아이디어를 사용 가능한 가장 똑똑한 AI 모델들(Qwen이나 Llama 같은)에 테스트했습니다. 그들은 동일한 과학 문서 뭉치(물리학 논문, 수학 교과서, 기술 보고서 등)를 가져와 두 그룹으로 나누었습니다.

그룹 A (기존 방식): 모든 시각적 요소를 제거하고 페이지를 순수 텍스트로 변환했습니다.
그룹 B (새로운 방식 - VP): 페이지의 원본 이미지를 모델에 직접 입력하여, 모델이 텍스트로 변환되기 전의 도표, 표, 레이아웃을 직접 "보게" 했습니다.

결과는 이랬습니다. 원본 이미지로 학습한 로봇(그룹 B)은 순수 텍스트로 학습한 로봇(그룹 A)보다 일관되게 더 똑똑했습니다. 실제로 까다로운 과학 및 수학 벤치마크에서 시각적 학습 모델이 더 높은 점수를 기록했습니다. 예를 들어, AIME라는 어려운 수학 테스트에서 시각적 모델은 텍스트 모델보다 훨씬 더 유의미하게 점수가 향상되었습니다. 이 논문은 복잡한 페이지를 텍스트 문자열로 변환하는 "손실이 발생하는(lossy)" 과정이 실제로 어려운 문제를 해결하는 데 필요한 바로 그 정보를 삭제한다고 시사합니다.

효율성의 해킹: 적은 것으로 더 많이 하기
여기 정말 멋진 부분이 있습니다. 시각적 방법은 단순히 더 나았을 뿐만 아니라, 훨씬 더 효율적이었습니다. 텍스트 기반 모델은 이 문서들로부터 배우기 위해 약 800억 개의 텍스트 토큰을 씹어 삼켜야 했습니다. 그러나 시각적 모델은 동일하거나 더 나은 결과를 얻기 위해 약 200억 개의 시각적 토큰만을 필요로 했습니다! 이는 데이터 예산의 단 **25%**만을 사용한 것입니다!

이렇게 생각해 보세요. 만약 텍스트 모델이 모든 거리 이름과 건물 주소를 하나하나 나열하며 도시를 설명하려고 한다면 시간이 엄청나게 오래 걸릴 것입니다. 반면, 시각적 모델은 그냥 지도를 봅니다. 전체 그림을 즉시 파악하는 것이죠. 연구진은 "시각적 요소"(복잡한 도표나 방정식 등)가 많은 페이지일수록 시각적 모델의 이점이 더 커진다는 것을 발견했습니다. 차트와 공식이 가득 찬 페이지에서 시각적 모델의 우위는 거대해졌으며, 일반 텍스트 페이지에서는 두 모델이 비슷했습니다.

치트키 없이, 순수한 시각만으로
여러분은 "그들이 로봇에게 사진과 정답을 함께 보여주며 속임수를 쓴 것 아니냐"고 물을 수도 있습니다. 아닙니다. 그들은 특별한 "이미지-텍스트" 라벨이나 치트 시트를 사용하지 않았습니다. 로봇은 단지 이미지의 다음 패치를 보고 그것이 어떻게 보일지 추측하라는 명령을 받았으며, 이는 문장에서 다음 단어를 예측하는 방식과 유사합니다.

놀랍게도, 이 "단순히 보는" 학습은 로봇을 보는 것뿐만 아니라 모든 것에 대해 더 뛰어나게 만들었습니다. 로봇은 텍스트를 이해하는 능력도 더 좋아졌고, 나중에 테스트했을 때 그림과 단어를 연결하는 능력도 더 좋아졌습니다. 연구진은 로봇의 "두뇌"가 그림과 단어를 얼마나 잘 정렬하는지 측정했으며, 시각적 학습이 두 개념을 훨씬 더 긴밀하게 결합시켜, 마치 로봇이 드디어 고양이 그림과 "고양이"라는 단어가 실제로 같은 것이라는 점을 이해하게 된 것처럼 만들었다는 것을 발견했습니다.

이것이 의미하는 바 (그리고 의미하지 않는 바)
저자들은 이것이 텍스트 읽기를 대체하는 마법 지팡이가 아니라는 점을 분명히 하고 있습니다. 이미 명확하게 적혀 있는 사실을 배우는 데는 여전히 텍스트가 훌륭합니다. 하지만 레이아웃, 방정식의 형태, 도표의 위치가 결정적인 의미를 갖는 과학 문서의 경우, 시각적 접근 방식은 더 확장 가능한 새로운 길을 제시합니다.

그들은 아직 모든 것을 해결하지 못했다는 점도 인정합니다. 예를 들어, 그들의 테스트는 주로 고밀도 과학 PDF에 집중되었기 때문에, 이것이 자연의 무작위 사진이나 비디오에도 똑같이 효과적일지는 확실하지 않습니다. 하지만 복잡한 문서를 학습하는 특정한 사례에 있어서, AI에게 세상이 있는 그대로의 모습—시각적이고, 무질서하며, 도표로 가득 찬 모습—을 보게 하는 것이 진정한 지능을 여는 열쇠가 될 수 있음을 이 논문은 시사합니다. 이것은 "지도의 설명을 읽는 것"에서 "실제로 지도를 보는 것"으로의 전환입니다.

기술 요약: 언어 지능을 위한 확장 가능한 시각적 사전 학습 (Visual Pretraining)

문제 정의

현재의 거대 파운데이션 모델은 주로 방대한 텍스트 코퍼스를 활용한 사전 학습에 의존하고 있습니다. 이러한 패러다임은 학습 가능한 모든 지식이 텍스트 토큰의 선형 시퀀스로 손실 없이 인코딩될 수 있다는 암묵적인 가정을 바탕으로 작동합니다. 그러나 이 방식은 과학 문서에 존재하는 피규어(figures), 타이포그래피된 수식, 표, 페이지 수준의 공간적 레이아웃과 같은 풍부한 시각적 정보를 본질적으로 누락시킵니다. 파싱(예: HTML/LaTeX 추출 또는 OCR)을 통해 이러한 시각적 소스를 일반 텍스트로 변환하는 과정은 기하학적 제약, 기호적 위상, 구조적 대응 관계 등 과학적 추론에 필수적인 정보들을 제거하는 손실이 발생하는 과정입니다. 기존의 멀티모달 모델들은 시각적 입력을 단순히 텍스트 예측을 위한 조건부 컨텍스트로 취급할 뿐, 이를 예측 학습 목표에 깊이 있게 통합하지는 못합니다.

방법론: 시각적 사전 학습 (Visual Pretraining, VP)

저자들은 모델이 텍스트 추출이나 이미지-텍스트 쌍의 감독 없이 원시 시각 문서로부터 직접 학습하는 프레임워크인 **시각적 사전 학습 (VP)**을 제안합니다.

핵심 아키텍처 및 훈련

입력 표현: 원시 과학 문서 페이지를 이미지로 렌더링합니다. 동결된 비전 타워(vision tower)는 이 이미지들을 시각적 특징(visual features)으로 인코딩합니다.
희소 전경 추출 (Sparse Foreground Extraction): 효율성을 높이기 위해 패치 수준의 통계(픽셀 분산, 휘도)를 사용하여 빈 배경 영역(여백, 공백)을 필터링합니다. 남은 전경 패치들은 래스터 스캔 순서(raster-scan order)로 정렬되어 희소 시각 시퀀스를 형성합니다.
투영 및 예측: 희소 시각 특징들은 학습 가능한 선형 투영(linear projection)을 통해 LLM의 은닉 공간(hidden space)으로 투영됩니다. 모델은 **차기 시각 잠재값 예측 (next-visual-latent prediction)**이라는 자기회귀적 목표를 사용하여 훈련됩니다.
- 이산적인 텍스트 토큰을 대상으로 하는 표준 차기 토큰 예측과 달리, VP는 연속적인 시각 잠재값(visual latents)을 대상으로 합니다.
- 손실 함수는 현재 상태가 주어졌을 때 다음 전경 시각 잠재값 $z_{t+1}$ 을 예측하고, 배치 내 다른 패치들과 구별하도록 하는 인배치 대조 손실(in-batch contrastive loss, InfoNCE)을 활용합니다.
결합 훈련 (Joint Training): 최종 목표는 표준 텍est 차기 토큰 예측( $\mathcal{L}_{CE}$ )과 시각 잠재값 예측 손실( $\mathcal{L}_{VP}$ )을 고정된 비율에 따라 교차 결합합니다. 비전 인코더는 동결된 상태를 유지하며, 오직 LLM, 시각 투영 모듈, 그리고 예측 헤드만이 업데이트됩니다.

실험 설정

본 연구는 VP와 텍스트 사전 학습(TP) 간의 엄격히 통제된 비교를 수행합니다.

코퍼스: 두 방법 모두 동일한 기초 과학 PDF 코퍼스를 사용합니다.
표현의 차이:
- TP: PDF를 plain text로 파싱(MinerU2.5 사용)하여 약 80B의 텍스트 토큰을 생성합니다.
- VP: PDF를 이미지로 렌더링하고 이를 희소 시각 토큰으로 변환하여 약 20B의 시각 토큰을 생성합니다.
백본 (Backbones): 실험은 Qwen3.5, Qwen3, Llama 3.2 Vision, Llama 3.1을 포함한 다양한 아키텍처에서 수행됩니다.
평가: 모든 체크포인트는 평가 전 과학적 추론 및 멀티모달 벤치마크에 대해 동일한 지도 미세 조정(SFT) 과정을 거칩니다.

주요 기여

텍스트 전용 사전 학습에서의 정보 손실 입증: 본 논문은 시각 문서를 일반 텍스트로 축소하는 것이 상당한 정보 손실을 초래하며, 시각적 사전 학습이 이 버려진 정보를 복구한다는 실증적 근거를 제시합니다.
자기회귀적 시각 사전 학습 프레임워크: 저자들은 이미지-텍스트 쌍의 데이터 없이도 모델이 잠재 공간에서 문서 패치를 예측하도록 학습하는 방법을 도입하여, 시각적 잠재값을 예측 과정에 깊이 통합했습니다.
확장 가능한 텍스트 전용 사전 학습의 대안: 다양한 아키텍처와 벤치마크를 통한 통합적인 실증 연구를 통해, VP가 전통적인 텍스트 전용 사전 학습의 효과적이고 효율적이며 확장 가능한 대안임을 입증했습니다.

결과

1. 과학적 추론에서의 효과성

VP는 네이티브 멀티모달 모델과 언어 전용 모델 모두에서 과학적 추론 벤치마크(MMLU-Pro, GPQA, AIME-25, HLE)에 대해 TP보다 일관되게 우수한 성능을 보였습니다.

성능 향상: Qwen 3.5 백본에서 VP는 GPQA Diamond 점수를 76.24에서 79.29로(+3.05), MMLU-Pro를 83.91에서 85.09로 향상시켰습니다.
아키텍처 불가지론 (Architecture Agnostic): 모든 테스트된 백본에서 개선이 관찰되었으며, 이는 이 이점이 특정 아키텍처에 국한되지 않음을 나타냅니다.
추론 vs 지식: 성능 향상은 기하학적 도형 및 도식에 대한 지식이 필요한 벤치마크(GPQA, MMLU-Pro)에서 가장 두드러졌으며, 복잡한 다단계 추론에 집중된 HLE에서의 개선은 미미했습니다. 이는 VP가 특히 시각적-구조적 지식을 복구한다는 것을 시사합니다.

2. 확장성 및 효율성

토큰 효율성: VP는 TP와 비교했을 때 단 25%의 토큰 예산만을 소비하면서도(동일 코퍼스 기준 20B 시각 토큰 vs 80B 텍스트 토큰) 더 우수한 다운스트림 성능을 달성합니다.
스케일링 법칙 (Scaling Laws): 훈련이 진행됨에 따라 VP는 TP 대비 지속적으로 증가하는 정규화된 이득(예: AIME-25에서 2.88배)을 보여줍니다.
구조 밀도: VP의 이점은 시각적 구조 밀도와 강한 상관관계를 갖습니다. 피규어, 수식, 표가 풍부한 페이지에서는 VP가 TP를 크게 앞지르는 반면, 텍스트 중심의 페이지에서는 성능이 유사하게 나타납니다.

3. 교차 모달 정렬 및 전이

명시적인 이미지-텍스트 쌍 없이 라벨링되지 않은 원시 문서로 훈련되었음에도 불구하고:

정렬: VP는 교차 모달 정렬을 크게 개선합니다. 시각 임베딩과 텍스트 임베딩 사이의 중심점 거리(Centroid separation)는 1.665에서 0.661로 감소하고, 코사인 유사도는 0.631에서 0.907로 상승합니다.
멀티모달 벤치마크: VP 모델은 멀티모달 벤치마크(MMMU-Pro, ChartQAPro, MathVista)에서 베이스 및 TP 모델보다 뛰어난 성능을 보입니다. 특히, TP는 시각적 비중이 높은 벤치마크(예: ChartQAPro)에서 성능이 저하되는 경우가 있는 반면, VP는 상당한 이득(예: ChartQAPro에서 +5.4)을 얻었습니다.
메커니즘: 어텐션 맵 분석 결과, VP의 시각적 추론은 텍스트 추론과 동일한 의미론적 증거(제약 조건, 계산 단계)에 주목하는 것으로 나타났으며, 이는 모델이 추론에 유의미한 시각적 단서를 추출하는 법을 배운다는 것을 시사합니다.

의의 및 주장

본 논문은 시각적 사전 학습이 언어와 시각 지능을 모두 학습하기 위한 확장 가능한 경로라고 주장합니다. 이는 언어 모델이 텍스트 전용 표현으로만 훈련되어야 한다는 기본 가정에 도전합니다.

보완적 관계, 대체가 아님: 저자들은 VP를 텍스트 사전 학습의 대체재가 아니라, 모델이 텍스트 노출을 유지하면서 과학 문서의 고유한 시각적 형태로부터 학습할 수 있게 하는 보완적인 목표로 규정합니다.
효율성: 이 프레임워크는 파운데이션 모델이 (텍스트 토큰 수의 25%에 불과한) 고도로 압축된 시각 코퍼스를 통해 텍스트 사전 학습 모델의 성능을 달성하거나 능가할 수 있음을 보여줍니다.
향ers 방향: 이 연구는 시각적 잠재값 예측이 고밀도 시각 코퍼스(차트, 공식, 레이아웃)를 위한 효과적인 사전 학습 목표가 될 수 있음을 시사하며, 경량화된 텍스트 정렬을 통해 대규모 시각 스트림으로부터 주로 학습하는 파운데이션 모델을 향한 길을 열어줍니다.

저자들은 자신들의 접근 방식이 텍스트 사전 학습에 기반을 두고 있으며, 관찰된 이득은 시각적 사전 학습이 파운데이션 모델의 능력을 완전히 독립적인 체제로 운영하기보다는 보완하고 확장한다는 증거로 간주되어야 한다고 언급하며 겸허한 태도를 유지합니다. 또한, 이러한 방식이 더 넓은 시각 코퍼스(예: 자연 이미지나 비디오)로 전이될 수 있는지 여부는 여전히 미해결 과제로 남아 있음을 인정합니다.