💻 computer science

Generation as Auxiliary Supervision: Enhancing Visual Understanding at Zero Inference Overhead via Decoupled Embedding Prediction

이 논문은 최종 추론 구조를 손상시키지 않으면서 차기 임베딩 예측(Next Embedding Prediction)을 보조 감독 신호로 사용하는 분리된 생성 브랜치를 통해 공유된 시각적 표현을 정교화함으로써, 멀티모달 거대 언어 모델의 제로 추론 오버헤드 시각적 이해를 향상시키는 훈련 프레임워크인 GAS를 소개한다.

원저자: Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zhongbin Guo, Jiahao Xie, Dongling Xiao, Qianle Wang, Ruiqi Lu, Xiaomin He, Wanxuan Sun, Cheng Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 한 명의 천재적인 학생에게 복잡한 그림을 이해하는 법을 가르치고 있다고 상상해 보십시오. 전통적인 방식이라면, 당신은 그 학생에게 그림을 보여주고 그것에 대해 서술하라고 할 것입니다. 그러면 학생은 그림에 대해 말하는 법을 배우겠지만, 실제로 그림을 '그려야' 할 필요는 없습니다. 이것이 오늘날 대부분의 '멀티모벨 거대 언어 모델(MLLMs)'이 작동하는 방식입니다. 이 모델들은 이미지를 설명하고, 질문에 답하고, 이미지를 바탕으로 퍼즐을 푸는 데 매우 뛰어납니다. 하지만 이미지를 오직 '말하는 것'만 학습하기 때문에, 때때로 아주 미세하고 정밀한 디테일—예를 들어 특정 물체가 정확히 어디에 있는지, 혹은 군중 속에 얼마나 많은 아이템이 숨겨져 있는지와 같은 것들—을 놓치곤 합니다. 이들은 '전반적인 맥락'은 파악하지만, 세부 사항에서는 실수를 할 수 있습니다.

이제 다른 접근 방식을 상상해 보십시오. 만약 그들의 이해를 돕기 위해, 그림을 설명하는 것뿐만 아니라 그림을 '재현'하도록도 요구한다면 어떨까요? 이는 엄청난 추가 작업처럼 느껴질 수 있고, 그림을 그리려는 시도가 오히려 이미지를 설명하는 법을 배우는 데 방해가 되지 않을까 걱정될 수도 있습니다. 하지만 만약 당신이 '그리는 행위'를 순수하게 비밀스러운 훈련 과정으로 사용할 수 있다면 어떨까요? 당신은 학생이 그림을 제대로 그리기 위해 모든 픽셀과 공간적 관계에 주의를 기울이도록 강제할 수 있지만, 일단 훈련이 끝나면 그리는 도구를 통째로 버릴 수 있습니다. 학생은 그림 그리기 연습을 통해 얻은 배움을 바탕으로, 훨씬 더 강력해진 이미지 이해 능력을 갖게 될 것이지만, 다시는 그림을 그릴 필요가 없게 됩니다. 이것이 바로 GAS(Generation as Auxiliary Supervision, 보조 감독으로서의 생성)라고 불리는 새로운 방법론의 핵심 아이디어입니다.

문제점: 말하기 vs 보기

현재의 AI 모델들은 붓을 한 번도 잡아본 적 없는 미술 비평가와 같습니다. 이들은 이미지에 대한 문장에서 다음에 올 단어를 예측하도록 훈련됩니다. 이 방식은 모델을 대화에는 능숙하게 만들지만, 시각적 측면에는 공백을 남깁니다. 이들에게는 정확한 형태, 경계, 혹은 공간적 관계와 같은 시각적 디테일에 대한 직접적인 '근육 기억'이 없습니다. 논문은 우리가 오직 '말하기'만을 훈련함으로써, 막대한 양의 시각적 학습 기회를 놓치고 있다고 주장합니다. 이를 해결하기 위해 말하기도 하고 그리기도 하는 모델(통합 모델)을 만들려는 이전의 시도들은, '그리기' 부분이 너무 무거워 모델을 느리게 만들거나, 혹은 그들이 사용하는 '디지털 픽셀'의 방식이 사고 방식과 일치하지 않아 개선 대신 혼란을 야기했기 때문에 실패하는 경우가 많았습니다.

해결책: "유령" 드로잉 클래스

GAS의 연구진은 영리한 트릭을 고안해 냈습니다. 그들은 AI가 일반적인 업무를 수행하는 동시에 '그리기'(더 정확하게는 이미지의 디지털 표현의 다음 조각을 예측하는 것)를 학습하는 특수한 훈련 프레임워크를 구축했습니다.

연구진은 이를 2층짜리 집의 비유를 들어 설명했습니다:

공유된 기초 (Trunk): '이해'를 담당하는 AI와 '그리기'를 담당하는 AI는 동일한 아래층을 공유합니다. 이곳은 가공되지 않은 시각 정보가 처리되는 곳입니다.
분리 (MoT 구조): 정보가 계단을 타고 올라감에 따라 집은 갈라집니다. 한 경로는 '이해'의 방(AI가 질문에 답하는 곳)으로 이어지고, 다른 경로는 평행하게 '그리기'의 방으로 이어집니다.
비밀 무기 (NEP): 그리기 방에서 AI는 갤러리에 전시할 예쁜 그림을 그리려는 것이 아닙니다. 대신, **다음 임베딩 예측(Next Embedding Prediction, NEP)**이라는 기술을 사용합니다. 이것은 AI가 받은 지침을 바탕으로 이미지를 구성하는 다음 '디지털 레고 블록'이 무엇인지 추측하는 과정이라고 생각하면 됩니다. AI는 예술가가 되려는 것이 아니라, 시각적 데이터의 정밀한 설계자가 되려는 것입니다.
마법 같은 전이: 이러한 정밀한 시각적 블록들을 예측하려는 행위는 공유된 기초(아래층)가 믿을 수 없을 만큼 상세하고 날카로워지도록 강제합니다. 이를 통해 모델은 이전보다 훨씬 더 잘 시각 정보를 유지하는 법을 배웁니다.
오버헤드가 없는 반전: 이 부분이 가장 핵심입니다. 훈련이 끝나면 '그리기' 방 전체를 철거합니다. AI는 학습한 매우 날카로운 기초는 그대로 유지하지만, 더 이상 그림을 그리기 위한 방이나 도구는 갖지 않습니다. 나중에 당신이 질문을 던지면, AI는 이전만큼 빠르게 답변하면서도 훨씬 더 뛰어난 시각 능력을 보여줍니다. 논문은 이것이 **제로 오버헤드(Zero-overhead)**임을 확인했습니다. 즉, AI를 더 느리게 만들거나 무겁게 만들지 않는다는 뜻입니다.

연구 결과

연구팀은 20억(2B) 및 40억(4B) 개의 파라미터를 가진 모델을 대상으로 테스트를 진행했습니다. 그들은 단순히 추측한 것이 아니라, 이 '그리기 연습'이 실제로 '이해' 능력에 도움이 되는지 확인하기 위해 광범-한 실험을 수행했습니다.

디테일에 강해짐: GAS로 훈련된 모델은 개수를 세거나, 공간적 관계(예: "램프가 TV보다 가까운가?")를 파악하거나, 복잡한 도표를 이해하는 것과 같이 정밀한 시각 능력이 필요한 작업에서 유의미하게 향상되었습니다. 예를 들어, 카운팅 테스트에서 2B 모델은 87.7에서 90.1로, 4B 모델은 90.8에 도달했습니다.
모든 단계에서 작동함: 연구진은 갓 태어난 모델, 이미 사전 훈련된 모델, 그리고 이미 미세 조정(fine-tuning)된 모델 등 다양한 단계의 AI 모델에 이 방식을 적용해 보았습니다. 모든 경우에서 '그리기 연습'은 도움이 되었습니다. 특히 완전히 새로운 모델에서 가장 효과적이었지만, 이미 똑똑한 모델들도 성능 향상을 경험했습니다.
모든 그리기가 똑같은 것은 아님: 연구진은 '그리기 작업'의 유형이 중요하다는 것을 발견했습니다. 단순히 AI에게 "고양이를 그려라"라고 하는 것은 큰 도움이 되지 않았습니다. 하지만 "이미지의 이 특정 부분을 분할하라"라거나 "논리적 근 reason에 기반하여 이 물체를 수정하라"와 같이 복잡한 지침에 따라 그리도록 요청했을 때, AI는 깊이 사고하게 되었고 이것이 이해 능력을 진정으로 강화했습니다. 이러한 '인지적' 드로잉 작업이 이해력을 극대화하는 핵심이었습니다.
"유령" 브랜치의 중요성: 연구진은 만약 그들이 특수한 'Mixture-of-Transformers' 설계를 통해 그리기 경로와 이해 경로를 분리하지 않았다면, AI의 이해 능력이 오히려 저하되었을 것임을 증명했습니다. 그리기 작업이 AI를 혼란스럽게 만들었기 때문입니다. 시각적 학습이 사고 과정을 방해하지 않으면서 기초에 스며들게 하려면 이 분리가 필수적이었습니다.

왜 중요한가

이 논문은 더 나은 시각 능력을 얻기 위해 반드시 말하고 그릴 수 있는 거대하고 느린 AI 시스템을 구축할 필요는 없다고 제안합니다. 대신, 우리는 '생성'의 과정을 비밀스러운 훈련 도구로 사용할 수 있습니다. 훈련 중에 특정 구조화된 방식으로 시각적 디테일을 예측하도록 강제함으로써, 우리는 AI가 더 빠른 속도를 유지하면서도 훨씬 더 예리한 눈을 갖게 할 수 있습니다.

연구진은 이 방식이 다양한 모델 크기와 훈련 단계에서 작동한다는 것을 발견했으며, 이는 시각적 지능을 높이는 신뢰할 수 있는 방법임을 시사합니다. 또한, 이 방식이 텍스트 기반의 추론 능력을 잃게 하지 않았으며, 오히려 약간 향상시켰다는 점도 보여주었습니다. 결론적으로, 이 논문은 생성 가이드 훈련(generation-guided training)이 AI를 더 '느리게' 만들지 않으면서도 더 강력한 멀티모달 이해력을 갖추게 하는 실용적이고 효율적인 경로임을 입증했습니다.

기술 요약: GAS (Generation as Auxiliary Supervision)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시각적 입력을 텍스트 토큰으로 인코딩하여 자기회귀적 추론(captioning, VQA 등)을 수행함으로써 시각적 이해 작업에서 상당한 성공을 거두었습니다. 그러나 이 패러다임은 **텍스트 전용 감독(Next Token Prediction)**에만 의존하며, 이는 두 가지 결정적인 한계를 초래합니다:

표현력의 병목 현상 (Expressiveness Bottleneck): 자연어는 정확한 공간 관계, 픽셀 수준의 경계, 또는 물리적 역동성과 같은 미세한 시각적 세부 사항을 정밀하게 인코딩할 수 없습니다. 결과적으로, 더 깊은 LLM 레이어에서의 시각적 표현은 감쇄되어 기하학적 및 구조적 정보를 상실하는 경우가 많습니다.
미활용 데이터 (Underutilized Data): 기존 아키텍처는 시각적으로 집약적인 데이터(예: 세그멘테이션 마스크, 이미지 편집)를 훈련에 효과적으로 소비할 수 없으므로, 미세한 감독을 제공할 수 있는 방대한 저장소를 포기하게 됩니다.

통합 멀티모달 모델(UMM)은 이해와 생성을 공동으로 훈련하려고 시도하지만, 다음과 같은 해결되지 않은 갈등에 직면합니다:

추론 오버헤드 (Inference Overhead): 대부분의 UMM은 추론 시 생성 파라미터를 유지하므로 지연 시간과 메모리 비용이 발생합니다.
목적 함수의 충돌 (Objective Conflict): UMM의 생성 목적 함수는 종종 이해를 위한 것보다 합성 품질에 최적화되어 있어, 상충하는 최적화 압력으로 인해 이해 작업의 성능 정체나 저하를 초래합니다.
메커니즘의 부재 (Lack of Mechanism): 기존 연구들은 종종 총체적인 이득만을 보고할 뿐, 생성이 어떻게 이해에 도움을 주는지 또는 어떤 중간 표현이 그러한 감독에 가장 적합한지에 대해서는 명확히 밝히지 못합니다.

방법론: GAS 프레임워크

저자들은 **GAS (Generation as Auxiliary Supervision)**를 제안합니다. 이 프레임워크는 시각적 생성을 배포 목표가 아니라, 시각적 표현을 풍부하게 하기 위한 **보조적 감독(auxiliary supervision)**으로 재해석합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 차세대 임베딩 예측 (Next Embedding Prediction, NEP)

불연속적인 시각적 토큰화나 확산(diffusion) 목적 함수(서로 분리된 표현 공간을 생성함)를 사용하는 대신, GAS는 생성을 LLM 백본이 소비하는 것과 동일한 표현 공간 내에서 연속적인 시각적 임베딩의 자기회귀적 예측으로 공식화합니다.

대상: 모델은 동결된 Vision Transformer (ViT)와 시각-언어 프로젝터로부터 유도된 타겟 이미지 임베딩( $z_{tgt}$ )을 예측합니다.
손실 함수: 생성 손실은 예측된 임베딩과 실제 임베딩 사이의 코사인 거리를 계산하며, 실사 픽셀 합성보다는 구조적 표현의 풍부화에 우선순위를 둡니다.
안정화: 프로젝터 가중치의 지수 이동 평균(EMA)을 사용하여 안정적인 타겟 임베딩을 생성함으로써, 공동 훈련 중 발생하는 감독 드리프트(supervision drift)를 방지합니다.

2. Mixture-of-Transformers (MoT) 아키텍처

생성 및 이해 목적 사이의 충돌을 해결하기 위해, GAS는 분리된 아키텍처를 채택합니다:

공유 트렁크 (Shared Trunk): 모델의 하위 레이어(분할 레이어 $l_{split}$ 까지)는 이해 브랜치와 생성 브랜치 간에 공유됩니다.
병렬 브랜치 (Parallel Branches):
- 이해 브랜치 (Understanding Branch): 상위 레이어를 통해 계속 진행되며, 텍스트 교차 엔트로피 손실에 의해서만 최적화됩니다.
- 생성 브랜치 (Generation Branch): 백본으로부터 초기화된 독립적인 트랜스포머 레이어로 구성되며, NEP 손실에 의해서만 최적화됩니다.
메커니즘: 생성 손실로부터 오는 그래디언트가 공유 트렁크를 통해 역전파되어, 미세한 시각적 세부 사항을 포함하도록 중간 은닉 상태( $H_{l_{split}}$ )를 정교화합니다. 이렇게 풍부해진 상태는 상위 이해 레이어로 전달되며, 이 레이어들은 생성 그래디언트에 의해 직접적으로 교란되지 않으면서 이러한 특징을 활용하도록 적응합니다.
제로 추론 오버헤드 (Zero Inference Overhead): 결정적으로, 전체 생성 브랜치(파라미터 및 비전 헤드)는 훈련 후 폐기됩니다. 배포되는 모델은 표준 이해 전용 MLLM과 동일한 아키텍처 및 비용을 가집니다.

3. 체계적인 데이터 구축

저자들은 자동화된, 어노테이션이 필요 없는 파이프라인을 통해 생성된 5개 카테고리 및 15개 서브태스크에 걸친 약 1,000만 개의 생성 샘 샘플 데이터셋을 구축했습니다:

카테고리: Grounding, Segmentation, Image Editing, Visual Chain-of-Thought (Visual-CoT), 그리고 Text-to-Image (T2I).
설계 원칙: 태스크는 이해 능력과의 **잠재적 인지 의존성(latent cognitive dependency)**을 기준으로 선택되었습니다. 예를 들어, Visual-CoT는 추론을 뒷받침하기 위한 중간 시각적 증거를 생성해야 하므로, 텍스트 전용 훈련에서는 놓치기 쉬운 정밀한 공간 및 논리 능력을 모델이 발달시키도록 강제합니다.
파이프라인: Open-vocabulary 태깅 (RAM++), 탐지 (Grounding DINO), 그리고 LLM 기반 인스트럭션 합성을 사용하여 수동 어노테이션 없이 고품질의 난이도 조절된 데이터를 생성합니다.

주요 기여

제로-오버헤드 전이 (Zero-Overhead Transfer): 연속적인 NEP 감독과 제거 가능한 MoT 생성 브랜치의 결적인 조합을 통해, 생성 학습을 엄격하게 제로 추론 오버헤드로 배포 모델에 전이할 수 있습니다.
태스크 상관관계 가설 (Task Correlation Hypothesis): 본 논문은 이해 능력과 잠재적 상관관계가 더 강한 생성 태스크(예: grounding, segmentation)가 가장 큰 이득을 준다는 것을 입증합니다. 다양한 태스크를 결합하면 특히 인지(perception) 및 카운팅 벤치마크에서 상호 보완적인 개선을 제공합니다.
체계적 분석: 광범에한 절제 실험(ablation)과 표현 수준의 진단을 통해, 언제 그리고 왜 생성이 도움이 되는지를 명확히 합니다:
- 이는 모든 훈련 단계(처음부터 학습, 사전 훈련, SFT)에서 유익합니다.
- 특정 아키텍처 격리(MoT)와 목적 설계(NEP)가 필요합니다. 단순히 생성 데이터를 추가하거나 공유 백본을 사용하는 것은 성능을 저하시킵니다.
- 이는 시각 정보 유지를 강화하고, 태스크 관련 영역에 대한 **주의 메커니즘(attention mechanism)**을 날카롭게 만듭니다.

결과

2B 및 4B 파라미터 백본(Qwen3-VL 기반)에서 평가했을 때, GAS는 이해 전용 베이스라인 대비 일관된 개선을 보여줍니다:

공간 및 카운팅 (Spatial & Counting): Grounding 및 Segmentation 태스크 덕분에 CountBenchQA(예: 2B 규모에서 +2.4 포인트) 및 CV-Bench에서 상당한 이득을 얻었습니다.
추론 (Reasoning): Visual-CoT 및 편집 태스크와 연계되어 MathVista, DynaMath, Visu logic에서 개선을 보였습니다.
일반화 (Generalization): GAS는 더 작은 파라미터 수와 제로 추론 비용을 유지하면서도 여러 벤치마크에서 더 큰 통합 모델(예: BAGEL 7B+7B, Emu3 8B)과 대등하거나 능가하는 성능을 보입니다.
텍스트 추론 (Text Reasoning): 본 프레임워크는 순수 텍스트 추론 능력(ZebraLogic, MMLU-Redux)을 보존하거나 약간 향상시켜, 생성 감독이 언어 추론을 침식하지 않음을 보여줍니다.

의의 및 주장

본 논문은 생성 가이드 훈련이 통합 모델의 배포 페널티 없이 더 강력한 멀티모달 이해를 달로 하는 실질적인 경로라고 주장합니다. 주요 의의는 다음과 같습니다:

훈련과 추론의 분리: 생성이 요구되는 기능이 아니라, 시각적 표현을 정교화하기 위한 순수한 훈련 시의 정규화 도구로 기능할 수 있음을 증명했습니다.
메커니즘적 통찰: 이득이 단순히 데이터 양의 증가가 아니라, 풍부해진 공간적 표현과 깊은 레이어에서의 정보 유지 개선에서 비롯된다는 증거를 제공합니다.
확장성: 자동화된, 어노테이션이 필요 없는 데이터 합성이 어떻게 이해를 개선하기 위해 생성 태스크를 효과적으로 확장할 수 있는지 보여주며, 추론 효율성을 해치지 않고 방대한 시각적 데이터를 활용할 수 있는 미래의 MLLM 개발 청사진을 제시합니다.

저자들은 생성과 이해 목적이 충돌할 수 있지만, 정교하게 설계된 보조 감독 프레임워크(GAS)를 통해 전자를 활용하여 후자를 크게 향상시킬 수 있으며, 이를 통해 표준 텍_생성 모델의 효율성으로 최첨단 시각적 이해를 달성할 수 있다고 결론짓습니다.