VisionPangu: A Compact and Fine-Grained Multimodal Assistant with 1.7B Parameters

이 논문은 DOCCI 데이터셋의 고밀도 인간 작성 설명과 효율적인 멀티모달 정렬을 통해 17 억 파라미터 규모의 소형 모델임에도 불구하고 상세하고 구조화된 이미지 캡션을 생성할 수 있는 'VisionPangu'를 제안합니다.

핵심

비전판구 (VisionPangu): 작은 몸집에 큰 재능을 가진 '세밀한 그림 설명가'

이 논문은 **"작은 인공지능도 잘 가르치면 거인 못지않게 섬세한 그림 설명을 할 수 있다"**는 것을 보여줍니다. 보통 인공지능이 똑똑해지려면 몸집 (파라미터) 을 엄청나게 키워야 한다고 생각하지만, 이 연구는 몸집은 작게 유지하되 '교육 방식'과 '교과서'를 바꾸는 것으로 해결책을 제시합니다.

상상력을 발휘해서 이해하기 쉽게 설명해 드릴게요.

---

1. 문제: 거인들은 "대충"만 봅니다

지금까지의 거대한 인공지능 (LMM) 들은 마치 거대한 도서관 같습니다. 책이 수백만 권이나 있어서 어떤 질문이든 대답할 수는 있지만, 그림을 설명할 때는 "이건 개고, 저건 나무야" 정도로만 대충 말합니다. 너무 거시적으로 보기 때문에, 개가 어떤 표정을 짓고 있는지, 나무 잎사귀가 어떻게 흔들리는지 같은 세밀한 디테일은 놓치기 쉽습니다.

2. 해결책: 비전판구 (VisionPangu) 의 등장

저자들은 **"거대한 도서관이 아니라, 그림에 대한 해설을 잘하는 '작은 가이드'를 만들자"**고 생각했습니다.

• 몸집: 17 억 개의 파라미터 (약 1.7B) 만 사용합니다. 거대 모델들에 비하면 작은 배낭 하나 정도 크기에 불과합니다.
• 목표: 그림을 보고 "이건 개"라고만 말하는 게 아니라, **"이 개는 노란색 목걸이를 하고 있고, 귀를 쫑긋 세운 채로 주인을 기다리며 꼬리를 흔들고 있어요"**처럼 세밀하고 긴 이야기를 만들어내는 것입니다.

3. 어떻게 그렇게 똑똑하게 만들었을까? (핵심 기술)

이 모델은 세 가지 재료를 섞어 만든 특별한 요리와 같습니다.

① 눈 (Vision Encoder): "고해상도 안경"

기존의 거대 모델들이 안경을 쓰고 그림을 볼 때, 마치 모자이크처럼 조각조각만 보는 경향이 있었습니다. 하지만 비전판구는 InternVL이라는 기술에서 영감을 받아, 마치 고해상도 현미경을 쓴 것처럼 그림의 작은 부분까지 선명하게 포착합니다.

② 입 (Language Model): "작지만 유창한 화가"

그림을 본 내용을 말로 바꾸는 역할은 OpenPangu라는 언어 모델이 합니다. 이 모델은 몸집은 작지만 (10 억 파라미터), 명령을 잘 따르는 훈련을 받아서, 눈이 본 것을 아주 자연스럽게 이야기로 풀어냅니다.

③ 다리 (MLP Projector): "통역사"

눈 (시각) 과 입 (언어) 은 서로 다른 언어를 씁니다. 이 두 가지를 연결해 주는 **통역사 (MLP)**가 있어서, 눈이 본 "고해상도 이미지"를 입이 이해할 수 있는 "아름다운 문장"으로 바꿔줍니다.

4. 가장 중요한 비밀: "진짜 사람이 쓴 해설서" (DOCCI 데이터)

이 모델이 다른 모델들과 다른 가장 큰 이유는 공부한 책 때문입니다.

• 기존 모델들: "개, 나무, 하늘" 같은 짧은 단어 나열로만 공부했습니다. (마치 요약본만 읽은 것)
• 비전판구: DOCCI라는 데이터셋을 사용했습니다. 이 데이터셋은 실제 인간이 그림을 보고 쓴 긴 에세이처럼, 그림의 연결고리와 감정을 담아낸 상세한 해설서입니다.

비유하자면:
다른 모델들이 그림을 보고 "이건 사과"라고 외운다면, 비전판구는 "이 사과가 햇빛을 받아 반짝이고, 옆에 있는 나뭇잎과 함께 가을의 정취를 느끼게 한다"는 식으로 이야기하는 법을 배웠습니다.

5. 실험 결과: 작은 몸집이 거인을 이겼다!

연구진은 이 모델을 여러 테스트에 시켰습니다.

• 일반적인 지능 테스트: 거대 모델들과 비교해도 뒤처지지 않는 훌륭한 성적을 냈습니다.
• 세밀한 그림 설명 테스트: 여기서 비전판구의 진가가 드러났습니다. 다른 모델들이 "개와 사람"이라고만 썼다면, 비전판구는 **"개와 사람이 공원에서 산책하며 웃고 있다"**는 식으로 BLEU, METEOR, ROUGE-L이라는 점수에서 압도적인 1 위를 차지했습니다.

6. 결론: "크기"보다 "교육"이 중요하다

이 논문이 우리에게 주는 메시지는 명확합니다.

"인공지능을 거대하게 키우는 것만 능사가 아니다. 작은 모델이라도 '잘 짜인 커리큘럼 (LLaVA-NeXT)'과 '진짜 인간이 쓴 상세한 해설 (DOCCI)'로 가르치면, 거대 모델 못지않게 섬세하고 아름다운 설명을 할 수 있다."

마치 작은 책상 위에 앉아 진지하게 공부한 학생이, 방대한 자료를 무작정 뒤적이는 거인보다 더 깊이 있는 통찰을 보여주는 것과 같습니다.

이 기술은 앞으로 시각 장애인에게 그림을 생생하게 설명해 주거나, 예술 작품을 깊이 있게 분석하는 등 다양한 분야에서 실용적으로 쓰일 수 있을 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

대형 멀티모달 모델 (LMM) 은 시 - 언어 이해 분야에서 뛰어난 성과를 거두었으나, 다음과 같은 한계를 가지고 있습니다:

• 과도한 모델 규모: 많은 기존 접근법이 대규모 아키텍처에 의존하여 계산 비용이 높습니다.
• 세부 정보 부족: 기존 모델들은 주로 거시적인 이미지 - 텍스트 감독 (coarse supervision) 에 의존하여, 복잡한 장면의 세부적인 구조나 의미론적 관계를 포착하는 세부 이미지 캡션 (detailed image captioning) 생성 능력이 부족합니다.
• 표면적 정렬: 시각 토큰과 언어 표현 간의 정렬이 얕아 (shallow alignment), 장문의 설명이나 정교한 시각적 내러티브를 생성하는 데 어려움을 겪습니다.

이 논문은 17 억 (1.7B) 파라미터라는 컴팩트한 규모에서도 고품질의 세부 이미지 캡션을 생성할 수 있는 모델을 제안하여, 모델의 크기 확장 (scaling) 에만 의존하지 않는 효율적인 해결책을 모색합니다.

2. 방법론 (Methodology)

VisionPangu 는 효율적인 멀티모달 정렬과 고품질 감독을 통해 세부 설명 능력을 극대화하도록 설계되었습니다.

A. 모델 아키텍처

• 비전 인코더 (Vision Encoder): InternVL3-2B 프레임워크에서 파생된 비전 인코더를 사용합니다. 사전 학습된 ViT(Visual Transformer) 백본을 분리하여 세부 시각 표현과 밀집된 의미 지각을 위해 추가 미세 조정 (fine-tuning) 을 거쳤습니다. 이는 기존 LLaVA 에서 사용하는 CLIP ViT-L/14 보다 국소적 시각 구조와 고해상도 단서를 더 잘 보존합니다.
• 언어 백본 (Language Backbone): OpenPangu-Embedded-1B를 사용합니다. 이는 경량화된 디코더 전용 트랜스포머로, 효율적인 추론과 강력한 지시 따르기 (instruction-following) 능력을 제공합니다.
• 프로젝션 레이어 (Projection Layer): 비전 특징과 언어 임베딩 간의 간극을 메우기 위해 단일 선형 레이어 대신 경량 MLP(다층 퍼셉트론) 프로젝터를 사용하여 richer 한 교차 모달 특징 변환을 수행합니다.

B. 학습 전략 (Training Strategy)

LLaVA-NeXT 의 훈련 패러다임을 따르되, 두 단계의 지시 튜닝 (Instruction Tuning) 을 적용합니다:

1. 1 단계 (특징 정렬): 비전 인코더와 언어 모델은 고정 (frozen) 하고 MLP 프로젝터 파라미터만 업데이트하여 초기 교차 모달 정렬을 수행합니다. (LLaVA-NeXT 데이터 사용)
2. 2 단계 (전체 파라미터 미세 조정): 비전 인코더, 언어 모델, MLP 프로젝터 전체를 함께 미세 조정하여 시각 및 언어 표현의 공동 적응을 유도합니다.

C. 데이터 및 감독 (Data & Supervision)

• LLaVA-NeXT 데이터 믹스: 일반적인 멀티모달 대화 및 지시 따르기 능력을 유지합니다.
• DOCCI 데이터셋: 연결된 구성 요소와 이미지에 대한 인간이 작성한 **장문의 상세한 설명 (dense human-authored descriptions)**을 제공합니다. 이는 모델이 이미지를 독립적인 패치 집합이 아닌 통합된 의미론적 내러티브로 이해하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 세부 이미지 캡션 특화 LMM: InternVL3-2B 기반 비전 인코더와 OpenPangu-Embedded-1B 언어 백본을 결합하여, 경량 파라미터 예산 내에서 강력한 설명 능력을 갖춘 엔드 - 투 - 엔드 훈련 멀티모달 모델을 개발했습니다.
2. LLaVA-NeXT 기반 지시 튜닝: LLaVA-NeXT 데이터 혼합 및 정렬 전략을 채택하여 다양한 시각 - 언어 작업에 대한 일반화 능력을 확보하면서도 효율적인 훈련을 가능하게 했습니다.
3. DOCCI 를 통한 고품질 감독: DOCCI 데이터셋을 통합하여 캡션의 질적 한계를 확장하고, 복잡한 시각적 장면에 대한 포괄적이고 정확한 내러티브 생성을 가능하게 했습니다.
4. 기술적 성과 증명: 17 억 파라미터 규모의 컴팩트한 백본이 강력한 비전 인코더와 고품질 감독 신호와 결합될 때, 멀티모달 대화 및 밀집된 시각 설명 작업에서 경쟁력 있는 성능을 달성할 수 있음을 실증했습니다.

4. 실험 결과 (Results)

• 일반 멀티모달 벤치마크 (MME, MMMU, POPE 등): VisionPangu-1.7B 는 유사한 파라미터 규모 (2B~8B) 의 기존 모델 (InternVL2-2B, Qwen2-VL-2B 등) 과 비교해 경쟁력 있는 성능을 보였습니다. 이는 효율적인 아키텍처 설계와 고품질 감독이 모델 크기 확장의 부재를 부분적으로 보완할 수 있음을 시사합니다.
• 세부 이미지 캡션 평가 (BLEU, METEOR, ROUGE-L):
  • COCO 2017 검증 세트를 기반으로 한 평가에서 VisionPangu 는 모든 지표 (BLEU, METEOR, ROUGE-L) 에서 최상의 성능을 기록했습니다.
  • 특히 BLEU 와 ROUGE-L 점수에서 유사 규모의 다른 모델들에 비해 상당한 개선을 보였으며, 이는 구조화되고 의미적으로 풍부한 장문의 설명 생성 능력이 우수함을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

VisionPangu 는 **"모델의 크기 (Scaling) 가 아닌 데이터의 질과 아키텍처의 효율성"**을 통해 멀티모달 성능을 향상시킬 수 있음을 입증했습니다.

• 효율성: 1.7B 파라미터라는 컴팩트한 규모로 대형 모델에 버금가는 세부 설명 능력을 달성하여, 리소스 제약이 있는 환경에서의 실용적 배포 가능성을 열었습니다.
• 데이터의 중요성: DOCCI 와 같은 고품질 인간 작성 데이터의 중요성을 강조하며, 단순한 모델 확장이 아닌 정교한 감독 신호가 세부적인 시각적 이해에 결정적임을 보여줍니다.
• 미래 전망: 이 연구는 고해상도 시각 표현, 더 강력한 평가 프로토콜, 비디오 이해 및 다중 이미지 추론으로의 확장을 위한 기반을 마련했습니다.

요약하자면, VisionPangu 는 컴팩트한 모델로도 고품질의 세부 이미지 캡션이 가능함을 보여주며, 멀티모달 AI 의 효율성과 정교함을 동시에 추구하는 새로운 방향성을 제시합니다.