🤖 AI

Decoupled Visual Processing: Efficient Multimodal Adaptation via Modality-Specific Transformer Substitution

이 논문은 멀티모달 거대 언어 모델의 상위 디코더 레이어들을 시각적 토큰 전용의 단일 경량 트랜스포머 블록으로 대체하여, 전체 파라미터의 극히 일부만을 업데이트하면서도 벤치마크에서 경쟁력 있는 성능을 달성하는 파라미터 효율적 학습 프레임워크인 분리된 시각 처리(Decoupled Visual Processing, DVP)를 제안한다.

원저자: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mingkuan Feng, Zhengqi Wen, Jianhua Tao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 사진 속 고양이를 보고 재미있는 이야기를 들려줄 수 있는 똑똑한 친구처럼, 이미지와 글을 동시에 '보고 읽을 수 있는' 세상을 상상해 보세요. 이것이 바로 멀티모달 거대 언어 모델(MLLM)의 영역입니다. 이러한 모델을 작동시키기 위해 과학자들은 보통 두 가지 강력한 도구를 가져와 하나로 합칩니다. 바로 '비전 인코더'(이미지를 이해하도록 훈련된 뇌)와 '거대 언어 모델'(단어를 이해하도록 훈련된 뇌)입니다. 까다로운 점은 이 둘이 서로 대화하게 만드는 것입니다. 보통 컴퓨터에 이미지를 보여주고 질문을 던지면, 컴퓨터는 이미지 부분과 단어 부분을 하나의 거대한 공장 라인(처리 단계)에 한꺼번에 밀어 넣습니다. 그 라인의 모든 단계는 완벽한 답을 내놓기 위해 조정되고 미세하게 수정됩니다. 하지만 문제는 그 공장 라인이 너무나 거대하다는 것입니다. 모든 기계를 일일이 조정하는 데는 엄청난 시간, 돈, 그리고 전기가 소모됩니다. 이는 마치 배달 트럭 한 대를 더 빨리 움직이게 하려고 도시 전체의 교통 시스템을 고치는 것과 같습니다.

과학자들이 던져온 핵심 질문은 이것입니다. "그림 부분과 단어 부분이 정말로 똑같이 깊고 복잡한 공장 라인을 통과해야만 할까?" 어쩌면 그림 부분은 빠르고 특화된 지름길이 필요하고, 단어 부분은 깊고 복직한 처리가 필요할지도 모릅니다. 만약 전체 시스템을 망가뜨리지 않으면서 그림에 지름길을 제공하는 방법을 찾아낼 수 있다면, 우리는 이 똑똑한 컴퓨터들을 훨씬 저렴하고 빠르게 훈련시킬 수 있을 것입니다. 이것이 바로 칭화대학교 연구진이 해결하기로 결심한 퍼즐입니다.

논문: 사진을 위한 VIP 지름길을 제공하다

연구진인 펑밍콴(Mingkuan Feng), 원정치(Zhengqi Wen), 타오젠화(Jianhua Tao)는 **디커플드 비주얼 프로세싱(Decoupled Visual Processing, DVP)**이라 불리는 새로운 훈련 방식을 제안합니다. 표준 모델을 놀이터의 길고 구불구불한 미끄럼틀이라고 생각해 보세요. 그림을 들고 있든 단어를 들고 있든 모두가 함께 32단계의 미끄럼틀을 끝까지 내려가야 합니다. 연구진은 이렇게 물었습니다. "만약 그림을 든 사람들이 미끄럼틀 중간쯤에서 뛰어내려, 작고 매우 빠른 터널을 통과한 뒤, 바닥에서 단어를 든 사람들과 만나게 하면 어떨까?"

이들의 '디커플드 비주얼 프로세싱'이 작동하는 단계별 과정은 다음과 같습니다:

공유된 시작: 먼저, 그림 조각(시각적 토큰)과 단어 조각(텍스트 토큰)은 모두 첫 번째 절반의 미끄럼틀(레이어 0~16)을 함께 타고 내려갑니다. 이는 그림과 단어가 서로를 인지하고 맥락을 이해하게 하는 데 중요합니다.
분리: 중간 지점에서 군중이 갈라집니다. 단어 조각들은 원래의 길고 얼어붙은(frozen) 미끄럼틀(레이어 17~31)을 따라 계속 내려갑니다. 이 미끄럼틀은 이미 문장을 만드는 데 완벽하게 최적화되어 있으므로 건드리지 않습니다.
VIP 터널: 반면, 그림 조각들은 긴 미끄럼틀을 타는 대신, 새롭고 작은 단일 단계의 터널(단일 트랜스포머 블록)을 통해 경로가 지정됩니다. 이 터널은 전체 시스템에서 유일하게 훈련되고 미세 조정되는 부분입니다.
재회: 맨 아래에서, (작은 터널을 통과한) 그림 조각과 (긴 미끄럼틀을 통과한) 단어 조각은 다시 하나로 합쳐져 최종 답변을 생성합니다.

연구 결과

연구팀은 70억 개의 파라미터를 가진 백본(Vicuna-7B)을 사용하는 인기 모델인 LLaVA-1.5를 사용하여 이 아이디어를 테스트했습니다. 그들은 이 'VIP 터널' 방식과 다른 두 가지 접근 방식을 비교했습니다. 하나는 전체 모델을 훈련시키는 표준 방식이고, 다른 하나는 분리된 구조를 사용하되 모든 것을 훈련시키는 '일반 훈련(Normal Training)' 방식입니다.

결과는 놀라울 정도로 효과적이었습니다:

막대한 절감: DVP를 사용함으로써, 그들은 전체 파라미터의 약 **3.1%**만을 훈련시켰습니다. 이는 도시 전체의 교통을 고치기 위해 단 하나의 길 모퉁이에 있는 신호등만 조정하는 것과 같습니다.
명확한 시각 능력: 사물의 개수를 세거나 표지판을 읽는 등의 능력을 확인하는 MME 테스트에서, 이들의 방식은 1440점을 기록했습니다. 이는 전체를 훈련시킨 모델의 점수인 1496점에 매우 근접한 수치이며, 분리된 구조를 사용하면서도 모든 것을 훈련시킨 '일반 훈련' 방식의 점수인 1225점보다 훨씬 높았습니다. 이는 메인 모델을 얼려두는 것(freezing)이 오히려 컴퓨터가 혼란을 겪지 않게 하여 더 잘 '보게' 만든다는 것을 시사합니다.
환각 현상 감소: 그림에 없는 것을 있다고 말하는 것(예: 고양이 사진에서 개를 보는 것)을 확인하는 POPE 테스트에서, DVP는 0.8619를 기록했습니다. 이는 전체를 훈련시킨 모델의 0.8577보다 높은 최고 점수였습니다. 이는 그림에 전용 경로를 제공하는 것이 모델이 '몽상'을 하거나 가짜 정보를 만들어내는 것을 막아준다는 것을 암시합니다.
트레이드오프(Trade-off): 이 방식이 모든 면에서 완벽한 것은 아니었습니다. 그래프와 차트를 읽는 테스트인 ChartQA에서 DVP는 0.2356을 기록했습니다. 이는 전체를 훈련시킨 모델의 0.1776보다는 높았지만, '일반 훈련' 방식의 0.432보다는 낮았습니다. 저자들은 이는 차트를 읽는 데 있어 그림의 세부 사항과 텍스트 라벨 사이의 매우 정밀한 상호 확인이 필요한데, 경로가 일찍 분리되면서 이 과정이 어려워졌기 때문이라고 설명합니다.

이것이 중요한 이유

이 논문은 이러한 AI 모델의 깊고 복잡한 상위 레이어들이 단어에 대해서는 많은 역할을 하고 있지만, 그림에 대해서는 과할 수 있다는 점을 시사합니다. 연구진은 그림과 텍사트가 중간 지점에서 이미 만났다면, 단 하나의 작은 트랜스포머 블록만으로도 그림 처리를 감당하기에 충분하다는 것을 발견했습니다.

이 접근 방식은 모든 데이터가 반드시 깊은 네트워크 전체를 통과해야 한다는 기존의 관념에 도전합니다. 이는 그림과 단어는 서로 다르며 각기 다른 종류의 도움이 필요할 수 있다는 점을 인식함으로써, 더 똑똑하고 효율적인 AI를 구축할 수 있음을 보여줍니다. 이 방법이 일반적인 시각 및 오류 탐지에는 효과적이지만, 복잡한 차트를 읽는 것과 같이 매우 세밀한 추론이 필요한 작업에는 보완이 필요할 수 있다고 저자들은 언급했습니다. 하지만 전반적으로, 이 '디커플드(decoupled)' 경로는 매번 뇌 전체를 다시 만들 필요 없이 컴퓨터에게 보는 법을 가르칠 수 있는 강력하고 에너지 절약적인 방법임을 시사합니다.

기술 요약: 분리된 시각적 처리 (Decoupled Visual Processing, DVP)

문제 정의

LLaVA와 같은 멀티모달 거대 언어 모델(MLLM)은 통합된 트랜스포머 아키텍처 내에서 시각 및 텍스트 이해를 결래하여 상당한 성공을 거두었습니다. 지배적인 패러다임은 시각적 특징을 LLM의 임베딩 공간으로 투영한 후, 모든 토큰(시각 및 텍스트 모두)을 전체 디코더 레이어 스택을 통해 처리하는 방식입니다. 이 방식은 효과적이긴 하지만, 수십억 개의 파라미터를 전체 미세 조정(full fine-tuning)하거나 모든 레이어에 걸쳐 파라미터 효율적 방법(예: LoRA)을 적용해야 하므로 계산 비용이 많이 듭니다.

본 연구가 다루는 핵심적이고 아직 충분히 탐구되지 않은 질문은 시각적 토큰과 텍스트 토큰이 진정으로 동일한 심층 표현 경로를 필요로 하는가 하는 점입니다. 기존 연구는 트랜스포머의 하위 레이어가 일반적이고 모달리티에 무관한 특징을 포착하는 반면, 상위 레이어는 점점 더 전문화된다는 것을 시사합니다. MLLM에서 시각적 토큰은 기존 LLM의 텍스트 지향적 처리와 구별되는 상위 레이어에서의 전문화된 처리 경로로부터 이득을 얻을 수 있다는 가설이 존재하며, 따라서 시각적 토큰에 대한 전체 깊이의 처리는 불필요하고 비효fer적일 수 있습니다.

방법론: 분리된 시각적 처리 (DVP)

저자들은 사전 학습된 LLM의 디코더 스택을 수정하여 초기 공유 단계 이후 시각적 처리와 텍스트 처리 경로를 분리하는 효율적인 훈련 프레임워크인 **Decoupled Visual Processing (DVP)**를 제안합니다.

아키텍처

$L$ 개의 디코더 레이어를 가진 사전 학습된 LLM이 주어졌을 때, DVP는 분리-처리-결합(split-process-concatenate) 패러다임을 구현합니다:

**공유 처리 (레이어 $0 $부터$ K-1 $까지):** 모든 토큰(시각 및 텍스트)은 처음$ K$개의 디코더 레이어를 통해 공동으로 처리됩니다. 이 단계는 교차 모달 어텐션(cross-modal attention)을 촉진하여, 모델이 모달리티 간의 정렬(alignment)과 맥락적 접지(contextual grounding)를 구축할 수 있게 합니다.
모달리티 분리: 레이어 $K$ 이후, 은닉 상태(hidden states)는 모달리티별로 시각적 토큰( $X_v$ )과 텍스트 토큰( $X_t$ )으로 분리됩니다.
분리된 처리:
- 시각적 경로 (Visual Pathway): 시각적 토큰은 새롭게 초기화된 단일 트랜스포머 블록을 통과하도록 라우팅됩니다. 이 블록은 미세 조정 단계 동안 유일하게 학습 가능한 구성 요소입니다.
- 텍스트 경로 (Textual Pathway): 텍스트 토큰은 나머지 $L-K$ 개의 디코더 레이어를 통해 계속 진행되며, 이 레이어들은 동결(frozen) 상태를 유지합니다(사전 학습된 언어 모델링 능력을 보존하기 위함).
결합 및 예측: 처리된 시각 및 텍스트 표현은 결합되어 다음 토큰 예측을 위한 언어 모델링 헤드로 전달됩니다.

설계 근거

분리 지점 ( $K$ ): Vicuna-7B(32개 레이어)를 이용한 실험에서, 분리는 레이어 16 이후( $K=17$ )에 발생합니다. 이 선택은 트랜스포머 레이어의 전반부가 저수준 및 교차 모달 특징을 포착하는 반면, 후반부는 작업 특화된 추론에 특화되어 있다는 관찰에 의해 동기 부여되었습니다.
극한의 압축: 시각적 경로는 15개의 디코더 레이어를 단 하나의 트랜스포머 블록으로 대체합니다. 이는 모델이 공유 레이어의 시각적 표현을 출력 공간으로 직접 매핑하는 압축된 변환을 학습하도록 강제합니다.
파라미터 효율성: 인스트럭션 튜닝 중에는 단 하나의 트랜스포머 블록만 업데이트됩니다. Vicuna-7B 설정에서 이는 전체 모델 파라미터의 약 **3.1%**에 해당하며, 나머지 96.9%(공유 하위 레이어 및 상위 텍스트 레이어 포함)는 동결된 상태로 유지됩니다.

주요 기여

아키텍처 혁신: DVP는 시각적 토큰이 전체 LLM 깊이를 통과해야 한다는 가정을 깨뜨리고, 시각적 처리를 딥 디코더 스택으로부터 분리하는 구조적 수정을 도입했습니다.
파라미터 효율성: DVP는 전체 미세 조정과 비교했을 때 극히 일부의 파라미터(약 3.1%)만을 훈련하면서도 경쟁력 있는 성능을 달성했습니다.
가설 검증: 본 연구는 두 가지 가설을 검증합니다: (1) LLM의 하위 레이어는 교차 모달 정렬에 충분하다, (2) 상위 레이어의 시각적 토큰은 텍스트 토큰보다 더 압축된 변환을 필요로 한다.

실험 결과

저자들은 세 가지 벤치마크인 MME (지각 및 인지), POPE (객체 환각), ChartQA에 대해 Vicuna-7B 백본을 사용한 LLaVA-1.5 프레임워크로 DVP를 평가했습니다.

지각 (MME): DVP는 1440의 지각 점수를 기록했으며, 이는 LLaVA-1.5-7B 풀 미세 조정 베이스라인(1496)의 96.3% 수준입니다. 주목할 점은, DVP가 "Normal Training" 베이스라인(분리된 아키텍처를 사용했으나 모든 파라미터를 훈련한 모델)의 지각 점수(1440 대 1225)보다 높은 성능을 보였다는 것입니다. 이는 파라미터를 동결하는 것이 시각적 지각 능력을 보존하는 데 도움이 된다는 것을 시사합니다.
환각 (POPE): DVP는 0.8619의 점수를 기록하여, LLaVA-1.5-7B 베이스라인(0.8577)과 Normal Training 베이스라인(0.8381)을 모두 넘어섰습니다. 이는 분리된 아키텍처가 시각적 처리가 텍스트 편향적인 상위 레이어의 영향을 받는 것을 방지함으로써 객체 환각을 줄일 수 있음을 나타냅니다.
인지 및 차트 이해: DVP는 MME 인지 영역(327 대 324)에서 베이스라인과 유사한 성능을 보였습니다. 그러나 ChartQA에서는 Normal Training 베이스라인(0.432)에 비해 낮은 점수(0.2356)를 기록했습니다. 저자들은 이를 상위 레이어에서 시각적 세부 사항과 텍스트 레이블 간의 미세하고 반복적인 교차 참조가 필요한 작업 때문이라고 설명합니다.
효율성: DVP는 전체 미세 조정 대비 약 32배 적은 파라미터만을 훈련하면서도 경쟁력 있는 성능을 유지합니다.

의의 및 주장

본 논문은 MLLM의 시각적 표현이 분리된 파라미터 효율적 경로를 통해 효과적으로 학습될 수 있다고 주장합니다. 주요 시사점은 다음과 같습니다:

시각적 처리의 중복성: 단일 트랜스포머 블록이 15개의 디코더 레이어를 대체할 수 있다는 성공적인 결과는 현재의 MLLM이 상위 레이어에서 시각 정보를 처리하는 방식에 상당한 중복성이 있음을 시사합니다.
모달리티 특화 유도 편향 (Inductive Bias): 이 아키텍처는 "이해"(시각적 토큰이 담고 있는 것)와 "생성"(정보가 텍스트를 위해 어떻게 사용되는지) 사이의 명시적인 분리를 도입하여, 잠재적으로 더 해석 가능하고 제어 가능한 시스템으로 이어질 수 있습니다.
배포 및 적응: 극한의 파라미터 효율성은 자원이 제한된 환경에서의 배포, 새로운 시각적 도메인에 대한 적응(시각 블록만 업데이트하면 됨), 그리고 지속 학습 시나리오에서 DVP를 매우 매력적으로 만듭니다.
지식 증류 관점: 단일 블록이 15개 레이어의 "지식"을 효과적으로 압축한다는 것은, 시각적 토큰에 적용되는 변환의 유효 랭크(effective rank)가 해당 레이어들의 전체 파라미터 용량보다 훨씬 낮음을 시사합니다.

저자들은 제한된 벤치마크 세트에서의 평가, 고정된 분리 지점 휴리스틱, 그리고 분리 이후의 교차 모달 어텐션 부재(이는 반복적인 시각-텍스트 추론이 필요한 작업을 저해할 수 있음)를 포함한 한계점을 인정합니다. 향후 연구에서는 적응형 분리 지점, 다중 경량 시각 블록, 그리고 더 큰 규모의 모델 확장을 탐구할 수 있을 것이라고 제안합니다.