💻 computer science

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

ZOMP는 교차 모달 저계수 재매개변수화, 그래디언트 보정 모멘텀, 그리고 동적 계수 스케줄을 활용함으로써 기존의 제로 차수 접근 방식들을 여러 벤치마크에서 능가하며, 동시 섭동 확률 근사법을 사용하여 동결된 CLIP 모델의 비전 및 텍스트 브랜치 모두에서 딥 프롬프트를 최적화하는 쿼리 효율적인 완전 순방향 방식이다.

원저자: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진이 무엇에 관한 것인지 사진을 보는 즉시 설명하거나 완벽한 문장으로 장면을 묘사할 수 있는 천재적인 사서와 같은 초지능형 로봇이 있다고 상상해 보세요. 이 로봇은 이미지와 언어를 모두 이해하도록 인터넷 전체를 읽고 학습한 '비전-언어 모델(Vision-Language Model)'입니다. 이 로봇은 정말 강력합니다. 하지만 여기에는 함정이 있습니다. 보통 이 로봇에게 희귀한 꽃의 종류나 이상한 의료 스캔 영상 같은 새로운 기술을 가르치려면, 로봇이 자신의 뇌를 스스로 '재배선(rewire)'하도록 해야 합니다. 이 과정은 마치 거대한 도서관이 대중에게 개방된 상태에서 도서관 내부를 재조직하려는 것처럼 매우 무겁고, 엄청난 컴퓨팅 파워와 메모리를 필요로 합니다.

때로는 그렇게 할 수 없는 상황도 있습니다. 예를 들어, 로봇이 당신의 주머니 속에 있는 아주 작은 배터리 구동 장치 안에 살고 있거나, 혹은 로봇이 어떻게 생각하는지 들여다볼 수 없는 비밀 서비스의 채팅창을 통해서만 대화해야 하는 경우입니다. 이런 경우에는 로봇의 뇌를 재배선할 수 없습니다. 대신 새로운 지침을 속삭여 줄 수만 있을 뿐이죠. 이것을 '프롬프트 튜닝(prompt tuning)'이라고 부릅니다. 로봇의 뇌를 바꾸는 대신, 새로운 퍼즐을 풀 수 있도록 특별한 힌트나 '프롬프트'를 제공하는 것입니다. 문제는 완벽한 힌트를 찾는 것이 보통 엄청난 시행착오를 필요로 한다는 점입니다. 만약 당신이 로봇의 내부 사고 과정(그래디언트)을 볼 수 없다면, 그것은 눈을 가린 채 건초더미 속에서 바늘을 찾는 것과 같습니다. 제대로 맞추기 위해 수천 번의 추측이 필요할 수도 있으며, 이는 실생활에서 너무 느리고 비용이 많이 드는 일입니다.

여기서 ZOMP라는 새로운 방법이 등장합니다. ZOMment는 '눈을 가린 채 바늘 찾기' 문제를 해결하기 위해 검색 방식을 바꾸는 영리한 탐정이라고 생각하면 됩니다. 모든 세부 사항을 한꺼번에 추측하는 대신, ZOMP는 가장 중요한 부분부터 먼저 추측한 다음 나머지 부분을 천천히 채워 나가는 똑똑한 전략을 사용합니다.

작동 방식은 다음과 같은 재미있는 비유를 통해 설명할 수 있습니다.

"공유된 청사진(Shared Blueprint)" 기법
보통 로봇에게 새로운 것을 가르치려 할 때, 로봇의 '눈(시각)'과 '목소리(텍스트)'를 위한 별도의 힌트를 작성해야 합니다. 만로 두 가지 모두에 대해 깊고 복잡한 힌트를 동시에 작성하려고 하면, 가능한 경우의 수가 너무 많아져서 눈을 가린 검색은 길을 잃게 됩니다. ZOMP는 게임의 규칙을 바꿉니다. "두 가지 모두를 위한 공유된 청사진을 사용하자"라고 말이죠. 상상해 보세요, 눈과 목소리를 위한 힌트가 모두 동일한 작은 레고 블록 세트로 만들어진다고 말입니다. 당신은 그 적은 수의 블록을 어떻게 배치할지만 결정하면 되고, 그러면 그 블록들이 자동으로 눈과 목소리 모두를 위한 올바른 힌트를 구축하게 됩니다. 이를 통해 힌트가 깊고 복잡함에도 불구하고 검색 공간을 작고 관리 가능한 수준으로 유지할 수 있습니다.

"예산 기반 인덱스 확장(Budget-Indexed Expansion)"
공유된 청사판이 있더라도, 눈을 가린 상태에서 모든 블록을 한꺼번에 배치하는 것은 여전히 어렵습니다. 그래서 ZOMP는 "예산" 시스템을 사용합니다. 당신에게 최적의 힌트를 찾기 위한 제한된 횟수의 추측(쿼리)이 있다고 가정해 봅시다. ZOMP는 우선 가장 중요하고 첫 번째인 블록 하나를 가지고 노는 것부터 시작합니다. 그리고 그 하나의 조각에 대해 올바른 방향을 찾아냅니다. 일단 올-바른 궤도에 올랐다고 확신하면, 그다음 블록을 '잠금 해제'하고, 그다음 블록을 푸는 식으로, 신뢰할 수 있는 방향이 생길 때마다 천천히 검색 범위를 확장합니다. 이는 운전을 배우는 것과 같습니다. 처음에는 빈 주차장(작은 검색 공간)에서 시작하여 익숙해진 뒤, 천천히 동네 도로로 나가고, 마지막으로 고속도로로 이동합니다. 첫날부터 바로 고속도로에서 운전하려고 하지 않는 것과 같습니다.

"모멘텀(Momentum)" 기억력
검색 과정에서 눈이 가려져 있기 때문에, 당신이 얻는 단서들은 종종 소음이 섞여 있고 불안정할 수 있습니다. 마치 요동치는 배 위에서 걷는 것과 같습니다. ZOMP는 여기에 "모멘텀" 기억력을 더합니다. 이것은 파도에 반응하는 것뿐만 아니라 바다가 밀어내는 일반적인 방향을 기억하는 서퍼를 생각하면 됩니다. 설령 파도가 자신을 옆으로 밀쳐내더라도, 서퍼는 자신이 어디로 가고 있었는지 기억하기 때문에 계속해서 올바른 방향으로 나아갈 수 있습니다. 이는 로봇이 노이즈를 무시하고 실제로 작동하는 경로를 고수할 수 있도록 도와줍니다.

결과
연구진은 꽃 식별부터 위성 이미지의 차량 인식에 이르기까지 13가지의 서로 다른 과제를 통해 이 방법을 테스트했습니다. 그들은 ZOMP와 다른 방법들에게 정확히 동일한 횟수의 추측(5,000회 쿼리)을 주었습니다. 결과는 ZOMP가 다른 방법들보다 일관되게 더 나은 힌트를 찾아냈다는 것을 보여주었습니다. 단순히 약간 더 나은 수준이 아니라, 로봇이 보통 어려움을 겪는 까다로운 작업에서 훨씬 더 높은 정확도를 보였습니다.

정말 멋진 점은 ZOMP가 단순히 훈련된 특정 작업에만 잘하는 것이 아니라는 점입니다. ZOMP는 본 적 없는 생소하고 이상한 상황(예: 실제 사진 대신 물체의 스케치를 인식하는 경우)도 더 잘 처리했습니다. 이는 ZOMP가 주의 깊고 효율적으로 검색함으로써, 단순히 훈련 예시를 암기하는 것이 아니라 로봇이 가진 기존 지식을 사용하는 더 똑똑한 방법을 배웠음을 시사합니다.

요약하자면, ZOMP는 로봇을 더 똑똑하게 만들기 위해 반드시 뇌를 재배선할 필요는 없다는 것을 증명합니다. 공유된 청사판을 사용하고, 검색을 천천히 확장하며, 방향에 대한 꾸준한 기억을 유지함으로써, 당신이 오직 속삭임만 전달할 수 있고 시도 횟수도 제한적인 상황에서도 강력한 AI에게 새로운 기술을 가르칠 수 있습니다. 이는 당신의 주머니 속에 슈퍼컴퓨터를 넣지 않고도 이러한 거대 모델의 잠재력을 최대한 끌어낼 수 있는 실용적이고 효율적인 방법입니다.

기술 요약: ZOMP (Zeroth-Order Multi-Modal Prompt Tuning)

문제 정의

CLIP과 같은 대규모 시각-언어 모델(VLM)을 미세 조정(fine-tuning)하는 것은 일반적으로 전체 모델에 대한 역전파(backpropagation, BP)에 의존합니다. 그러나 이는 두 가지 점차 흔해지는 시나리오에서 불가능합니다: 전체 역전파 계산 그래프를 수용할 수 없는 메모리 제약이 있는 에지 디바이스, 그리고 추론 API를 통해 가중치에 접근할 수 없는 독점적 모델 배포 환경입니다. 이러한 설정에서 튜닝은 오직 순전파(forward pass)만을 이용한 제로차 최적화(zeroth-order optimization)에 의존해야 합니다.

기존의 역전파 프리(BP-free) 프롬프트 튜닝 방법들은 무작위 섭동(예: 진화 전략 또는 Zeroth-Order Stochastic Gradient Descent)을 통해 그래디언트를 추정함으로써 이 문제를 해결하려고 시도합니다. 그러나 이러한 방법들은 다음과 같은 결정적인 트레이드오프에 직면합니다:

얕거나 단일 모달리티 중심: 쿼리 효율성을 유지하기 위해, BAR, BlackVIP, ZIP와 같은 기존 방법들은 튜닝을 얕은 프롬프트나 단일 모달리티(예: 텍스트 전용)로 제한합니다. 이들은 제로차 그래디언트 추정치의 분산이 탐색 공간의 차원에 따라 증가하기 때문에 깊은 다중 모달리티 프롬프팅을 피합니다.
수렴 한계: 딥 멀티모달 프롬프팅(이미지 및 텍스트 인코더 모두의 여러 레이어에 학습 가능한 벡터를 주입하는 방식)은 역전파(BP) 하에서 우수한 정확도를 낸다는 것이 알려져 있지만, 제로차 방법을 사용할 경우 현실적인 쿼리 예산 내에서는 높은 차원성으로 인해 실행이 어렵습니다.

핵심 문제는 딥 멀티모달 프롬프팅의 표현력과 제로차 최적화의 쿼리 효율성 제약 사이의 관계를 조율하는 것입니다.

방법론: ZOMP

ZOMP(Zeroth-Order Multi-Modal Prompt tuning)는 파라미터 공간과 최적화 궤적을 재구조화함으로써 딥 멀티모달 프롬프트 튜닝을 가능하게 하는 완전한 순전파 전용 방식을 제안합니다. 이 방법은 세 가지 핵심 구성 요소에 기반합니다:

1. 교차 모달 저차 재매개변수화 (Cross-Modal Low-Rank Reparameterization)
프롬프트 행렬을 직접 최적화하는 대신, ZOMP는 LoRA와 MMLoP에서 영감을 받은 인수분해 형태를 채택합니다. 각 레이어 $l$ 에 대해, 시각적 프롬프트 $P_v^{(l)}$ 와 텍스트 프롬프트 $P_t^{(l)}$ 는 다음과 같이 생성됩니다:
$P_v^{(l)} = U^{(l)} V_v^{(l)}, \quad P_t^{(l)} = U^{(l)} V_t^{(l)}$
여기서 $U^{(l)}$ 은 두 모달리티에 공통으로 적용되는 작은 공유 인자(shared factor)이며, $V_v^{(l)}$ 와 $V_t^{(l)}$ 는 모달리티별 인자입니다.

이점: 이는 두 인코더를 결합하여, 공유 인자 $U^{(l)}$ 에 대한 단일 섭동이 두 프롬프트를 일관되게 이동시키도록 보장합니다. 이는 유효 탐색 차원을 줄이고 랭크 $r$ 을 조절 가능한 "노브(knob)"로 취급할 수 있게 합니다.

2. 예산 지표 기반 점진적 랭크 스케줄 (Budget-Indexed Progressive Rank Schedule)
제로차 추정치의 분산을 관리하기 위해, ZOMP는 처음부터 모든 랭크 성분을 동시에 최적화하지 않습니다. 대신, 쿼리 예산 비율에 따라 인덱싱된 스케줄을 사용합니다.

메커니즘: 옵티마이저는 작은 저차 부분 공간(예: 랭크-1)만을 탐색하며 시작합니다. 쿼리 예산이 소모됨에 따라 랭크가 점진적으로 해제됩니다(예: 랭크 1에서 전체 랭크 $r$ 까지).
초기화: 모든 모달리티별 인자 $V$ 는 0으로 초기화됩니다. 이는 새로 해제된 성분이 초기에는 아무것도 기여하지 않도록 하여, 랭크 간의 전환이 함수 보존적(function-preserving)이 되게 하고 "초기화 충격(initialization shock)"으로 인한 쿼리 낭비를 방지합니다.

3. 그래디언트 보정 모멘텀 (Gradient-Correction Momentum)
제로차 추정치는 본질적으로 노이즈가 많습니다. ZOMP는 SPSA-GC(Simultaneous Perturbation Stochastic Approximation with Gradient Correction)를 기반으로 한 모멘텀 항을 포함합니다.

메커니즘: 모멘텀 버퍼는 과거의 그래디언트 추정치를 축적하여 궤적을 부드럽게 만듭니다.
시너지: 저차 단계는 모멘텀이 고정될 수 있는 낮은 노이즈의 방향을 제공합니다. 랭크가 확장되어 분산이 증가함에 따라, 모멘텀 버퍼는 저분산 단계에서 찾아낸 하강 방향을 보존하여 옵티마이저가 노이즈에 의해 경로를 이탈하는 것을 방지합니다.

알고리즘 흐름:
알고리즘(Algorithm 1)은 쿼리 예산을 통해 반복됩니다. 각 단계에서 현재 활성화된 랭크 성분으로 마스킹된 섭동 방향을 샘플링하고, SPSA 그래디언트 추정치를 계산하며, 모멘텀 보정을 적용하고 파라미터를 업데이트합니다. 랭크 마스크는 누적 쿼리 수에 따라 업데이트됩니다.

주요 기여

제로차 환경에서의 딥 멀티모달 프롬프팅: ZOMP는 시각 및 텍스트 인코더 모두에 걸쳐 딥 프롬프팅을 성공적으로 구현한 최초의 BP-free 방법입니다. 이는 교차 모달 저차 인수분해를 사용하여 고차원 탐색 공간을 다룰 수 있게 함으로써 이를 달성했습니다.
시너지 학습 메커니즘: 본 논문은 랭크 스케줄과 그래디언트 보정 모멘텀을 결합한 방식을 도입하고 검증했습니다. 절제 연구(Ablation studies)에 따르면 두 메커니즘 중 하나만으로는 충분하지 않습니다. 스케줄은 모멘텀을 위한 저노이즈 시작점을 제공하고, 모멘텀은 탐색 공간이 넓어질 때 발생하는 분산 급증 상황에서 옵티마이저가 생존할 수 있도록 돕습니다.
최첨단 성능 (SOTA): ZOMP는 고정된 CLIP ViT-B/16 백본을 사용하여 5,000-쿼리 예산 조건에서 13개의 시각-언어 벤치마크를 평가했을 때 우수한 퓨샷(few-shot) 정확도, 쿼리 효율성 및 일반화 능력을 입증했습니다.

실험 결과

저자들은 고정된 CLIP ViT-B/16 백본을 사용하여 13개의 시각-언어 벤치마크에서 동일한 5,000-쿼리 예산으로 ZOMP를 평가했습니다.

퓨샷 분류 (Few-Shot Classification): ZOMP는 13개 데이터셋에서 평균 **68.2%**의 정확도를 기록하여, 가장 강력한 기존 방법인 ZIP(62.2%)보다 6.0포인트 앞섰습니다. ZOMP는 모든 개별 데이터셋에서 모든 베이스라인을 능가했으며, 특히 특수 도메인(예: EuroSAT에서 +15.9, CLEVR에서 +10.3)에서 큰 폭의 상승을 보였습니다.
Base-to-New 일반화: 프롬프트가 베이스 클래스에서 학습되고 새로운 클래스에서 테스트되는 설정에서, ZOMP는 **71.2%**의 조화 평균(HM)을 달아 ZIP(67.5%)을 3.7포인트 초과했습니다. 이는 이 방법이 새로운 클래스를 희생하면서 베이스 클래스에 과적합되지 않음을 나타냅니다.
교차 데이터셋 및 분포 외 (OOD) 성능: ImageNet에서 학습된 프롬프트를 추가 튜닝 없이 12개의 다른 데이터셋과 4개의 ImageNet 변형 데이터셋에 전이했습니다. ZOM%는 CDT(56.9%)와 OOD(59.1%) 설정 모두에서 최고의 평균 성능을 달성하여 견고한 일반화 능력을 입증했습니다.
쿼리 효율성: 테스트된 방법들 중 가장 많은 학습 파라미터(46.2k)를 가졌음에도 불구하고, ZOMP는 가장 적은 쿼리로 목표 정확도에 도달했습니다. 이는 제로차 최적화가 파라미터 수에 따라 성능이 저하될 것이라는 예상과 상반되는 결과로, 저차 스케줄이 이 문제를 효과적으로 완화함을 증명합니다.
구성 요소 절제 연구 (Component Ablation): 랭크 스케줄이나 모멘텀 중 하나라도 제거하면 성능이 크게 떨어졌으며, 이는 두 요소의 상호 보완적인 성격을 확인시켜 줍니다. 교차 모달 공유를 제거했을 때(독립적인 $U$ 인자 사용)도 성능이 감소하여, 공유 인자의 이점을 검증했습니다.

의의 및 주장

본 논문은 ZOMP가 딥 멀티모달 프롬프팅의 이론적 표현력과 역전파 프리 튜닝의 실제적 제약 사이의 간극을 메운다고 주장합니다. 멀티모달리티와 저차 구조를 결합함으로써, ZOMP는 에지 디바이스 및 독점 API를 위한 효율적인 프롬프트 튜닝의 실질적인 경로를 제공합니다.

저자들은 자신들의 결과가 딥 멀티모달 프롬프팅이 제로차 최적화와 본질적으로 양립 불가능한 것이 아니라, 분산을 관리하기 위한 특정 재매개변수화와 최적화 스케줄이 필요함을 보여준다고 단언합니다. 이 연구는 기존 BP-free 방법들에서 관찰되었던 "천장(ceiling)"이 제로차 접근 방식 자체의 근본적인 한계가 아니라 탐색 공간 설계의 결과였음을 시사합니다.