Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

1. 문제 정의 (Problem Definition)

• 배경: 대형 언어 모델 (LLM) 은 뛰어난 성능을 보이며, 이를 이미지, 비디오, 분자 구조 등 다양한 모달리티로 확장한 **멀티모달 대형 언어 모델 (MLLMs)**이 등장했습니다.
• 한계: 기존 자동 프롬프트 최적화 (Automatic Prompt Optimization, APO) 연구는 오직 텍스트 프롬프트만 최적화하는 데 국한되어 있습니다. 이는 MLLM 이 가진 풍부한 비텍스트적 표현 능력 (예: 복잡한 특징을 설명하는 긴 텍스트 대신 단일 이미지로 명확히 전달 가능) 을 활용하지 못하게 하여, MLLM 의 잠재력을 완전히 끌어내지 못하는 결과를 초래합니다.
• 제안된 문제: 저자들은 **멀티모달 프롬프트 최적화 (Multimodal Prompt Optimization)**라는 새로운 문제를 정의합니다. 이는 텍스트 프롬프트와 비텍스트 프롬프트 (이미지, 비디오, 분자 등) 의 쌍 $(t, m)$으로 구성된 프롬프트 공간을 탐색하여, 주어진 태스크에서 성능을 극대화하는 최적의 멀티모달 프롬프트를 찾는 것을 목표로 합니다.
• 주요 도전 과제:
  1. 크로스-모달 일관성 유지: 텍스트와 비텍스트 구성 요소가 서로 모순되지 않고 상호 보완적인지 보장해야 합니다.
  2. 효율적인 후보 선정: 탐색 공간이 기하급수적으로 커지면서 고품질 프롬프트가 희소해지므로, 제한된 평가 예산 내에서 유망한 후보를 효율적으로 선택해야 합니다.

2. 방법론: 멀티모달 프롬프트 옵티마이저 (MPO)

저자는 위 문제를 해결하기 위해 **멀티모달 프롬프트 옵티마이저 (MPO)**라는 통합 프레임워크를 제안합니다. MPO 는 크게 두 가지 핵심 모듈로 구성됩니다.

A. 일관성 유지 탐색 (Alignment-Preserving Exploration)

텍스트와 비텍스트 프롬프트를 독립적으로 업데이트하는 대신, **단일 의미 그래디언트 (Single Semantic Gradient)**를 기반으로 두 모달리티를 공동으로 (Jointly) 업데이트합니다.

1. 결속된 역전파 (Cohesive Backpropagation):
   • 현재 프롬프트가 실패한 사례 (Failure Set) 를 분석하여 텍스트와 비텍스트 입력 모두에 대한 통합된 피드백 (텍스트 형식의 $\nabla_p$) 을 생성합니다.
   • 이를 통해 한 모달리티에 과도하게 최적화되는 것을 방지하고, 두 모달리티 간의 정렬을 유지합니다.
2. 공동 멀티모달 업데이트 (Joint Multimodal Update):
   • 생성된 피드백을 바탕으로 텍스트 프롬프트 ($t'$) 와 비텍스트 프롬프트 수정을 지시하는 **모달리티별 조건 (Condition, $c$)**을 생성합니다.
   • 이 조건 $c$는 모달리티별 생성기 (예: Text-to-Image, Text-to-Molecule) 에 입력되어 새로운 비텍스트 프롬프트 ($m'$) 를 생성합니다.
3. 상호 보완적 연산자 (Complementary Operators):
   • 탐색의 다양성을 확보하기 위해 세 가지 연산자를 도입합니다.
     • Generation (생성): 기존 후보와 무관하게 완전히 새로운 비텍스트 프롬프트를 생성 (초기 탐색 및 지역 최적점 탈출).
     • Edit (편집): 기존 프롬프트의 구조를 유지하면서 세부 특징 (텍스처, 색상 등) 을 정교하게 수정.
     • Mix (혼합): 여러 부모 프롬프트의 강점을 결합하여 새로운 하이브리드 프롬프트 생성.

B. 사전 상속 베이지안 UCB 선택 (Prior-Inherited Bayesian UCB Selection)

확대된 탐색 공간에서 고품질 프롬프트를 효율적으로 찾기 위해, 기존 후보의 성능을 사전 정보 (Prior) 로 활용하는 전략을 사용합니다.

1. 부모 - 자식 상관관계: 실험 결과, 부모 프롬프트의 성능과 자식 프롬프트의 평균 성능 간에 강한 양의 상관관계 ($r=0.88$) 가 있음을 발견했습니다.
2. 사전 상속 메커니즘:
   • 새로운 자식 프롬프트의 점수 분포 (Beta 분포) 를 초기화할 때, 무정보적 사전 (Uniform Prior) 대신 부모 프롬프트의 사후 평균 성능을 기반으로 한 **정보적 사전 (Informative Prior)**을 사용합니다.
   • 수식: $\alpha_i = \hat{\mu}_{par(i)} \cdot S + 1$, $\beta_i = (1 - \hat{\mu}_{par(i)}) \cdot S + 1$ (여기서 $S$는 사전 강도).
3. 효과: 이는 탐색의 '콜드 스타트 (Cold Start)' 문제를 해결하고, 평가 예산을 낭비하지 않고 유망한 영역으로 빠르게 집중시킵니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의: 텍스트 중심의 프롬프트 최적화를 넘어, 텍스트와 비텍스트를 결합한 멀티모달 프롬프트 최적화 문제를 공식적으로 정의하고 그 필요성을 입증했습니다.
2. MPO 프레임워크 제안:
   • 모달리티 간 정렬을 유지하면서 탐색하는 일관성 유지 탐색 메커니즘.
   • 부모 프롬프트의 성능을 사전 정보로 활용하여 효율성을 극대화하는 사전 상속 베이지안 UCB 선택 전략.
3. 광범위한 실험 및 검증: 이미지 (식물 질병, 조류 분류), 비디오 (운전 행동, 이상 탐지), 분자 (약물 흡수, BBB 침투, CYP 억제) 등 다양한 모달리티와 10 개 이상의 데이터셋에서 기존 텍스트 전용 최적화 방법 (APE, OPRO, SEE 등) 을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 성능 향상: MPO 는 모든 도메인에서 기존 최첨단 텍스트 전용 최적화 방법들보다 일관되게 우수한 성능을 보였습니다.
  • 예: 이미지 분류 (PlantVillage, CUB) 에서 SEE(최고 성능 베이스라인) 대비 평균 정확도 6~7%p 이상 향상.
  • 분자 특성 예측 (TDC) 에서도 F1 점수 및 정확도에서显著的인 개선을 보였습니다.
• 효율성: 사전 상속 전략을 통해 동일한 성능을 달성하는 데 필요한 평가 예산을 약 42%~70% 절감했습니다.
• 구성 요소 분석 (Ablation Study):
  • 모달리티 기여도: 텍스트와 비텍스트 프롬프트를 모두 사용할 때 성능이 가장 높았으며, 이는 두 모달리티가 단순 합산이 아닌 상호 보완적임을 시사합니다.
  • 정렬의 중요성: 텍스트와 비텍스트를 독립적으로 최적화하거나 무작위 이미지를 사용하는 경우보다, MPO 의 '일관성 유지 탐색'을 적용했을 때 성능과 크로스-모달 정렬 점수 (DSG) 가 모두 높았습니다.
  • 연산자 효과: 생성, 편집, 혼합 연산자를 모두 사용할 때 최적의 성능을 발휘했습니다.
• 내부 표현 분석: PCA 시각화 결과, MPO 로 최적화된 멀티모달 프롬프트는 텍스트 전용 프롬프트와 다른 고유한 히든 상태 (Hidden State) 영역으로 모델을 이동시켜, 텍스트만으로는 접근 불가능한 풍부한 추론 경로를 활성화함을 확인했습니다.

5. 의의 및 결론 (Significance)

• MLLM 잠재력 극대화: 이 연구는 MLLM 이 가진 멀티모달 능력을 프롬프트 최적화 단계에서부터 적극적으로 활용해야 함을 증명했습니다. 텍스트만으로 모든 정보를 전달하려 하는 기존 접근법의 한계를 극복하고, 시각적/구조적 맥락을 프롬프트에 직접 통합함으로써 모델의 추론 능력을 획기적으로 향상시켰습니다.
• 효율적인 탐색 전략: 확장된 조합 탐색 공간 (Combinatorial Search Space) 에서 효율적으로 최적해를 찾기 위한 '사전 상속' 기반의 선택 전략은 향후 대규모 멀티모달 최적화 문제 해결에 중요한 통찰을 제공합니다.
• 미래 방향: 멀티모달 프롬프트 최적화는 MLLM 의 실제 응용 (의료, 과학, 자율주행 등) 에서 더욱 정교하고 정확한 의사결정을 지원할 수 있는 핵심 기술로 자리 잡을 것으로 기대됩니다.

이 논문은 텍스트 중심의 AI 연구 패러다임에서 벗어나, 멀티모달 프롬프트 최적화라는 새로운 지평을 열었다는 점에서 의의가 큽니다.