기술 요약: 효율적이고 효과적인 도메인 적응을 위한 예시 유도형 소프트 프롬프트 (Exemplar-Derived Soft Prompts)

문제 정의

파운데이션 모델을 새로운 도메인에 적응시키는 과정에는 성능, 비용, 배포 복잡성 사이의 트레이드오프가 존재한다.

• 미세 조정 (PEFT/LoRA): 효과적이긴 하지만, LoRA와 같은 저차원 적응(Low-Rank Adaptation) 방식은 모델 가중치를 업데이트해야 한다. 멀티 테넌트 환경에서는 모든 사용자-태스크 쌍에 대해 별도의 어댑터를 유지하고 라우팅해야 하므로, 상당한 서버 측 저장 공간 및 관리 오버헤드가 발생한다. 또한, 거대 모델에 대한 초기 학습 비용이 높다.
• 인컨텍스트 러닝 (ICL): 학습이 필요 없는 대안으로서, ICL은 추론 시점에 검색된 예시(exemplars)를 바탕으로 모델을 조건화한다. 그러나 이는 세 가지 결정적인 한계를 갖는다:
  1. 높은 추론 비용: 어텐션 메커니즘은 시퀀스 길이에 따라 제곱으로 증가하므로, 여러 개의 텍스트 기반 예시를 추가하는 것은 계산량(FLOPs)을 급격히 증가시킨다.
  2. 예시 순서 변동성: 입력 데모의 순서를 변경하면 정확도가 크게 변할 수 있다 (일부 벤치마크에서 10점 이상의 차이 발생).
  3. 기술 습득 실패: ICL은 분포 외(out-of-distribution) 태스크나 새로운 추론 기술이 필요한 태스크에서 성능이 저하되는 경우가 많은데, 이는 원시 텍스트 예시가 동결된 모델이 필요한 능력을 습득하기에 충분한 의미론적 문맥을 제공하지 못하기 때문이다.

기존의 소프트 프롬프팅 방식(예: 표준 프롬프트 튜닝)은 도메인별로 정적인 프롬프트를 학습하여 인스턴스 특이성(instance-specificity)이 부족하거나, 유사한 검색된 예시로부터 얻을 수 있는 풍부한 신호를 활용하지 못한 채 쿼리에만 프롬프트를 조건화하는 경향이 있다.

방법론: MHA-ESP

저자들은 ICL과 PEFT 사이의 간극을 메우는 방법론인 **다중 헤드 어텐션 기반 예시 소프트 프롬프팅 (MHA-ESP)**을 제안한다. 핵심 목표는 검색된 인컨텍스트 예시를 압축된 태스크 조건부 소프트 프롬프트로 인코딩하는 보조 모델을 학습시키는 것이며, 이를 파운데이션 모델의 가중치를 업데이트하지 않고 쿼리 앞에 붙여 사용한다.

아키텍처 및 메커니즘

1. 검색 (Retrieval): 주어진 입력 $x$에 대해, 시스템은 유사도 함수 $\Phi$를 사용하여 도메인 특화 데이터셋에서 가장 관련성이 높은 상위-$K$개의 예시 $\{(x_k, y_k)\}$를 검색한다.
2. 인코딩 (Encoding): 예시들을 텍스트로 결합하는 대신, MHA-ESP는 학습 가능한 인코딩 함수 $g$를 사용하여 이들을 소프트 프롬프트 $Z \in \mathbb{R}^{d \times m}$로 임베딩한다.
3. 다중 헤드 어텐션 (Multi-Head Attention): 인코딩 함수는 다중 헤드 어텐션 메커니즘을 활용한다.
   • 쿼리 $q_i$는 입력 $x$로부터 유도된다.
   • 키(Key) $k_k$와 값(Value) $v_k$는 예시들의 결합된 임베딩($x_k \oplus y_k$)으로부터 유도된다.
   • $i$번째 헤드의 출력은 $z^{(i)} = \text{softmax}(\frac{q_i k_i^T}{\sqrt{d}})v_i$로 계산된다.
   • 최종 소프트 프롬프트 $Z_{MHA}$는 $H$개 헤드의 출력을 결합한 것으로, 프롬프트 길이 $m = H$가 된다.
4. 최적화 (Optimization): 파운데이션 모델 $\theta$는 동결된 상태에서, 인코더의 파라미터(가중치 $W^Q, W^K, W^V$)는 소프트 프롬프트와 입력이 주어졌을 때 정답 $y$의 가능도(likelihood)를 최대화하도록 최적화된다.

주요 설계 속성

• 순서 불변성 (Order Invariance): 어텐션 메커니즘은 입력 토큰의 시퀀스가 아닌 집합(set)에 의존하며 예시에 대한 위치 인코딩(positional encoding)이 없으므로, 생성된 소프트 프롬프트는 검색된 예시의 순열(permutation)에 대해 불변이다.
• 압축 (Compression): MHA-ESP는 컨텍스트를 $K$개의 텍스트 토큰에서 $H$개의 소프트 프롬프트 벡터로 압축한다. $H$는 일반적으로 $K$개의 토크나이즈된 예시의 길이보다 훨씬 작으므로, 이는 유효 컨텍스트 길이를 줄이고 추론 비용을 크게 절감한다.
• 사용자 측 학습 (User-Side Training): 경량 인코더는 사용자에 의해 로컬에서 학습된다. 서버는 쿼리와 미리 계산된 소프트 프롬프트만을 받으므로, 도메인별 서버 측 어댑터를 유지할 필요가 없다.

주요 기여

1. ICL의 한계 해결: 본 연구는 표준 도메인 적응을 위한 ICL이 가진 불만족스러운 성능, 높은 추론 비용, 그리고 순서 변동성 문제를 해결하는 것을 목표로 한다.
2. 새로운 아키텍처: 소프트 프롬프트 생성을 위해 예시의 순서에 불변하는 다중 헤드 어텐션 아키텍처를 제안하며, 여기서 어텐션 헤드의 수는 표현력을 조절하는 튜너블 하이퍼파라미터 역할을 한다.
3. 효율성 및 성능: MHA-ESP가 LoRA와 대등한 성능을 보이면서도, 텍스트 기반 ICL에 비해 평균 18.85포인트 더 높은 성능을 달 up함과 동시에 GFLOPs 기준으로 최대 10배 낮은 추론 비용을 달성함을 입증한다.

실험 결과

저자들은 세 가지 파운데이션 모델(Qwen3-4B, Llama3.2-3B-Instruct, Mistral-7B-Instruct)과 분자 특성 예측(BACE, BBBP, ClinTox), 분자 설계, 캡셔닝, 일반 언어 이해(MMLU-Pro)를 포함한 다양한 태스크에 대해 MHA-ESP를 평가했다.

• vs. LoRA: MHA-ESP는 LoRA와 경쟁 가능한 성능을 보인다. LoRA가 과적합되기 쉬운 제한된 데이터 벤치마크에서 MHA-ESP는 종종 LoRA보다 우수한 성능을 보인다. 중규모 태스크에서도 ICL에 비해 LoRA와의 성능 격차를 크게 좁힌다.
• vs. ICL: MHA-ESP는 고정형(fixed) 및 적응형(retrieval-based) ICL 모두를 능가한다. 컨텍스트 압축 덕분에 훨씬 낮은 FLOPs로 더 높은 정확도를 달성한다.
• vs. 기타 소프트 프롬프트: MHA-ESP는 표준 프롬프트 튜닝(PT), 인스턴스 의존적 프롬프트 생성(IDPG), 그리고 U-ESP 및 P-ESP와 같은 다른 예시 유도형 베이스라인보다 우수한 성능을 보인다.
  • U-ESP는 모든 예시를 단일 벡터로 붕괴시켜 정보 손실을 초래한다.
  • P-ESP는 예시를 독립적으로 인코딩하지만, 예시 간의 의존성을 모델링하는 능력이 부족하다.
  • MHA-ESP의 다중 헤드 접근 방식은 구조화된 상호작용과 헤드별 표현을 가능하게 한다.
• 강건성 (Robustness): 이 방법은 순서 불변성을 입증한다 (예시 순서를 섞었을 때 성능의 표준 편차가 0.0임). 또한 MMLU-Pro에서 분포 외 설정에 효과적으로 일반화됨을 보여준다.
• 설계 공간 (Design Space): 실험 결과, 어텐션 레이어의 깊이나 예시당 토큰 수를 늘리는 것보다 어텐션 헤드의 수를 늘리는 것이 성능 향상에 더 효과적임을 나타낸다.

의의 및 주장

본 논문은 MHA-ESP가 도메인 적응을 위한 효과성, 효율성, 그리고 배포 친화성 사이에서 탁월한 균형을 제공한다고 주장한다. 예시로부터 유도된 소프트 프롬프트를 생성하는 경량화된 사용자 측 인코더로 적응 부담을 전환함으로써, 여러 LoRA 어댑터를 유지해야 하는 서버 측 오버헤드를 피하면서도 텍스트 기반 ICL의 비효율성과 불안정성을 극복한다.

저자들은 MHA-ESP를 ICL의 "플러그 앤 플레이" 특성을 유지하면서도, 예시로부터 학습된 소프트 프롬프트의 표현력을 강화하는 방법론으로 포지셔닝한다. 이 방법은 일회성 경량 학습 단계(인코더를 통한 역전파)를 요구하지만, 파운데이션 모델의 업데이트가 필요 없으므로 모델 가중치를 수정할 수 없거나 서버 측 저장 공간이 제한적인 시나리오에 적합하다. 향후 연구로는 학습 오버헤드를 더욱 줄이기 위한 미분 불필요 최적화(derivative-free optimization) 탐구를 제안한다.