기술 요약: 태스크 프롬프트 벡터

문제 제기

프롬프트 튜닝은 사전 훈련된 모델은 고정된 채로 소수의 연속적인 소프트 프롬프트 가중치만 훈련하는 대규모 언어 모델 (LLM) 을 위한 파라미터 효율적 미세 조정 (PEFT) 방법입니다. 그러나 기존 소프트 프롬프트 기반 방법들은 종종 충분한 다중 태스크 모듈성을 결여하고 있습니다. 일반적으로 새로운 태스크에 대한 소프트 프롬프트를 훈련하려면 전체 또는 부분적인 재훈련 과정이 필요하며, 여러 태스크의 프롬프트를 결합하면 성능이 저하되거나 추가 미세 조정이 필요해집니다. "태스크 벡터"(전체 모델 가중치에 대한 산술 연산) 는 컴퓨터 비전과 이전 NLP 모델에서 다중 태스크 성능 달성을 위해 유망한 것으로 입증되었으나, 이 개념은 소프트 프롬프트 기반 튜닝 영역으로 효과적으로 확장되지 못했습니다. 또한, 기존 PEFT 가중치 보간 방법들은 종종 특정 무작위 초기화에 크게 의존하여 재사용성을 제한합니다.

방법론

저자들은 소프트 프롬프트 공간에 태스크 벡터 산술의 원리를 적용한 **태스크 프롬프트 벡터 (TPVs)**라는 새로운 개념을 소개합니다.

정의

태스크 프롬프트 벡터 ($\tau_{P}^{t}$) 는 특정 태스크에 대해 미세 조정된 후의 소프트 프롬프트 가중치 ($\theta_{P_{ft}}^{t}$) 와 그 무작위 초기화 ($\theta_{P_{pre}}$) 사이의 요소별 차이로 정의됩니다:
$$\tau_{P}^{t} = \theta_{P_{ft}}^{t} - \theta_{P_{pre}}$$
이 벡터는 프롬프트를 무작위 상태에서 태스크별 부분 공간으로 이동시키는 임베딩 공간 내의 방향을 나타냅니다.

산술 연산

핵심 메커니즘은 서로 다른 태스크의 지식을 결합하기 위해 태스크 프롬프트 벡터를 더하는 프롬프트 산술을 포함합니다:
$$\tau_{P_{new}} = \tau_{P_{a}} + \tau_{P_{b}}$$
이 결합된 벡터는 추가 훈련 없이 목표 태스크를 위해 새로운 소프트 프롬프트 초기화 ($\theta_{P}$) 를 초기화하는 데 적용될 수 있습니다:
$$\theta_{P_{new}} = \theta_{P} + \lambda \tau_{P_{new}}$$
여기서 $\lambda$는 재조정 인자입니다.

실험 설정

저자들은 T5-base, LLaMa-3.1-8B-Instruct, DeepSeek-LLM-7B-Chat 모델을 사용하여 NLI, 주제 분류, 감성 분석, 수학 문제 해결을 포함한 8 가지 태스크 유형을 다루는 19 개의 데이터셋에서 TPV 를 평가했습니다. 주요 실험 목표는 다음과 같습니다:

1. 초기화 독립성: TPV 가 대상 소프트 프롬프트의 무작위 초기화와 무관하게 작동하는지 테스트합니다.
2. 벡터 유사성: 관련 태스크와 무관한 태스크에서 파생된 벡터 간의 코사인 유사성을 분석합니다.
3. 다중 태스크 전이: 결합된 벡터가 소스 태스크에서의 성능과 목표 태스크에 대한 제로샷 및 퓨샷 학습을 위한 초기화로서의 성능을 평가합니다.

주요 기여 및 발견

1. 무작위 초기화 독립성

이 연구는 태스크 프롬프트 벡터가 소프트 프롬프트의 무작위 초기화와 크게 독립적임을 보여줍니다. 한 무작위 초기화에서 훈련된 TPV 를 다른 무작위 초기화에 적용할 때, 대부분의 태스크에서 하류 성능은 원래 설정과 비교 가능하게 유지됩니다. 이 특성은 TPV 가 동일한 시드 없이도 서로 다른 훈련 실행 간에 공유 및 재사용될 수 있도록 하므로 매우 중요합니다.

2. 태스크 모듈성 및 벡터 산술

저자들은 유사한 태스크 (예: MNLI + RTE) 의 태스크 프롬프트 벡터를 더하면 두 태스크 모두에서 단일 태스크 성능이 유지되거나 약간 향상됨을 보여줍니다. 이는 TPV 가 모듈식 방식으로 태스크별 지식을 효과적으로 인코딩할 수 있음을 시사합니다. TPV 의 코사인 유사성은 원시 태스크 프롬프트 자체의 유사성보다 전이 가능성의 더 나은 예측자로 발견되었습니다.

3. 저자원 초기화

제로샷 및 퓨샷 설정 (0~100 샷) 에서 사전 훈련된 TPV 의 조합으로 프롬프트 튜닝을 초기화하는 것은 SPoT(소프트 프롬프트 전이) 및 ATTEMPT 와 같은 최첨단 베이스라인을 종종 능가하거나 일치시킵니다. 구체적으로:

• TPV 조합은 SciTail 및 IMDB 에서 단일 태스크 소스 프롬프트보다 더 나은 성능을 발휘했습니다.
• AG News 및 Yahoo Answers 에서는 SPoT 성능과 일치했습니다.
• 특히 사전 훈련된 소스 프롬프트의 수가 제한된 여러 시나리오에서 ATTEMPT 를 크게 능가했습니다.

4. 기존 방법과의 비교

소스 태스크 세트가 변경될 때 소스 프롬프트의 재훈련이 필요한 SPoT 와 소스 프롬프트의 품질과 양에 크게 의존하는 ATTEMPT 와 달리, TPV 는 높은 모듈성과 소스 프롬프트 독립성을 제공합니다. 이는 추가 훈련 없이 새로운 태스크에 대해 사전 훈련된 벡터를 재사용할 수 있는 "벡터 허브"의 생성을 가능하게 합니다.

중요성 및 주장

이 논문은 태스크 프롬프트 벡터가 최첨단 다중 태스크 솔루션에 대한 계산적으로 효율적인 대안을 제공한다고 주장합니다. 사전 훈련된 벡터에 대한 간단한 산술 연산을 활용함으로써, 이 방법은 재훈련의 계산 비용 없이 높은 다중 태스크 모듈성을 달성합니다.

저자들은 이 방법의 성공이 소프트 프롬프트에 대한 최적 부분 공간이 볼록한 형태를 가질 수 있음을 시사하며, 비선형 공간에서도 선형 근사 (벡터 덧셈) 가 효과적으로 작동할 수 있다고 주장합니다. 또한, 무작위 초기화에서의 독립성은 태스크 벡터의 커뮤니티 주도 저장소 가능성을 가능하게 합니다.

저자가 지적한 한계:

• 실험은 주로 단일 언어 (영어) 모델 및 데이터셋에서 수행되었습니다.
• 연구는 대표 모델로 T5-base 에 초점을 맞추었으나, 결과는 더 큰 LLaMa 및 DeepSeek 모델에서 검증되었습니다.
• 소프트 프롬프트 공간의 기하학적 특성에 대한 이론적 분석은 향후 과제로 남겨졌습니다.
• 이 방법은 현재 NLU 및 NLG 태스크에 초점을 맞추고 있으나, 다국어 설정에서는 광범위하게 테스트되지 않았습니다.

결론적으로, 이 작업은 태스크 프롬프트 벡터를 저자원 설정에서 프롬프트 튜닝을 효과적으로 초기화하는 데 사용할 수 있음을 입증하여, 다중 태스크 적응을 위한 견고하고 모듈식이며 훈련이 없는 접근 방식을 제공합니다.