기술 요약: 소프트 LLM 프롬프트에서 하드 프롬프트로 번역하는 법 학습

문제 제기

소프트 프롬프트 튜닝은 대규모 언어 모델 (LLM) 을 특정 작업에 적응시키기 위한 풀 파인튜닝의 파라미터 효율적인 대안을 제공합니다. 그러나 소프트 프롬프트의 중요한 한계는 그 해석 불가능성입니다. 자연어 토큰과 달리, 소프트 프롬프트는 임베딩 공간 내의 연속 벡터로 존재하며 종종 자연어와 구별되는 영역을 차지합니다. 이러한 벡터를 이산 토큰 공간으로 단순하게 투영하는 것은 종종 오해의 소지가 있거나, 모순적이거나, 정보 가치가 없는 결과를 낳습니다 (Khashabi et al., 2022).

최근 연구, 특히 InSPEcT 기법 (Ramati et al., 2024) 은 훈련이 필요 없는 컨텍스트 학습 접근법을 사용하여 소프트 프롬프트의 텍스트적 언어화를 유도함으로써 이를 해결하려 시도했습니다. InSPEcT 는 때로는 올바른 클래스 라벨을 생성할 수 있지만, 본 논문의 저자들은 그 언어화가 종종 신뢰할 수 없으며, 특정 아키텍처 하이퍼파라미터 (레이어 쌍) 에 민감하고, 비자연스러운 언어를 자주 포함한다고 관찰합니다. furthermore, InSPEcT 의 성능은 근본적인 소프트 프롬프트가 높은 작업 정확도를 달성하는지에 크게 의존하는 것으로 나타나, 소프트 프롬프트가 더 작거나 능력이 낮은 모델에서 훈련될 때 그 유용성이 제한됩니다.

방법론

저자들은 전용 번역 모델을 사용하여 소프트 프롬프트를 자연어 ("하드 프롬프트") 로 번역하는 지도 학습 접근법을 제안합니다. 핵심 워크플로우는 세 단계로 구성됩니다:

1. 소프트 프롬프트 훈련: 소프트 프롬프트는 먼저 (입력, 출력) 쌍에 대한 표준 지도 학습을 사용하여 다양한 하위 작업에 대해 작고 오픈소스 LLM (특히 meta-llama/Llama-3.1-8B-Instruct) 에서 최적화됩니다.
2. 데이터셋의 데이터셋 (DoD) 구축: 번역기를 훈련시키기 위해 저자들은 (소프트 프롬프트, 실제 하드 프롬프트) 쌍을 포함하는 두 가지 구별된 "데이터셋의 데이터셋 (DoD)"을 구성했습니다:
   • 분류 DoD: 밀집된 의미적 클러스터링을 가진 클래스 레이블 (예: {음악, 영화, 책, 예술, 소프트웨어}) 과 275 만 개의 문장으로 구성된 5,500 개의 미니 데이터셋으로 구성된 합성 데이터셋입니다.
   • 일반 DoD: Super-NaturalInstructions 데이터셋을 기반으로 하여, 76 가지 작업 유형에 걸쳐 요약, 번역, 추론 등 1,616 가지 다양한 자연어 작업을 포괄합니다.
3. 번역기 훈련: 기본 LLM 과 동일한 아키텍처를 공유하지만 가중치는 다른 전용 번역 모델이 LoRA 를 사용하여 파인튜닝됩니다. 이 모델은 소프트 프롬프트 번역을 시퀀스 투 시퀀스 생성 작업으로 처리하며, 입력은 소프트 프롬프트 임베딩 벡터이고 출력은 해당 자연어 작업 설명입니다.

주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 전용 번역 모델: 저자들은 소프트 프롬프트를 유창하고 문법적으로 올바른 자연어로 변환하는 지도 모델을 훈련합니다. 이 접근법은 여러 데이터셋에 걸쳐 정량적 지표 (Recall, F1-Score, ROUGE-L) 와 정성적 평가 모두에서 훈련이 필요 없는 InSPEcT 방법보다 우수한 성과를 거둡니다.
2. 언어화의 실용성 입증: 저자들은 번역된 "하드 프롬프트"가 단순히 그럴듯한 텍스트가 아니라 기능적으로 관련성이 있음을 보여줍니다. 이러한 언어화된 프롬프트가 더 크고 폐쇄형 소스 LLM(예: GPT-4o-mini) 에 배포될 때, 종종 작은 모델에서의 원래 소프트 프롬프트 성능을 초과하는 작업 성능을 달성하며, 특정 경우에는 퓨샷 학습 베이스라인을 능가합니다.
3. 휴대용 프롬프트를 위한 새로운 워크플로우: 이 작업은 소프트 프롬프트가 작고 오픈소스 모델에서 훈련된 후 인간이 읽을 수 있는 프롬프트로 번역되고, 그 다음 더 크고 강력한 모델에 배포되는 새로운 파이프라인을 제안합니다. 이를 통해 더 큰 모델을 파인튜닝할 필요 없이 작은 모델에서 작업별 지식을 더 큰 모델로 이전할 수 있습니다.

결과

• 해석 가능성 품질: InSPEcT 데이터셋 (SST-2, SST-5, AG-News, Subj, TREC) 에서 번역기는 완벽한 또는 거의 완벽한 Recall(1.0) 을 달성했으며 InSPEcT 에 비해 현저히 높은 F1-Score 를 기록했습니다. 특히, InSPEcT 가 어려움을 겪었던 데이터셋 (예: TREC) 에서도 번역기는 견고한 성능을 유지하여 초기 작업 정확도에 덜 의존함을 시사합니다.
• 일반화: 일반 DoD 에서 번역기는 평균 ROUGE-L 0.252 와 코사인 유사도 0.427 을 달성하여 InSPEcT(ROUGE-L 0.143, 코사인 유사도 0.269) 를 능가했습니다.
• 하위 작업 성능: 언어화된 프롬프트가 큰 폐쇄형 소스 LLM 과 함께 사용된 실험에서, 번역된 프롬프트는 종종 작은 모델에서 사용된 원래 소프트 프롬프트보다 우수한 성과를 보였습니다. 10 가지 작업의 특정 하위 집합에서 번역된 프롬프트는 특히 퓨샷 예제가 효율적으로 포착하지 못하는 미묘한 패턴 인식이 필요한 작업에서 큰 모델에서의 퓨샷 학습을 능가했습니다.
• 데이터 효율성: 번역기는 상대적으로 작은 훈련 세트 (일반 DoD 의 경우 539 개 샘플) 로도 소프트 프롬프트와 하드 프롬프트 간의 대응 관계를 학습할 수 있는 능력을 입증하여, LLM 이 본질적으로 소프트 프롬프트의 "언어"를 이해할 수 있음을 시사합니다.

중요성과 주장

본 논문은 소프트 프롬프트가 근본적으로 해석 불가능한 것이 아니라 효과적으로 디코딩되기 위해 전용 번역 메커니즘이 필요하다고 주장합니다. 컨텍스트 학습 (InSPEcT) 에서 벗어나 지도 번역으로 이동함으로써 저자들은 소프트 프롬프트를 휴대 가능하고 고품질의 자연어 지시사항으로 변환할 수 있음을 입증합니다.

저자들은 이 워크플로우가 "하위 작업 응용"에 상당한 잠재력을 가지고 있다고 제안하며, 구체적으로 작고 오픈소스 모델을 사용하여 작업 지시사항을 발견하고 최적화한 후 이를 더 크고 폐쇄형 API 모델로 이전하여 우수한 추론을 가능하게 한다고 말합니다. 그들은 현재 번역기가 유망한 개념 증명이지만, 향후 작업은 더 큰 데이터셋과 스타일 정렬 (예: 선호도 최적화) 을 포함하여 verbose 하고 상세한 언어화를 보장함으로써 약물 발견과 같은 복잡한 작업에 대한 통찰력을 잠재적으로 unlocking 할 수 있다고 언급합니다.

저자들은 현재의 한계에 대해 겸손하게 남아 있으며, 번역기가 현재 훈련에 사용된 특정 기본 모델에 종속되어 있고, 언어화가 때로는 지나치게 간결하여 스타일 불일치로 인해 관련 세부 사항을 생략할 수 있음을 인정합니다.