💬 NLP

PEML: Parameter-efficient Multi-Task Learning with Optimized Continuous Prompts

본 논문은 최적화된 연속 프롬프트를 위한 신경 아키텍처 엔지니어링과 모델 가중치의 저랭크 적응을 결합하여 여러 벤치마크에서 최첨단 방법들보다 상당한 정확도 향상을 달성하는 파라미터 효율적 다중 작업 학습 프레임워크인 PEML 을 제안합니다.

원저자: Anjir Ahmed Chowdhury, Syed Zawad, Xiaolong Ma, Xu Dong, Feng Yan

게시일 2026-05-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anjir Ahmed Chowdhury, Syed Zawad, Xiaolong Ma, Xu Dong, Feng Yan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 세상 모든 것을 알고 있는 천재적인 만능 사서 (대형 언어 모델) 가 있다고 가정해 봅시다. 하지만 이 사서는 너무 거대해서 전체 창고를 차지하고, 가동하려면 거대한 발전소가 필요하며, 모든 단일 작업을 위해 고용하는 비용이 엄청나게 비쌉니다.

만약 이 사서에게 시를 쓰게 하거나, 수학 문제를 풀게 하거나, 문서를 번역하게 해야 한다면, 예전 방식은 각 작업마다 서로 다른 거대한 사서를 고용하는 것이었습니다. 이는 낭비적입니다.

PEFT(Parameter-Efficient Fine-Tuning, 매개변수 효율적 미세 조정) 라는 새로운 방식은 사서 한 명을 고용하고 각 작업마다 작고 전문적인 "요약지 (cheat sheet)"를 제공하는 것과 같습니다. 사서 전체를 다시 훈련시키는 대신, 요약지의 몇 가지 메모만 살짝 수정하면 됩니다.

문제: 요약지가 너무 많다

이 논문은 여러 작업을 한 번에 수행하려 할 때, 현재의 "요약지" 방법들이 두 가지 주요 결함을 가지고 있다고 주장합니다:

"LoRA(Low-Rank Adaptation, 저랭크 적응) 이는 사서에게 사고 방식을 조정할 수 있는 수학적 공식 세트를 제공하는 것과 같습니다. 이는 어떻게 생각하는지 바꾸는 데는 훌륭하지만, 사서에게 무엇을 해야 하는지 이해시키는 데는 도움이 되지 않습니다. 마치 요리사에게 새로운 칼은 주었지만, 수프를 만들지 샐러드를 만들지 말하지 않는 것과 같습니다.
"Prefix Tuning(접두사 미세 조정) 이는 페이지 맨 위에 특정 지시를 작성하는 것과 같습니다 (예: "이제 시인처럼 행동하세요"). 이는 맥락을 설정하는 데 훌륭하지만, 이 논문은 현재 방법들이 사서에게 매우 다른 작업들 사이를 전환할 때 잘 적응하지 못하는 "일률적 (one-size-fits-all)" 지시를 사용한다고 주장합니다.

이러한 구식 방법들로 여러 작업을 한 번에 수행하려 하면, 결국 서로 다른 요약지들이 어지럽게 쌓이게 됩니다. 이들 사이를 전환하는 것은 느리고, 메모리를 너무 많이 차지하며, 지시 사항이 완벽하게 정렬되지 않아 사서가 혼란에 빠집니다.

해결책: PEML (똑똑하고 통합된 요약지)

저자들은 PEML(Parameter-Efficient Multi-Task Learning, 매개변수 효율적 다중 작업 학습) 이라는 새로운 시스템을 제안합니다. PEML 을 모든 작업을 동시에 처리하는 단일하고 완벽한 "범용 요약지"를 구축하는 똑똑한 자동화 건축가로 생각하세요.

다음은 PEML 이 작동하는 방식을 간단한 비유로 설명한 것입니다:

1. 두 부분으로 구성된 엔진

PEML 은 병렬로 작동하는 두 가지 도구를 결합합니다:

**근육 **(LoRA) 이 부분은 실제 작업에 더 능숙하도록 사서의 내부 근육 (모델 가중치) 을 조정합니다.
**목소리 **(PrefixNAS) 이것이 이 논문의 큰 혁신입니다. PEML 은 정적인 지시를 작성하는 대신 "신경 아키텍처 검색 (NAS)"을 사용하여 완벽한 지시를 자동으로 설계합니다.
- 비유: 강아지에게 트릭을 시키려 한다고 상상해 보세요. 정적인 지시는 매번 "앉아!"라고 외치는 것과 같습니다. PEML 은 강아지의 소리를 듣고 그 특정 트릭에 필요한 정확한 목소리 톤, 손짓, 그리고 간식 크기를 즉시 파악한 후, 앉기, 뒤집기, 물건 가져오기 등 모든 트릭에 통용되는 단일하고 완벽한 명령을 만들어내는 훈련사와 같습니다.

2. "건축가" (PrefixNAS)

이 논문은 PrefixNAS라는 구성 요소를 소개합니다. 이는 미리 만들어진 지식을 선택하는 것이 아니라, 처음부터 지식을 구축하는 자동화 건축가라고 생각하세요.

수천 가지의 서로 다른 "지시 구조" (다른 문장 길이, 다른 강조 유형, 또는 프롬프트를 표현하는 다른 방식 등) 를 시도해 봅니다.
사서가 모든 작업을 가장 잘 이해할 수 있도록 돕는 단 하나의 구조를 찾기 위해 스마트한 검색 과정을 사용합니다.
사용자가 추측할 필요 없이 올바른 설정 (하이퍼파라미터) 을 자동으로 파악합니다.

3. 결과: 모든 것을 지배하는 하나의 어댑터

PEML 이 훈련되면 서로 다른 요약지 사이를 전환할 필요가 없습니다. 모든 것을 처리하는 단일 통합 어댑터를 갖게 됩니다.

효율성: 서로 다른 작업에 대해 서로 다른 "모드"를 로드하지 않기 때문에 막대한 양의 컴퓨터 메모리 (VRAM) 를 절약할 수 있습니다.
속도: 사서는 기어를 전환하기 위해 멈출 필요가 없습니다. 하나의 완벽한 지시 세트만 사용하면 됩니다.
성능: 지시가 사서의 새로운 근육과 완벽하게 정렬되어 있기 때문에, 작업을 개별적으로 수행하려 했을 때보다 평균적으로 더 좋은 성과를 냅니다.

논문이 발견한 것

저자들은 AI 를 위한 표준화된 시험과 같은 다양한 "시험" 벤치마크 (GLUE, SuperGLUE, MMLU 등) 에서 이 시스템을 테스트했습니다.

점수: PEML 은 기존 최상위 방법들에 비해 평균 정확도를 약 6.67% 향상시켰습니다. 일부 특정 작업에서는 최대 **10.75%**까지 점수가 상승했습니다.
트레이드오프: 논문은 PEML 이 여러 작업을 균형 있게 수행하는 데 뛰어나지만, 매우 구체적인 단일 작업 (매우 까다로운 추론 퍼즐 등) 에는 때때로 어려움을 겪을 수 있다고 지적합니다. 그러나 여러 가지 일을 한 번에 수행하는 데 있어서는 테스트된 가장 효율적이고 효과적인 방법입니다.
비용: "건축가 (PrefixNAS)"가 완벽한 지식을 설계할 수 있도록 초기에 조금 더 많은 시간이 소요되지만, 일단 그 과정이 끝나면 시스템은 매우 효율적으로 작동합니다.

요약

간단히 말해, PEML은 거대한 AI 에게 여러 작업을 한 번에 가르치는 새로운 방법입니다. AI 에게 여러 개의 서로 다른 투박한 설명서 더미를 주는 대신, AI 의 두뇌에 완벽하게 맞는 단일하고 완벽한 범용 설명서를 작성할 수 있도록 스마트한 자동화 건축가를 활용합니다. 이는 비용을 절감하고, 컴퓨터 전력을 절약하며, AI 가 여러 작업을 동시에 처리하는 능력을 더 똑똑하게 만듭니다.

기술 요약: PEML (최적화된 연속 프롬프트를 통한 매개변수 효율적 다중 작업 학습)

1. 문제 제기

대규모 언어 모델 (LLM) 은 다양한 자연어 처리 작업에서 상당한 성과를 거두었으나, 모델 크기가 커짐에 따라 전통적인 전체 미세 조정 (full fine-tuning) 은 계산 비용이 너무 많이 들어 실행이 불가능해졌습니다. LoRA 와 Prefix Tuning 과 같은 매개변수 효율적 미세 조정 (PEFT) 방법들은 추가 매개변수 소수만 학습함으로써 이 문제를 해결하기 위해 등장했으나, **다중 작업 학습 (MTL)**에 적용될 때는 다음과 같은 특정 과제에 직면합니다:

자원 비효율성: 여러 작업별 어댑터 (예: 별도의 LoRA 행렬 또는 프롬프트 벡터) 를 배포하면 메모리 사용량이 증가하고 자원 관리가 복잡해집니다. 추론 중 어댑터 간 빈번한 전환은 상당한 계산 오버헤드를 초래합니다.
지식 공유 부재: 작업을 고립적으로 학습하면 모델이 작업 간 공유된 특징과 통찰력을 활용하지 못해 잠재적인 성능 향상이 제한됩니다.
비최적 아키텍처: 기존 MTL-PEFT 방법들은 주로 LoRA 확장 (예: MTL-LoRA, MultiLoRA) 에 초점을 맞추거나 정적 아키텍처를 사용합니다. 이들은 다중 작업 환경에서 **프롬프트 정렬 (prompt alignment)**의 결정적 역할을 종종 간과합니다. 또한 C-Poly 와 같은 방법은 unseen 작업으로의 일반화를 제한하는 고정 아키텍처에 의존하며, 다른 방법들은 새로운 벤치마크에 대해 수동 하이퍼파라미터 조정이 필요합니다.
VRAM 확장: MultiLoRA 와 같이 모듈을 수평적으로 확장하는 접근 방식은 병렬 모듈에 대한 활성화 캐싱으로 인해 VRAM 사용량이 선형적으로 증가합니다.

2. 방법론: PEML 프레임워크

저자들은 모델 가중치 적응을 위한 LoRA와 연속 프롬프트 최적화를 위한 PrefixNAS를 통합한 PEML 프레임워크를 제안합니다. 핵심 철학은 통합된 매개변수 효율적 구조 내에서 프롬프트 정렬과 모델 적응을 공동 최적화하는 것입니다.

2.1 핵심 구성 요소

LoRA (저랭크 적응): 모델 적응을 처리하기 위해 모든 프로젝션 레이어 ( $W_Q, W_K, W_V$ ) 에 적용됩니다. 이를 통해 모델은 고정된 사전 학습 가중치를 수정하지 않고도 매개변수 공간에서 방향성 업데이트를 학습할 수 있습니다.
PrefixNAS (프롬프트를 위한 신경 아키텍처 탐색): 고정된 프롬프트 벡터를 사용하는 표준 Prefix Tuning 과 달리, PrefixNAS 는 미분 가능한 신경 아키텍처 탐색 (NAS) 방식을 사용합니다. 이는 단일 통합 연속 프롬프트 아키텍처를 동적으로 생성하고 최적화합니다.
- 탐색 공간: ReLU, Tanh, GELU, 드롭아웃, 레이어 정규화와 같은 다양한 활성화 함수를 가진 선형 변환을 후보 연산으로 정의합니다.
- 최적화: Softmax 를 통한 연속 완화 (continuous relaxation) 를 사용하여 최적의 연산을 선택하는 아키텍처 매개변수 ( $\alpha$ ) 를 학습합니다. 수렴 후, 지배적인 연산을 선택하여 아키텍처를 이산화합니다.
- 배치: 프롬프트 벡터는 각 어텐션 헤드의 키 ( $K$ ) 와 값 ( $V$ ) 프로젝션에 병렬로 추가되는 반면, LoRA 행렬은 프로젝션 자체에 적용됩니다.

2.2 공동 최적화

PEML 은 다중 작업 학습을 공동 최적화 문제로 공식화합니다. 이 프레임워크는 베이스 모델 매개변수 ( $\theta$ , 고정), LoRA 매개변수 ( $A, B$ ), 그리고 PrefixNAS 아키텍처 매개변수 ( $\alpha$ ) 를 동시에 학습합니다.

목적: 공동 손실 함수는 미니배치에 평균화된 작업 손실과 희소하고 잘 구조화된 연산 선택을 장려하도록 설계된 아키텍처 정규화 항 ( $\lambda R(\alpha)$ ) 을 결합합니다.
하이퍼파라미터 조정: 프레임워크는 이레벨 최적화 접근 방식을 사용합니다. 내부 루프는 PrefixNAS 를 통해 프롬프트 아키텍처를 최적화하는 반면, 외부 루프는 학습률, 프롬프트 길이 등의 하이퍼파라미터를 최적화하기 위해 트리 구조 파라젠 추정기 (TPE) 를 사용합니다.
추론 효율성: 학습 후 LoRA 가중치는 베이스 모델에 병합됩니다. 최종 배포 모델은 통합된 PrefixNAS 아키텍처만 유지하여 어댑터 전환의 필요성을 제거하고 추론 지연을 줄입니다.

3. 주요 기여

통합 다중 작업 프레임워크: PEML 은 프롬프트 정렬 (PrefixNAS 를 통해) 과 저랭크 모델 적응 (LoRA 를 통해) 을 통합하는 일관된 프레임워크를 도입하여, 기존 방법들이 MTL 설정에서 프롬프트 최적화를 종종 간과하는 격차를 해소합니다.
동적 아키텍처 탐색: PrefixNAS의 도입은 수동 조정이나 각 작업별 교사 프롬프트의 사전 학습 없이 작업 요구 사항에 적응하는 단일 통합 연속 프롬프트 아키텍처의 자동 생성을 가능하게 합니다.
자원 효율성: 여러 작업별 어댑터 대신 단일 통합 어댑터를 사용함으로써 PEML 은 어댑터 전환과 관련된 메모리 오버헤드 및 추론 지연을 줄입니다. MultiLoRA 와 같은 수평 확장 방법에서 관찰되는 선형 VRAM 증가를 방지합니다.
이론적 분석: 이 논문은 LoRA 와 PrefixNAS 의 공동 최적화에 대한 수렴 분석을 제공하여, 결합된 업데이트가 표준 비볼록 SGD 속도로 수렴하며 연속에서 이산으로의 간극이 엔트로피 정규화에 의해 제어됨을 입증합니다.

4. 실험 결과

저자들은 T5-Large, FLAN-T5-Large, LLaMA-7B, LLaMA2-7B 모델을 사용하여 GLUE, SuperGLUE, Massive Multitask Language Understanding (MMLU), 그리고 상식 추론 벤치마크에서 PEML 을 평가했습니다.

성능 향상:
- PEML 은 최첨단 MTL 방법 (MTL-LoRA, MultiLoRA, C-Poly, MoE) 대비 평균 정확도 6.67% 까지 향상을 달성했습니다.
- 개별 작업은 최대 **10.75%**의 피크 향상을 보였습니다.
- GLUE 벤치마크에서 LLaMA2-7B 를 사용한 PEML 은 평균 **91.1%**를 기록하여 MTL-LoRA(90.0%) 와 MultiLoRA(87.9%) 를 능가했습니다.
- SuperGLUE에서 PEML 은 **88.08%**를 기록하여 단독 LoRA(83.67%) 와 AdaLoRA(86.94%) 를 상회했습니다.
- MMLU와 SuperGLUE 작업을 결합한 환경에서 PEML 은 **80.3%**에 도달하여 동등한 랭크 예산 하에 전체 미세 조정 (76.9%) 과 MultiLoRA(78.0%) 를 능가했습니다.
효율성:
- PEML 은 MultiLoRA 대비 우수한 VRAM 효율성을 보여주었으며, 랭크 증가와 무관하게 거의 일정한 VRAM 사용량을 유지한 반면 MultiLoRA 는 선형적으로 증가했습니다.
- 어댑터 전환을 제거함으로써 추론 지연이 감소했습니다 (예: 100 개 작업에 대한 T5-large 의 경우 약 17% 감소).
애블레이션 및 민감도 분석:
- LoRA 와 PrefixNAS 의 병렬 최적화는 순차적 접근 방식보다 일관되게 우수한 성능을 보였습니다.
- PrefixNAS 에 대한 최적의 레이어 수는 6 개로 확인되었으며, 이를 초과하면 체감 효과가 감소했습니다.
- 프레임워크는 저데이터 환경에서 견고성을 보였으며, 발견된 아키텍처가 GLUE 에서 SuperGLUE 로와 같이 데이터셋 간에 전이 가능하며 미세 조정 시 성능 저하가 최소화됨을 입증했습니다.

5. 중요성과 주장

이 논문은 PEML 이 기존 PEFT 방법들의 프롬프트 불일치와 정적 아키텍처 제한이라는 이중 과제를 해결함으로써 매개변수 효율적 다중 작업 학습에서 중요한 진전을 이루었다고 주장합니다.

통합 구조: PEML 은 단일 통합 어댑터만 요구함으로써 다중 작업 배포의 복잡성을 줄여 자원 통합을 용이하게 하고, 개별 모델을 배포하거나 어댑터를 전환하는 것에 비해 추론 비용을 크게 낮춥니다.
자동화된 적응: PrefixNAS 의 통합은 각 작업별 수동 아키텍처 설계나 교사 프롬프트의 사전 학습 필요성을 제거하여 모델이 새로운 데이터 분포에 프롬프트 구조를 자동으로 적응하도록 합니다.
균형 잡힌 트레이드오프: HellaSwag 와 같은 특정 작업이 전문화된 단일 작업 미세 조정 대비 성능이 약간 낮아질 수 있다는 표준 다중 작업 트레이드오프를 인정하면서도, PEML 은 다양한 작업과 벤치마크 전반에 걸쳐 일관되고 균형 잡힌 개선을 제공합니다.
확장성: 이 방법은 여러 작업에 걸친 LLM 배포를 위한 확장 가능한 솔루션으로 제시되며, 매개변수 효율적 접근법의 계산 효율성을 유지하면서 전체 미세 조정 및 복잡한 MTL-PEFT 방법과 비교할 수 있거나 더 나은 성능을 제공합니다.

저자들은 PEML 이 단일 효율적 프레임워크 내에서 프롬프트 정렬과 모델 적응 과정을 동적으로 최적화함으로써 자연어 이해의 다중 작업 학습 능력을 효과적으로 향상시킨다고 결론지었습니다.