💬 NLP

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

이 논문은 가역 어댑터(invertible adapters)와 LoRA를 혼합 목적 학습(mixed-objective training)과 결합하여 소스 분류와 타겟 마스크 언어 모델링을 동시에 최적화함으로써, 모델 학습 파라미터의 단 7%만을 사용하면서도 MNLI 데이터셋에서 최첨단 성능을 달성한 새로운 매개변수 효율적 비지도 도메인 적응 방법인 MixedPEFT를 소개한다.

원저자: Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohammed Rawhani, Dervis Karaboga, Ozkan Ufuk Nalbantoglu, Alper Basturk, Bahriye Akay

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상의 모든 요리를 마스터한 천재적이고 경험 풍부한 셰프(사전 학습된 언어 모델)가 있다고 상상해 보세요. 하지만 당신이 이 셰프에게 오직 낯선 마을(타겟 도메인)에서 구할 수 있는 재료들만 사용하여 특정 지역 음식을 만들어 달라고 요청하면, 셰프는 어려움을 겪습니다. 원래의 기술을 잊어버리거나, 마을의 모든 식재료를 일일이 맛보며 새로운 레시피를 배우려 하는데, 이는 시간이 너무 오래 걸리고 비용도 너무 많이 듭니다.

**"MixedPEF"**라는 제목의 이 논문은 셰프가 기존의 뿌리를 잊지 않으면서도 큰 비용을 들이지 않고 적응할 수 있도록 하는 영리한 새로운 방법을 제안합니다.

다음은 일상적인 비유를 사용한 이들의 해결책에 대한 분석입니다.

문제점: "전부 아니면 전무(All-or-Nothing)"의 함정

전통적으로 셰프에게 새로운 마을의 스타일을 가르치려면, 그들의 뇌 전체를 다시 훈련시켜야 했습니다(전체 미세 조정/Full Fine-Tuning). 이는 마치 처음부터 새로운 셰프를 고용하거나, 기존의 셰프에게 알고 있는 모든 것을 잊으라고 강요하는 것과 같습니다. 이는 다음과 같은 문제를 일으킵니다:

비용 과다: 엄청난 컴퓨팅 파워가 필요합니다.
위험성: 셰프가 원래의 유명한 요리법을 잊어버릴 수 있습니다(파괴적 망각/Catastrophic Forgetting).
비효율성: 새로운 마을을 위한 라벨링된 데이터(레시피 북)가 필요한데, 이는 대개 존재하지 않습니다.

해결책: "전문 보조팀"

저자들은 셰프 전체를 재학습시키는 대신, 셰프가 적응할 수 있도록 돕는 작고 전문화된 보조팀(PEFT - 매개변수 효율적 미세 조정)을 고용할 것을 제-안합니다. 이들은 셰프의 지식 중 아주 작은 부분(전체 뇌의 약 7%)만을 미세하게 조정하며, 나머지는 그대로 유지하여 안전하게 보호합니다.

하지만 여기에 반전이 있습니다. 대부분의 이전 방식들은 단 한 종류의 보조원만을 고용하려 했습니다. 이 논문은 "혼합된 팀을 고용하자"라고 말합니다.

두 종류의 보조원 (The "Custom Union")

저자들은 주방의 서로 다른 부분에서 일하는 두 가지 특정 유형의 보조원을 결합했습니다:

"가역적 어댑터(Invertible Adapter)": 이것은 번역가라고 생각하면 됩니다. 셰프가 본래의 요리 스타일을 바꾸지 않으면서도 새로운 마을의 지역 방언과 문화적 뉘앙스를 이해하도록 돕습니다. 이는 본래의 정체성을 보존하면서 현지의 풍미를 더해줍니다.
"LoRA (Low-Rank Adaptation)": 이것은 **특화된 수셰프(Sous-chef)**라고 생각하면 됩니다. 특정 요리에 필요한 구체적인 기술(예: 특정 칼질이나 향신료 배합)에만 집중합니다. 매우 가볍고 새로운 과업을 배우는 데 매우 효율적입니다.

이 두 가지를 동시에 사용함으로써, 셰프는 깊은 문화적 이해와 특정 과업 숙련도라는 두 마리 토끼를 모두 잡을 수 있습니다.

훈련 방법: "혼합 목적 워크아웃"

이 팀을 어떻게 훈련시킬까요? 그들은 두 단계의 혼합 워크아웃을 사용합니다:

1단계 (준비 운동): 팀은 새로운 마을의 라벨링되지 않은 음식 일지(라벨 없는 데이터)를 읽으며 현지의 식재료에 대한 감을 익힙니다. 아직 요리를 시도하지는 않습니다. 대신 **마스크드 언어 모델링(Masked Language Modeling)**이라는 기술을 사용하여 문장에서 빠진 단어를 추측하며 마을의 "분위기"를 배웁니다.
2단계 (본 경기): 이것이 이 논문의 핵심 혁신입니다. 새로운 마을을 먼저 훈련시킨 후 원래의 마을을 훈련시키는(또는 그 반대) 방식이 아니라, 이들은 이를 동시에 수행합니다.
- 그들은 **소스(Source)**를 위한 특정 요리를 연습합니다(원래의 과업).
- 동시에, 타겟 마을의 일지에서 빠진 단어를 맞히는 연습을 합니다.

이는 마치 셰프가 특정 레시피를 연습하는 동시에, 현지 문화와 조화를 이루기 위해 현지 라디오를 들으며 튜닝하는 것과 같습니다. 이는 셰프가 새로운 것을 배우는 동안 원래의 레시 recipe를 잊어버리는 것을 방지합니다.

결과: 거인들을 꺾다

저자들은 이를 MNLI라는 거대한 데이터셋(20가지의 "장르" 또는 "방언"을 포함)에서 테스트했습니다.

전문가를 이기다: 그들의 방식은 현재 최고의 "경량" 방식인 UDapter를 명확한 차이로 앞질렀습니다.
헤비급을 이기다: 놀랍게도, 단 **7%**의 매개변수만을 사용한 그들의 방식은 전체 모델을 재학습시키는(100%) 전통적인 "헤비급" 방식(DANN 및 DSN)보다 더 뛰어난 성능을 보였습니다.
안정성: 이 작은 팀을 사용하는 것이 결과를 불안정하거나 "들쭉날쭉하게" 만들지 않는다는 것을 입증했습니다.

핵심 요약

이 논문은 두 가지 다른 유형의 "보조원"(PEFT 방식)을 결합하고, 두 가지 목적(과업 학습과 새로운 도메인 학습)을 동시에 수행하는 훈련을 통해 더 똑똑하고 적응력이 뛰어난 AI를 얻을 수 있다고 주장합니다.

교훈: 새로운 도로에서 자동차를 더 빠르게 만들기 위해 엔진 전체를 재구축할 필요는 없습니다. 때로는 적절한 조합의 경량 도구와 스마트한 훈련 일정만으로도 무거운 중장비를 능가할 수 있습니다.

기술 요약: MixedPEFT

문제 정의
사전 학습된 언어 모델(PrLMs)은 도메인 변화(domain shifts)로 인해 새로운 도메인에 배포될 때 상당한 성능 저하를 겪는 경우가 많습니다. 전통적인 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA) 방식은 레이블이 있는 소스 데이터와 레이블이 없는 타겟 데이터를 활용하여 이를 해결합니다. 그러나 기존의 UDA 접근 방식은 주로 전체 미세 조정(full fine-tuning)에 의존하는데, 이는 계산 비용이 많이 들고, 치명적 망각(catastrophic forgetting)에 취기 쉬우며, 1억 개 이상의 파라미터를 가진 대규모 모델에는 실용적이지 않습니다. 어댑터(Adapters)나 로라(LoRA)와 같은 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning, PEFT) 방법론은 작은 파라미터 부분 집합만을 업데이트함으로써 해결책을 제시하지만, UDA에 대한 적용은 제한적이었습니다. 기존 연구 대부분은 단일 PEFT 방법론이나 순차적 학습 전략에 집중되어 있어, 도메인 적응과 태스크 성능을 위한 동시 최적화의 잠재력을 충분히 활용하지 못하며, 결과적으로 전체 미세 조정 베이스라인에 미치지 못하는 경우가 많습니다.

방법론
본 논문은 비지도 도메인 적응을 해결하기 위해 커스텀 PEFT 구조와 혼합 목적 함수 학습을 결집한 새로운 프레임워크인 MixedPEFT를 제안합니다. 이 방법론은 두 가지 핵심 축을 기반으로 구축됩니다:

커스텀 PEFT 통합 (구조):
저자들은 단일 PEFT 기술에 의존하는 대신, **가역적 어댑터(Invertible Adapters)**와 **로라(LoRA)**를 결적으로 결합한 "커스텀 유니언(custom union)"을 채택합니다.

가역적 어댑터: 도메인 특화 변환을 학습하면서도 정보를 보존하는 능력 때문에 선택되었습니다.
로라(LoRA): 최소한의 계산 부하 내에서 어텐션 메커니즘 내의 태스크 특화 적응을 포착하는 효율성 때문에 선택되었습니다.
통합: 이러한 방법들은 트랜스포머 레이어 내에서 가산적(additively)으로 결합됩니다 ( $h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$ ). 이 구성은 약 768만 개의 학습 가능한 파라미터(BERT-base 모델의 7.055%)를 사용하여 파라미터 과부하를 피하면서도 두 기술의 상호 보완적인 강점을 활용합니다.

혼합 목적 학습 (최적화):
학습 과정은 도메인 적응과 태스크 성능을 동시에 최적화하도록 설계된 두 단계로 구성됩니다:

1단계 (도메인 적응형 사전 학습): 모델은 마스크드 언어 모델링(Masked Language Modeling, MLM) 목적 함수를 사용하여 레이블이 없는 타겟 도메인 데이터로 지속적인 사전 학습을 수행합니다. 이때 PEFT 파라미터만 업데이트됩니다.
2단계 (혼합 목적 미세 조정): 핵심 혁신은 레이블이 있는 소스 데이터에 대한 분류 성능과 레이블이 없는 타겟 데이터에 대한 MLM을 동시에 최적화하는 통합 손실 함수를 포함하는 것입니다. 총 손실은 $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$ 으로 정의됩니다. 가중치 파라미터 $\alpha$ 는 소스와 타겟 데이터셋의 상대적 크기에 따라 동적으로 조정되어 두 목적 함수로부터의 균형 잡힌 기여를 보장합니다.

주요 기여
저자들은 세 가지 주요 기여를 명시합니다:

새로운 접근 방식: 커스텀 PEFT 조합(가역적 어댑터 + 로라)과 태스크 및 도메인 적응 목표를 동시에 최적화하는 혼합 목적 학습 방법론을 특별히 설계한 매개변수 효율적 UDA 전략을 제시합니다.
포괄적 검증: 20개의 서로 다른 도메인 변화에 걸친 다중 장르 자연어 추론(MNLI) 데이터셋에 대한 광범한 실험을 통해, 모델의 7% 파라미터만을 사용하고도 매개변수 효율적 베이스라인 및 전체 미세 조정 베이스라인보다 유의미한 개선을 입증했습니다.
일반화 가능성: 혼합 목적 방법론이 커스텀 유니언과 UniPELT 프레임워크를 모두 사용하는 실험을 통해, 서로 다른 통합 프레임워크와 결합되었을 때도 효과적임을 입증하였습니다.

결과
MNLI 데이터셋에서 평가된 제안 방법의 결과는 다음과 같습니다:

PEFT SOTA 대비 성능: 커스텀 유니언 접근 방식은 평균 Macro F1 점수 **76.39%**를 달성하여, 현재의 매개변수 효율적 SOTA인 UDapter보다 1.41 퍼센트 포인트, 저자들의 이전 순차적 접근 방식보다 0.95 퍼센트 포인트 높은 성능을 보였습니다.
전체 미세 조정 베이스라인 대비 성능: 놀랍게도, 이 방법은 단 7%의 학습 가능한 파라미터를 사용했음에도 불구하고, 전통적인 전체 미세 조정 UDA 방법인 DANN보다 1.26 퍼센트 포인트, DSN보다 0.86 퍼센트 포인트 높은 성능을 기록했습니다.
효율성: 이 접근 방식은 상한선(타겟 데이터에 대한 완전 지도 학습) 성능의 **96.7%**에 도달했습니다.
절제 연구(Ablation Studies): 단일 PEFT 방법(가역적 어댑터 단독)과 결합된 접근 방식을 비교한 실험은, 단일 방법론은 동시 최적화 전략의 잠재력을 완전히 활용할 수 없기 때문에 PEFT 조합이 혼합 목적 학습의 효과를 극대화하는 데 필수적임을 확인시켜 주었습니다.
안정성: 표준 편차 분석은 성능 향상이 모델의 안정성을 해치지 않고 달성되었음을 나타내며, 기존 방법들과 유사한 분산을 보여주었습니다.

의의
본 논문은 매개변수 효율적 비지도 도메인 적응의 새로운 벤치마크를 설정했다고 주장합니다. 정교하게 설계된 PEFT 방법의 조합이 동시 혼합 목적 최적화와 결합될 때, 계산 비용이 많이 드는 전통적인 전체 미세 조정 방식뿐만 아니라 기존의 매개변수 효율적 방식들까지 능가할 수 있음을 입증합니다. 이 연구는 상호 보완적인 PEFT 기술 간의 시너지와 동시 최적화가 전체 미세 조정의 비용 없이 도메인 변화의 한계를 극복하는 데 결정적인 요소임을 시사합니다.