💬 NLP

WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting

WAVE++는 태스크별 프롬프트 풀(Prompt Pool)과 레이블 설명(Label Description)을 활용하여 태스크 내/간 변동성을 효과적으로 포착하고, 생성 모델을 통해 데이터 저장 없이도 망각을 방지하며 지속적 관계 추출(CRE) 성능을 극대화한 프롬프트 기반 학습 방법론입니다.

원저자: Bao-Ngoc Dao, Minh Le, Quang Nguyen, Luyen Ngo Dinh, Nam Le, Linh Ngo Van

게시일 2026-02-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bao-Ngoc Dao, Minh Le, Quang Nguyen, Luyen Ngo Dinh, Nam Le, Linh Ngo Van

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "공부하면 공부할수록 옛날 걸 까먹는 학생"

우리가 인공지능에게 '관계 추출(Relation Extraction)'이라는 공부를 시킨다고 해봅시다. 예를 들어, "철수는 서울에 산다"라는 문장에서 '철수'와 '서울'의 관계가 '거주'라는 것을 배우는 식이죠.

문제는 인공지능이 **'수학'**을 배우고 나서 **'영어'**를 배우면, 갑자기 수학 문제를 못 풀게 된다는 거예요. 이걸 전문 용어로 **'파괴적 망각(Catastrophic Forgetting)'**이라고 합니다. 마치 새로운 노래를 배우느라 예전에 즐겨 듣던 노래 가사를 통째로 잊어버리는 것과 같죠.

기존에는 이 문제를 해결하려고 **'오답 노트(메모리 버퍼)'**를 만들어서 예전 문제를 계속 다시 봤어요. 하지만 이건 노트 양이 너무 많아져서 무겁고, 개인정보(데이터)가 유출될 위험도 있었죠.

2. 해결책: WAVE++ (똑똑한 멀티 전문가 시스템)

이 논문에서 제안한 **WAVE++**는 오답 노트를 만드는 대신, 아주 특별한 **'전문가 팀'**을 구성하는 방식을 사용합니다.

① "과목별 전용 요리 도구함" (Task-specific Prompt Pools)

기존 방식은 모든 요리(태스크)를 할 때 하나의 커다란 도구함에서 도구를 꺼내 썼어요. 그러다 보니 한식 요리를 할 때 중식 도구가 섞여 들어와 맛이 이상해지기도 했죠.

WAVE++는: 한식 전용 도구함, 중식 전용 도구함, 양식 전용 도구함을 따로 만듭니다. 각 과목(태스크)마다 딱 맞는 '프롬프트(전문가 도구)'를 따로 보관해서, 지식이 서로 섞여서 망가지는 걸 막았습니다.

② "레시피 설명서 읽기" (Label Descriptions)

단순히 "이건 '거주' 관계야"라고 외우는 게 아니라, **"거주란 어떤 사람이 특정 장소에 머무는 상태를 말해"**라는 상세한 설명서를 함께 공부합니다.

비유하자면: 요리할 때 그냥 '소금'이라고 외우는 게 아니라, '짠맛을 내고 음식의 풍미를 돋우는 하얀 가루'라는 상세한 특징을 이해하는 거예요. 이렇게 하면 나중에 비슷한 재료를 봐도 헷mal리지 않고 정확히 구분할 수 있습니다.

③ "투표로 결정하는 팀장님" (Cascade Voting)

새로운 문제가 들어왔을 때, 이게 수학 문제인지 영어 문제인지 판단하는 게 중요합니다. 기존에는 한 명의 판단관(MLP)이 결정했는데, 이 사람이 실수하면 큰일 나죠.

WAVE++는: 여러 명의 전문가(프롬프트 풀)에게 물어봅니다. "이거 무슨 과목 같아?"라고 물어보고, **다수결(투표)**로 결정합니다. 만약 의견이 갈리면 더 많은 전문가를 불러와서 끝까지 투표를 진행하는 '계단식 투표' 방식을 써서 아주 정확하게 판단합니다.

④ "기억을 되살리는 마법의 가루" (Generative Models)

옛날 데이터를 직접 저장하는 대신, '옛날 지식의 특징'을 생성해내는 마법의 가루를 만듭니다.

비유하자면: 예전에 먹었던 맛있는 떡볶이 레시피를 종이에 적어두는 게 아니라, 그 맛의 '느낌(데이터의 분포)'을 머릿속에 완벽히 기억해 두었다가, 새로운 요리를 할 때 그 느낌을 살짝 뿌려주는 거예요. 덕분에 실제 데이터를 저장하지 않고도 옛날 지식을 계속 유지할 수 있습니다.

3. 요약하자면?

**WAVE++**는 인공지능이 새로운 지식을 배울 때:

과목별 전용 도구함을 따로 써서 지식이 섞이지 않게 하고,
상세한 설명서를 읽어 개념을 확실히 잡으며,
다수결 투표로 지금 공부할 과목을 정확히 찾아내고,
기억의 느낌을 생성해내어 옛날 지식을 잊지 않게 만드는

**"매우 체계적이고 똑똑한 멀티 전문가 학습법"**이라고 할 수 있습니다. 결과적으로 이 방식은 기존의 어떤 방식보다도 새로운 걸 배우면서도 옛날 걸 훨씬 더 잘 기억해냈습니다!

[기술 요약] WAVE++: 적응형 프롬프팅을 통한 지속적 관계 추출 내 작업 내 분산 포착

1. 문제 정의 (Problem Statement)

지속적 관계 추출(Continual Relation Extraction, CRE)은 새로운 관계를 순차적으로 학습하면서 이전에 학습한 관계를 잊어버리는 '파괴적 망각(Catastrophic Forgetting)' 문제를 해결해야 합니다. 기존 방식은 크게 두 가지로 나뉩니다:

Rehearsal-based (재현 기반): 과거 데이터를 메모리 버퍼에 저장하여 재학습하지만, 메모리 사용량이 많고 데이터 프라이버시 문제가 발생합니다.
Prompt-based (프롬프트 기반): 데이터를 저장하지 않고 학습 가능한 파라미터(프롬프트)만 사용하여 효율적이지만, 다음과 같은 한계가 있습니다:
- 작업 식별 오류: 추론 시 현재 입력이 어떤 작업(Task)에 속하는지 정확히 판별하기 어렵습니다.
- 작업 내 분산(Within-task variance) 처리 미흡: 단일 프롬프트가 작업 내의 다양한 문맥적 변동성을 모두 담아내지 못합니다.
- 공유 파라미터의 망각: 프롬프트 외의 공유된 파라미터(Classifier 등)에서 발생하는 망각을 막기 어렵습니다.

2. 핵심 방법론 (Methodology)

본 논문은 프롬프트 튜닝(Prefix-tuning)과 전문가 혼합(Mixture of Experts, MoE) 모델 간의 연결 고리를 활용하여 **WAVE++**를 제안합니다.

작업별 프롬프트 풀 (Task-specific Prompt Pools):
- 기존의 공유 프롬프트 풀 대신, 각 작업마다 독립적인 프롬프트 풀( $P_t$ )을 할당합니다.
- 이를 통해 작업 간 간섭(Interference)을 방지하고, 각 작업의 고유한 특성을 보존합니다.
- 특히 프롬프트 길이를 $L=1$ 로 설정하여, 각 전문가(Expert)가 고유한 키(Key)를 갖게 함으로써 입력에 따라 유연하게 전문가를 선택할 수 있는 SMoE(Sparse MoE) 구조를 구현합니다.
레이블 설명 활용 (Enhancing with Label Descriptions):
- 관계의 의미적 맥락을 강화하기 위해 LLM(Gemini 1.5)으로 생성된 상세한 **레이블 설명(Label Descriptions)**을 사용합니다.
- **대조 학습(Contrastive Loss, $\mathcal{L}_{cl}$ )**을 통해 모델의 표현(Representation)이 정답 레이블의 설명과는 가까워지고, 오답 레이블의 설명과는 멀어지도록 학습하여 관계 식별력을 높입니다.
캐스케이드 투표 기반 작업 예측 (Cascade Voting for Task Prediction):
- 별도의 MLP 분류기 대신, 각 프롬프트 풀이 스스로 작업 정체성을 투표하는 방식을 채택합니다.
- **마할라노비스 거리(Mahalanobis distance)**를 기반으로 각 전문가의 투표를 집계하며, '캐스케이드(계단식)' 구조를 통해 작업 간 경계에서 발생하는 예측 불일치를 효과적으로 해결합니다.
생성 모델을 통한 망각 방지 (Generative Replay):
- 과거 데이터를 저장하는 대신, 이전 작업의 관계 표현 분포(평균 $\mu$ 와 공분산 $\Sigma$ )를 저장합니다.
- 추론 시 이 분포로부터 **가상 데이터(Latent representations)**를 생성하여 분류기(Classifier)를 재학습함으로써, 데이터 저장 없이도 공유 파라미터의 망각을 방지합니다.

3. 주요 기여 (Key Contributions)

이론적 연결: 프롬프트 기반 지속 학습 프레임워크를 MoE 구조의 특수한 사례로 해석하여 새로운 설계 방향을 제시했습니다.
WAVE++ 아키텍처 제안: 작업별 프롬프트 풀, 레이블 설명 기반 대조 학습, 캐스케이드 투표, 생성적 재현을 결합한 통합 프레임워크를 구축했습니다.
효율성 및 프라이버시: 데이터를 직접 저장하지 않으면서도(Rehearsal-free) 기존 재현 기반 방식보다 뛰어난 성능을 달성하여 메모리 효율성과 프라이버시 문제를 동시에 해결했습니다.

4. 실험 결과 (Results)

데이터셋: FewRel 및 TACRED (CRE 벤치마크)
성능:
- Rehearsal-free 방식 중 최고 성능: 기존의 L2P, HiDe-Prompt, EoE 등을 압도하는 성능을 보였습니다.
- Rehearsal-based 방식 능가: 데이터를 실제로 저장하는 기존의 최첨단(SOTA) 방식들보다 더 높은 정확도를 기록했습니다.
- 망각 저항성: 작업이 진행됨에 따라(T1 $\rightarrow$ T10) 정확도 하락 폭이 매우 적어, 지속적 학습 능력이 매우 뛰어남을 입증했습니다.
Ablation Study: 프롬프트 풀, 레이블 설명, 생성적 재현이 각각 성능 향상에 핵심적인 역할을 함을 확인했습니다.

5. 의의 (Significance)

WAVE++는 **"데이터를 저장하지 않고도 어떻게 과거의 지식을 효과적으로 유지할 것인가?"**라는 지속 학습의 핵심 난제에 대해, **'프롬프트의 전문가화(MoE)'**와 **'의미적 맥락(Label Description)의 주입'**이라는 매우 영리한 해법을 제시했습니다. 이는 향후 대규모 언어 모델(LLM)을 활용한 지속적 학습 연구에 중요한 이정표가 될 수 있는 연구입니다.