💻 computer science

LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

이 논문은 기존 프롬프트 기반 클래스 증분 학습의 한계를 극복하기 위해 레이어 중요도 기반의 적응적 레이어 선택과 프롬프트 풀의 동적 확장 및 동결을 가능하게 하는 LDEPrompt 를 제안하여, 광범위한 벤치마크에서 최첨단 성능을 달성함을 보여줍니다.

원저자: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

게시일 2026-04-15

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Linjie Li, Zhenyu Wu, Huiyu Xiao, Yang Ji

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧠 핵심 비유: "지혜로운 도서관 사서와 확장 가능한 책장"

인공지능 모델이 새로운 과목 (예: 고양이 사진, 자동차 사진, 꽃 사진 등) 을 순서대로 배워나가는 상황을 상상해 보세요. 기존 방식들은 이 과정에서 두 가지 큰 문제를 겪었습니다.

책장이 꽉 차서 새로운 책을 넣을 수 없다. (고정된 기억 공간)
새로운 책을 넣으려고 하면, 예전에 읽던 중요한 책들이 찢어지거나 사라진다. (기존 지식 파괴)

LDEPrompt는 이 문제를 해결하기 위해 **"지혜로운 사서 (Layer-importance)"**와 **"이중 책장 시스템 (Dual Expandable Prompt Pool)"**을 도입했습니다.

1. "어떤 책장에 책을 넣을까?" (레이어 중요도 평가)

기존에는 모든 책장 (모델의 모든 층) 에 무작위로 책을 넣거나, 정해진 곳에만 넣었습니다. 하지만 LDEPrompt 는 새로운 과목을 배우기 전에, **"이 과목은 뇌의 어떤 부분이 가장 활발하게 움직일까?"**를 먼저 분석합니다.

비유: 학생이 수학 문제를 풀 때, 논리력이 필요한지, 아니면 시각적 기억이 필요한지 먼저 파악하는 것과 같습니다.
효과: 중요한 부분 (정보를 가장 많이 얻는 층) 에만 집중해서 새로운 지식 (프롬프트) 을 넣으므로, 불필요한 공간 낭비를 줄이고 학습 효율을 극대화합니다.

2. "영구 보관함 vs 임시 작업대" (이중 확장형 프롬프트 풀)

이것이 이 방법의 가장 큰 특징입니다. 기억을 두 개의 공간으로 나눕니다.

🔒 영구 보관함 (Global Prompt Pool):
- 과거에 배운 모든 중요한 지식 (예: 고양이, 개, 자동차) 이 여기에 안전하게 보관됩니다.
- 특징: 한번 저장되면 절대 수정하거나 지우지 않습니다 (동결). 그래서 이전에 배운 것을 잊어버릴 걱정이 없습니다.
📝 임시 작업대 (Training Prompt Pool):
- 지금 당장 배우고 있는 새로운 과목 (예: 새로운 꽃 종) 을 위해 마련된 공간입니다.
- 특징: 이 공간은 유연하게 확장됩니다. 새로운 과목이 들어오면 작업대 크기를 늘려서 새로운 지식을 채웁니다.

작동 원리:
새로운 과목을 배울 때, 사서 (시스템) 는 영구 보관함에서 가장 비슷한 지식을 찾아와서 임시 작업대에 가져다 놓습니다. 그리고 새로운 지식은 작업대에서 배우고, 배움이 끝나면 다시 영구 보관함에 안전하게 넣어둡니다. 이렇게 하면 새로운 것을 배우면서도 예전 지식을 훼손하지 않고, 필요할 때만 공간을 늘려갈 수 있습니다.

3. "자동으로 책장 크기 늘리기" (동적 확장)

기존 방법들은 책장 크기를 미리 정해두어서, 책이 너무 많아지면 어쩔 수 없이 예전 책을 버려야 했습니다. 하지만 LDEPrompt 는 책이 쌓일 때마다 새로운 책장을 자동으로 추가합니다. 그래서 시간이 지나도 기억할 공간이 부족해지지 않습니다.

🏆 실험 결과: 왜 이 방법이 좋은가요?

연구팀은 이 방법을 여러 가지 이미지 분류 테스트 (CIFAR100, CUB, VTAB 등) 에 적용해 보았습니다. 결과는 다음과 같습니다.

압도적인 성적: 기존에 가장 잘하던 방법들보다 평균적으로 더 높은 점수를 받았습니다. 특히 마지막에 배운 과목에서 실력이 떨어지는 현상을 크게 줄였습니다.
유연성: 어떤 데이터셋이든, 어떤 순서로 학습하든 일관되게 좋은 성능을 발휘했습니다.

💡 한 줄 요약

LDEPrompt는 인공지능이 새로운 것을 배울 때, "어떤 뇌 부위를 쓸지 먼저 정하고 (레이어 선택), 예전 지식은 금고에 안전하게 보관한 채 (동결), 새로운 지식은 작업대에서 배우고 책장을 늘려가는 (확장)" 똑똑한 학습 방식을 제안합니다.

이 덕분에 인공지능은 평생 학습을 하더라도 머리가 나빠지거나 (망각), 공간이 부족해지지 않는 진정한 '지속 가능한 학습'을 가능하게 합니다.

1. 연구 배경 및 문제 정의 (Problem)

클래스 증분 학습 (Class-Incremental Learning, CIL) 은 새로운 클래스의 데이터를 순차적으로 학습하되, 이전에 학습한 지식을 잊지 않고 (Catastrophic Forgetting 방지) 새로운 데이터를 저장하지 않고 학습하는 것을 목표로 합니다. 최근 사전 학습된 모델 (Pre-trained Models, PTM) 을 기반으로 한 프롬프트 학습 (Prompt-based Learning) 이 주목받고 있으나, 기존 접근법에는 다음과 같은 한계가 존재합니다.

고정된 프롬프트 풀 (Fixed Prompt Pool): 프롬프트 풀의 크기가 고정되어 있어 새로운 태스크를 수용하는 데 한계가 있습니다.
과도한 덮어쓰기 (Overwriting): 서로 다른 태스크에서 반복적으로 선택된 프롬프트가 서로를 덮어쓰며 이전 지식을 손실시킵니다.
수동 및 백본 의존성: 프롬프트 선택이 고정된 사전 학습 모델의 임베딩에만 의존하여 태스크별 고유 정보를 반영하지 못하며, 백본 모델에 대한 의존도가 강합니다.

2. 제안 방법론: LDEPrompt (Methodology)

저자들은 위 문제들을 해결하기 위해 레이어 중요도 기반 이중 확장 가능 프롬프트 풀 (Layer-importance guided Dual Expandable Prompt Pool, LDEPrompt) 을 제안했습니다. 주요 구성 요소는 다음과 같습니다.

2.1. 레이어 중요도 평가 (Layer Importance Evaluation)

새로운 태스크 학습 전, 사전 학습된 백본 모델에 데이터를 통과시켜 각 레이어의 정보 이득 (Information Gain, IG) 을 계산합니다.
정보 이득은 레이어 입력과 출력 간의 상호 정보량 (Mutual Information) 차이로 정의됩니다.
Softmax 를 통해 정규화된 중요도 점수가 평균 이상인 레이어들을 선별하여, 해당 위치에만 프롬프트 풀을 삽입합니다. 이는 모든 레이어에 프롬프트를 넣는 것보다 파라미터 효율성을 높이고 태스크 특성에 맞는 적응을 가능하게 합니다.

2.2. 이중 확장 가능 프롬프트 풀 (Dual Expandable Prompt Pools)

과거 태스크의 프롬프트가 손실되지 않도록 글로벌 풀 (Global Pool, $P_g$ ) 과 현재 태스크 학습 풀 (Training Pool, $P_c$ ) 의 이중 구조를 설계했습니다.

글로벌 풀 ( $P_g$ ): 모든 과거 태스크에서 학습된 프롬프트를 저장하며, 학습 중에는 동결 (Frozen) 되어 지식 보존을 보장합니다.
학습 풀 ( $P_c$ ): 현재 태스크 전용으로 고정된 용량 ( $S$ ) 을 가지며 학습됩니다.
동적 확장 및 공유 메커니즘:
1. 새로운 태스크가 들어오면, 현재 태스크의 중간 특징 (예: CLS 토큰) 과 글로벌 풀에 저장된 키 (Key) 간의 코사인 유사도를 계산합니다.
2. 가장 유사한 상위 $s$ 개의 프롬프트를 글로벌 풀에서 가져와 학습 풀에 고정하고, 나머지 $S-s$ 개의 프롬프트는 무작위로 초기화하여 학습합니다.
3. 학습이 완료되면 새로 학습된 프롬프트는 글로벌 풀에 추가되어 풀이 동적으로 확장됩니다.
- 이 방식은 이전 태스크의 프롬프트를 덮어쓰지 않으면서도, 태스크 간 지식 공유를 가능하게 합니다.

2.3. 최적화 (Optimization)

학습 풀 내의 프롬프트와 분류기는 표준 교차 엔트로피 손실 함수를 사용하여 함께 최적화됩니다.

3. 주요 기여 (Key Contributions)

적응형 레이어 선택: 정보 이득을 기반으로 프롬프트를 삽입할 최적의 레이어를 동적으로 선택하여, 불필요한 파라미터 증가를 막고 태스크 특성에 맞는 표현 학습을 유도합니다.
이중 풀 아키텍처: 동결된 글로벌 풀과 학습 가능한 태스크별 풀을 분리함으로써, catastrophic forgetting 을 방지하면서도 새로운 태스크 수용을 위한 확장성을 동시에 확보했습니다.
지식 보존 및 공유: 유사도 기반 매칭을 통해 이전 태스크의 지식을 보존하고, 새로운 태스크에 필요한 프롬프트를 효율적으로 재사용하거나 확장합니다.

4. 실험 결과 (Results)

저자들은 CIFAR100, CUB, VTAB 등 널리 사용되는 3 가지 벤치마크에서 광범위한 실험을 수행했습니다.

성능: LDEPrompt 는 기존 최첨단 (SOTA) 방법들 (L2P, DualPrompt, CODA-Prompt 등) 을 능가하는 성능을 보였습니다.
- 평균 정확도 (Avg): CIFAR100 에서 0.50%, CUB 에서 2.91%, VTAB 에서 1.37% 향상.
- 최종 단계 정확도 (Last): 동일한 세팅에서 각각 0.50%, 2.91%, 1.37% 향상.
Ablation Study:
- 이중 풀 설계 (동결 및 확장) 가 모두 필수적임을 입증했습니다.
- 모든 레이어에 프롬프트를 삽입하는 것보다, 중요도 평가를 통해 선택적으로 삽입하는 것이 파라미터 중복을 줄이고 성능을 향상시킵니다.

5. 의의 및 결론 (Significance)

이 논문은 프롬프트 기반의 클래스 증분 학습에서 레이어 수준의 프롬프트 할당과 확장 가능한 아키텍처의 중요성을 강조합니다. LDEPrompt 는 고정된 백본 모델을 유지하면서도 새로운 태스크에 유연하게 적응하고, 이전 지식을 효과적으로 보존하는 메커니즘을 제공함으로써, 제한된 자원 환경에서의 지속적 학습 (Continual Learning) 을 위한 강력한 해결책을 제시합니다. 특히, 예시 (Exemplar) 를 저장하지 않는 (Exemplar-free) 설정에서도 뛰어난 확장성과 성능을 입증했습니다.