🤖 machine learning

Memory-Efficient Continual Learning with CLIP Models

본 논문은 최소한의 메모리 버퍼로도 CLIP 모델이 새로운 작업에 적응하면서도 치명적인 망각을 최소화할 수 있도록 클래스별 손실을 동적으로 재가중치하여 메모리 효율적이고 분포 강건한 지속 학습 방법을 제안한다.

원저자: Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

게시일 2026-05-06

📖 4 분 읽기☕ 가벼운 읽기

원저자: Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

CLIP이라는 이름의 초지능 학생이 있다고 상상해 보세요. 이 학생은 이미지와 단어를 연결하는 데 놀라울 정도로 뛰어납니다. 고양이 사진과 "고양이"라는 단어를 보여주면 그 연결고리를 즉시 이해합니다. 이 학생은 방대한 도서관의 책과 사진을 공부했기 때문에 세상에 대해 많은 것을 알고 있습니다.

하지만 문제가 하나 있습니다. 이 학생에게 새로운 것을 가르치려고 하면—예를 들어 희귀한 조류의 특정 종류를 인식하는 법—이 학생이 평범한 고양이에 대해 알고 있던 모든 것을 실수로 잊어버릴 수 있습니다. 이를 **"파괴적 망각 (catastrophic forgetting)"**이라고 합니다. 이는 책에 새로운 장을 쓰려고 하는데 잉크가 너무 젖어 있어 이전 페이지들을 번져버리는 것과 같습니다.

텍사스 A&M 대학의 라이언 킹 (Ryan King) 과 그의 팀이 작성한 논문은 다음과 같은 질문을 던집니다: 특히 이전 노트를 보관할 공간이 많지 않을 때, 어떻게 이 학생에게 새로운 것을 가르치면서 이전 내용을 지우지 않을 수 있을까요?

그들이 이를 해결한 방법은 두 가지 주요 아이디어를 사용한 것입니다:

1. 문제: "작은 배낭"

보통 학생이 잊지 않도록 하기 위해 교사들은 "기억 버퍼 (memory buffer)"를 제공합니다. 이는 학생이 이전에 배운 모든 것의 몇 가지 예시 (이전 고양이, 개, 자동차 사진 등) 를 보관하는 배낭과 같습니다. 새로운 것을 배울 때 교사는 학생에게 "이거 잊지 마!"라고 상기시키기 위해 이전 사진들을 꺼냅니다.

하지만 현실 세계에서는 거대한 배낭을 들고 다닐 수 없는 경우가 많습니다. 어쩌면 몇 장의 사진만 보관할 공간이 있을 뿐입니다. 배낭이 작아지면 학생은 혼란을 겪습니다. 새로운 것에만 지나치게 집중하다가 이전 내용을 놓쳐버리는 것입니다. 논문은 이 "배낭"이 너무 작을 때 기존 방법들은 실패한다는 것을 발견했습니다.

2. 해결책: 두 가지 새로운 교수 전략

저자들은 이 학생이 어떻게 배우는지에 기반한 두 가지 해결책을 제안했습니다.

전략 A: "전체 그룹 포옹 (Global Group Hug)" (전체 대비 손실, Global Contrastive Loss)

학생이 사진을 분류하는 법을 배우고 있다고 상상해 보세요. 이 방법은 한 번에 한 장의 사진만 보는 대신, 학생에게 배낭에 있는 몇 장의 이전 사진과 새로운 사진들을 포함한 전체 사진 그룹을 한 번에 보라고 요청합니다.

작동 원리: 학생은 유사한 것들을 묶고 (모든 고양이처럼) 다른 것들은 멀어지게 (고양이 vs 개) 하는 법을 배웁니다.
비법: 학생이 전체 그룹을 보기 때문에, 새로운 사진 한 장에만 혼란을 겪지 않습니다. 그들은 이전 지식의 "형태"를 기억합니다.
가장 적합한 경우: 중간에서 큰 크기의 배낭을 가지고 있을 때입니다. 그룹 포옹을 균형 있게 유지할 만큼 충분한 이전 예시가 있을 때 매우 잘 작동합니다.

전략 B: "강한 코치 (Tough Coach)" (분포 강건 최적화, Distributionally Robust Optimization)

이것은 배낭이 매우 작을 때를 위한 이 논문의 주요 혁신입니다.

학생이 시험을 치르고 있다고 상상해 보세요. 쉬운 문제 (정답을 아는 문제) 가 있고 어려운 문제 (계속 틀리는 문제) 가 있습니다. 일반적인 교사는 학생이 몇 문제를 맞추면 넘어가지만, 이 "강한 코치" 방법은 다음과 같이 말합니다: "멈춰! 어려운 문제에 집중해야 해!"

작동 원리: 시스템은 자동으로 어떤 클래스 (예: 특정 조류 종류) 가 학생에게 가장 많은 어려움을 주거나 작은 배낭에서 과소 대표되는지 감지합니다. 그런 다음 훈련 중에 이러한 어려운 예시들에 추가 가중치나 중요성을 부여합니다.
비유: 이는 코치가 선수가 왼손 던지기에 어려움을 겪는 것을 알아차리는 것과 같습니다. 모든 것을 균등하게 연습하는 대신, 코치는 선수가 나아질 때까지 시간의 80% 를 왼손 던지기에 할애합니다.
가장 적합한 경우: 배낭이 매우 작을 때입니다. 이전 예시가 거의 남아 있지 않더라도 학생이 잊혀진 이전 세부 사항들을 무시하지 않도록 보장합니다.

3. 결과: 무슨 일이 일어났나요?

팀은 두 가지 유형의 도전 과제에서 이러한 방법들을 테스트했습니다:

새로운 카테고리 학습: 100 가지 동물 종류를 알고 있는 상태에서 100 가지 더 배우는 것.
새로운 환경 학습: 같은 동물들을 인식하는 법을 배우되, 이제는 다른 스타일의 사진 (만화, 스케치, 실사) 에서 인식하는 것.

연구 결과는 다음과 같습니다:

기존 방법들 (이전에 사용된 것들) 은 기억 배낭이 작아지면 붕괴되었습니다. 그들은 이전 내용을 빠르게 잊어버렸습니다.
**"전체 그룹 포옹"**은 이전 예시를 적당히 많이 보관할 만큼 충분한 공간이 있을 때 매우 잘 작동했습니다.
**"강한 코치 (DRO)"**는 작은 배낭을 위한 슈퍼스타였습니다. 아주 적은 수의 이전 예시만으로도 이 방법은 학생의 기억을 예리하게 유지하고, 미래를 배우는 동안 과거를 잊지 않도록 방지했습니다.

결론

이 논문은 모델이 이전 기억에 주의를 기울이는 방식을 변경함으로써—전체 그룹을 보거나 어려운 부분에 더 집중하는 방식—AI 가 과거를 잃지 않고 지속적으로 학습하도록 가르칠 수 있음을 보여줍니다. 이는 마치 학생이 최종 시험을 준비하느라 바쁘더라도 첫 번째 수업 내용을 결코 잊지 않는 평생 학습자가 되도록 가르치는 것과 같습니다.

기술 요약: CLIP 모델을 활용한 메모리 효율적 지속 학습

문제 정의
대조적 언어 - 이미지 사전 학습 (CLIP) 모델은 이미지와 텍스트 간의 관계를 이해하는 데 뛰어난 능력을 보여주지만, 이전 지식을 잊지 않고 새로운 데이터 스트림에 적응하는 것 (파괴적 망각) 에는 상당한 어려움을 겪습니다. 지속 학습 (CL) 은 동적 환경에 필수적이지만, CLIP 에 이를 적용하는 연구는 아직 미흡한 상태입니다. 기존 접근법들은 종종 과거 작업 데이터를 포함하는 메모리 버퍼에 의존하여 이전 정보를 재학습합니다. 그러나 CLIP 의 대조적 손실 함수는 이러한 메모리 버퍼가 작을 때 성능이 저하되어 이전 작업에 대한 성능이 떨어지는 문제가 발생합니다. 본 연구가 해결하는 핵심 과제는 CLIP 기반 지속 학습에서 제한된 메모리 버퍼를 효율적으로 활용하여 새로운 작업에 대한 성능과 이전 작업에 대한 지식 유지 사이의 균형을 어떻게 맞출 것인가입니다.

방법론
저자들은 클래스 증분 및 도메인 증분 학습 설정을 위해 CLIP 을 확장하는 두 가지 독특한 접근법을 제안하며, 이미지와 텍스트 레이블을 공동으로 인코딩하는 이모달 대조 학습 목적 함수를 활용합니다.

전역 대조 손실 (GCL):
- 메커니즘: 이 접근법은 미세 조정 과정에서 이전 데이터와 새로운 데이터를 동등하게 취급합니다. 현재 작업 데이터 ( $D_t$ ) 와 과거 샘플의 메모리 뱅크 ( $M_t$ ) 의 합집합에 대해 대조적 목적 함수를 정의합니다.
- 최적화: 대조 항을 위해 전체 데이터셋에 대한 합을 계산하는 연산 비용을 처리하기 위해, 이 방법은 기울기 성분에 대한 이동 평균 추정기 ( $u^I$ 및 $u^T$ ) 를 사용합니다. 이를 통해 모델은 작업 간 데이터 분포에 대한 '전역적'인 관점을 유지할 수 있으며, 데이터셋의 전체 재계산 없이 이전 작업의 정보가 현재 기울기 업데이트에 반영되도록 합니다.
- 목표: 레이블과 이미지를 공동으로 임베딩하고 CLIP 의 사전 학습된 능력을 활용함으로써 파괴적 망각에 대한 저항력을 강화하는 것입니다.
그룹 분포 강건 최적화 (GDRO):
- 동기: 고정된 메모리 크기를 가진 시나리오에서는 새로운 작업이 추가됨에 따라 클래스당 예제 수가 감소하여 이전 작업과 현재 작업 분포 간의 불균형이 발생합니다. 표준 GCL 은 이러한 불균형에 취약합니다.
- 메커니즘: 이 방법은 클래스 손실을 동적으로 재가중치하는 그룹 DRO 목적 함수를 도입합니다. 훈련 과정에서 손실이 높은 클래스 (어려운 클래스) 에 더 큰 가중치를 부여합니다.
- 최적화: 목적 함수는 $\min_w \max_{p \in \Delta} \sum p_k h_k$ 형태의 미니맥스 문제로 공식화되며, 이는 로그 - 합 - 지수 (log-sum-exp) 공식으로 동등하게 표현됩니다. 기울기 추정 시 중첩 함수의 문제를 해결하기 위해 저자들은 확률적 합성 최적화 (Stochastic Compositional Optimization) 를 적용합니다. 손실 항과 대조 성분에 대한 이동 평균 추정기를 모두 유지하여 미니배치를 사용한 효율적인 기울기 계산을 가능하게 합니다.

주요 기여

이모달 대조 프레임워크: 본 논문은 이미지와 텍스트 레이블을 공동으로 임베딩하는 이모달 대조 목적 함수를 제안함으로써 CLIP 을 지속 학습으로 확장하며, 표준 선형 분류기에 비해 적응성과 유지력을 향상시킵니다.
메모리 효율적 알고리즘: 저자들은 최소한의 메모리 사용으로도 효과적으로 작동하도록 특별히 설계된 GCL 과 GDRO 를 도입했습니다.
동적 재가중치: GDRO 방법은 고정 크기 메모리 버퍼에 내재된 클래스 불균형을 동적으로 손실을 재가중치함으로써 해결하며, 메모리가 제한된 상황에서도 견고한 성능을 보장합니다.

실험 결과
이 방법들은 사전 학습된 CLIP ViT-B/16 인코더를 사용하여 클래스 증분 데이터셋 (CIFAR-100, ImageNet1K) 과 도메인 증분 데이터셋 (DomainNet) 에서 평가되었습니다.

ImageNet1K (클래스 증분): 제안된 방법들은 모든 메모리 크기에서 기준선 (EWC, DER, iCaRL, Co2L, FOSTER 포함) 보다 현저히 우수한 성능을 보였습니다. 특히 메모리 크기가 감소함에 따라 Co2L 과 같은 단일 모드 대조 접근법은 급격한 성능 저하를 겪은 반면, 제안된 방법들은 견고성을 유지했습니다.
CIFAR-100 (클래스 증분): 메모리 크기가 감소함에 따라 GDRO 방법은 제로샷 평가와Comparable 한 성능을 유지하여 일부 망각에도 불구하고 견고한 유지력을 보여주었습니다. 대조적 방법 (GCL) 은 큰 메모리에서는 더 좋은 성능을 보였으나, 메모리가 없을 경우 성능이 크게 저하되었습니다. 반면 GDRO 는 엄격한 메모리 제약 하에서도 안정적으로 유지되었습니다.
DomainNet (도메인 증분): 두 방법 모두 기준선 제로샷 결과보다 우수한 성능을 보였습니다. CaSSLe 와 같은 대조적 방법들은 메모리 뱅크 없이 지식을 유지하는 데 어려움을 겪은 반면, GDRO 목적 함수는 모든 작업을 완료한 후 GCL 보다 우수한 유지력과 적응력을 보여주었습니다.

의의 및 주장
본 논문은 입력 데이터와 레이블을 모두 이모달 대조 프레임워크 내에 임베딩하는 것이 전통적인 선형 분류기 접근법보다 파괴적 망각을 더 효과적으로 줄인다고 주장합니다. 이 연구의 의의는 다음과 같은 점을 입증하는 데 있습니다:

멀티모달 학습: CLIP 고유의 이미지와 텍스트의 공동 임베딩을 활용하는 것은 동적 환경에서의 지속 학습에 유익합니다.
적응형 가중치: (GDRO 를 통한) 클래스의 동적 재가중치는 메모리 자원이 제한된 상황에서 지식을 유지하는 데 특히 효과적이며, 메모리 기반 지속 학습의 주요 병목 현상을 해결합니다.
효율성: 제안된 방법들은 최소한의 메모리 사용으로도 CLIP 모델이 새로운 작업에 빠르게 적응하면서도 파괴적 망각을 최소화할 수 있게 하여, 자원 제약이 있는 실제 세계 데이터 스트림에 적합하게 만듭니다.