💻 computer science

Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning

Janus-LoRA 는 매개변수 수준의 직교성을 강제하는 그라디언트 정제 메커니즘과 특징 수준의 분리를 보장하는 분리된 마진 손실 함수를 결합하여 매개변수 수준의 직교성을 강제하고 특징 수준의 분리를 보장함으로써 매개변수 수준의 직교성과 특징 수준의 분리를 동시에 달성하여 파국적 망각을 방지하면서도 학습 능력을 유지하는 뛰어난 안정성 - 가소성 균형을 이루는 새로운 지속 학습 프레임워크입니다.

원저자: Cheng Chen, Pengpeng Zeng, Yuyu Guo, Lianli Gao, Hengtao Shen, Jingkuan Song

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Cheng Chen, Pengpeng Zeng, Yuyu Guo, Lianli Gao, Hengtao Shen, Jingkuan Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 수천 권의 책을 이미 암기해 둔 천재적이고 독서량이 풍부한 사서 (AI 모델) 가 있다고 가정해 봅시다. 이제 이 사서에게 이전 지식을 잊지 않으면서 완전히 새로운 이야기 세트를 가르치고자 합니다. 이것이 바로 **연속 학습 (Continual Learning)**의 과제입니다.

이 논문은 이를 해결하기 위해 Janus-LoRA라는 새로운 방법을 소개합니다. 이름은 두 개의 얼굴을 가진 로마 신 '야누스 (Janus)'에서 유래했는데, 이 방법이 한 번에 두 가지 다른 각도, 즉 안정성 유지 (잊지 않기) 와 유연성 유지 (새로운 것 학습) 를 동시에 바라보기 때문입니다.

다음은 이 논문이 간단한 비유를 사용하여 문제와 그들의 해결책을 설명한 내용입니다:

문제: "고장 난 나침반"과 "혼잡한 방"

연구자들은 LoRA(새로운 주제에 대한 메모를 기록하는 사서가 사용하는 작고 효율적인 수첩과 같은 인기 있는 도구) 에 두 가지 숨겨진 결함이 있음을 발견했습니다:

고장 난 나침반 (매개체 정렬 불일치):
사서가 수첩에 새로운 메모를 쓰려 한다고 상상해 보세요. 그들은 하나의 문장을 쓰기 위해 함께 작동하는 두 개의 펜 (Pen A 와 Pen B 라고 부르겠습니다) 을 가지고 있습니다. 문제는 사서가 두 펜이 어떻게 함께 작동하는지 확인하지 않고 Pen A 와 Pen B 를 독립적으로 업데이트한다는 점입니다.
- 결과: 비록 그들은 기존 메모를 건드리지 않는 새로운 문장을 쓰고 있다고 생각하지만, 두 펜의 결합된 효과가 실수로 기존 텍스트를 번지게 만듭니다. 논문은 이를 우연히 직교성 (orthogonality) 규칙을 위반하는 "복합 업데이트 (composite update)"라고 부릅니다.
혼잡한 방 (특성 공간 침범):
사서의 마음이 각기 다른 주제에 대한 특정 의자가 있는 방이라고 상상해 보세요. 새로운 주제가 도착하면, 사서는 방에 새로운 의자를 끼워 넣으려 합니다. 만약 조심하지 않으면, 새로운 의자가 기존 의자 바로 위에 놓이게 됩니다.
- 결과: 새로운 정보가 기존 정보와 혼동됩니다. 논문은 이를 "특성 공간 침범 (Feature-Space Encroachment)"이라고 부릅니다. 새로운 아이디어가 기존 아이디어를 위한 공간을 침범하여 사서가 주제 간의 경계에서 혼란을 겪게 만듭니다.

해결책: Janus-LoRA

이를 해결하기 위해 저자들은 엄격하지만 도움이 되는 편집자처럼 작동하는 양부 시스템을 구축했습니다.

부분 1: 기울기 교정 (The "Compass Corrector")

이는 "고장 난 나침반" 문제를 해결합니다.

작동 원리: 두 개의 펜 (A 와 B) 이 무작위로 업데이트되도록 내버려 두는 대신, 시스템이 기존 텍스트를 번지지 않게 하는 완벽한 새로운 문장이 어떻게 보여야 하는지 정확히 계산합니다. 그런 다음, 그 완벽한 결과를 달성하기 위해 Pen A 와 Pen B 를 어떻게 움직여야 하는지 역산하여 정확히 파악합니다.
비유: 이는 자동차가 안전한 경로에서 벗어나고 있음을 인식하는 GPS 와 같습니다. 단순히 "왼쪽으로 조향하라"고 말하는 대신, 기존 지식과 충돌하지 않고 곧고 안전한 선으로 되돌아갈 수 있는 정확한 조향 각도와 속도를 계산합니다.
"온라인 추정 (Online Estimation)" 트릭: 일반적으로 "안전한 경로"가 어디인지 알기 위해서는 모든 기존 책을 다시 살펴봐야 합니다. 하지만 Janus-LoRA 는 똑똑합니다. 새로운 것을 배우는 동안 기존 지식의 지도를 구축하므로, 기존 데이터를 저장하거나 기존 책을 다시 읽을 필요가 없습니다.

부분 2: 분리된 마진 손실 (The "Room Divider")

이는 "혼잡한 방" 문제를 해결합니다.

작동 원리: 이 부분은 사서의 마음 문 앞에 서 있는 엄격한 도우미처럼 작동합니다. "새로운 아이디어, 들어와도 되지만 기존 아이디어에서 최소 3 피트 이상 떨어져 있어야 한다"고 말합니다.
비유: 사서가 파티를 조직한다고 상상해 보세요. 기존 손님들 (기존 지식) 은 평소 자리에서 앉아 있습니다. 새로운 손님들 (새로운 지식) 에게는 "어디든 앉을 수 있지만, 기존 손님들과 사이에 명확한 빈 공간을 남겨두어야 한다"고 말합니다. 이로써 새로운 손님들이 실수로 기존 손님들과 부딪히거나 혼동하지 않도록 보장합니다.
결과: 이는 새로운 학습을 위한 "안전 지대"를 만들어 사서를 더 유연하게 (가소성 있게) 만들면서도 혼란을 초래하지 않습니다.

대단한 결말: 왜 작동하는가

이 논문은 AI 가 보통 기존 것을 빠르게 잊어버리는 매우 어려운 테스트 (예술 양식 인식이나 다양한 유형의 이미지 인식 등) 에서 이 시스템을 테스트했습니다.

결과: Janus-LoRA 는 테스트된 모든 방법 중 가장 좋은 성과를 거두었습니다. "나침반"을 곧게 유지하여 번짐을 방지하고, "방"을 정리하여 혼잡을 막는 데 성공했습니다.
교훈: 모델이 쓰는 방식 (수학) 과 생각을 조직하는 방식 (기하학) 을 모두 고침으로써, 시스템은 완벽한 균형을 달성합니다. 기존 것을 잊지 않으면서 새로운 것을 빠르게 학습합니다.

간단히 말해, Janus-LoRA는 "새로운 메모가 실수로 기존 것을 지우지 않도록 하고, 새로운 아이디어가 섞이지 않도록 각자의 특별한 공간을 가지도록 합시다"라고 말하는 AI 를 가르치는 새로운 방법입니다.

기술 요약: JANUS-LoRA

문제 제기

연속 학습 (CL) 은 이전에 학습한 작업을 완전히 망각하지 않으면서 새로운 지식을 습득해야 하는 근본적인 "안정성 - 가소성 딜레마"에 직면해 있습니다. 사전 학습된 백본을 고정하고 저랭크 인자 ( $A$ 와 $B$ ) 를 업데이트함으로써 연속 학습을 위한 유망한 매개변수 효율적 미세 조정 (PEFT) 전략으로 부상한 저랭크 적응 (LoRA) 은, 표준 LoRA 기반 접근법에서 두 가지 치명적인 결함이 발견되어 완전 망각을 초래한다는 것이 이 논문에서 지적되었습니다:

매개변수 수준의 불일치: 표준 LoRA 최적화는 인자 $A$ 와 $B$ 에 독립적인 유클리드 업데이트를 수행합니다. 논문은 이러한 업데이트가 전체 가중치 행렬 ( $W = W_0 + sBA$ ) 에 미치는 비선형적이고 복합적인 효과를 무시한다고 주장합니다. 결과적으로 생성된 복합 업데이트는 역사적 지식의 부분 공간을 보호하기 위해 필요한 직교성을 체계적으로 위반하여, 직교성 제약을 강제하려는 시도가 있더라도 간섭을 재도입합니다.
특성 공간 침범: 매개변수 직교성을 무작정 강제하는 것은 종종 가소성을 훼손합니다. 논문은 이러한 방법들이 새로운 작업 표현이 이전 클래스가 점유하는 잠재 공간으로 확장되는 "특성 공간 침범"이라는 근본적인 문제를 해결하지 못하기 때문에 발생한다고 봅니다. 이는 새로운 학습을 위한 "자유" 표현 공간이 남아있지 않게 하여, 옵티마이저가 새로운 개념을 매핑하는 것이 강하게 패널티를 받는 딜레마에 빠지게 만듭니다.

방법론: JANUS-LoRA

이러한 문제들을 해결하기 위해 저자들은 JANUS-LoRA를 제안했습니다. 이는 두 가지 새로운 구성 요소를 통해 매개변수 수준의 안정성과 특성 수준의 가소성을 조화시키도록 설계된 프레임워크입니다:

1. 기울기 교정 (Gradient Rectification, GR)

GR 은 매개변수 수준의 불일치를 해결합니다.

개념: 저자들은 먼저 과거 작업과의 간섭을 완전히 제거하는 이상적인 "안전" 기울기 ( $\Delta W_{safe}$ ) 를 정의하며, 이는 역사적 활성화의 영공간 (null space) 에 위치합니다.
메커니즘: 기울기를 인자 $A$ 와 $B$ 에 직접 투영하는 것은 최적화 결합으로 인해 실패하므로, GR 은 이상적인 $\Delta W_{safe}$ 를 $A$ 와 $B$ 에 대한 분리된 유클리드 업데이트로 "역공학"합니다. 이는 $s(B\Delta A + \Delta B A)$ 라는 복합 효과가 $\Delta W_{safe}$ 를 최적으로 근사하도록 $\Delta A$ 와 $\Delta B$ 를 찾는 최소제곱 문제로 공식화됩니다.
구현: 계층적 분해 접근법을 사용하여 $\Delta A$ 와 $\Delta B$ 를 순차적으로 폐쇄형 해 (closed-form solutions) 로 풀어내어, 최종 복합 업데이트가 진정한 직교 측지선 (orthogonal geodesic) 과 정렬되도록 보장합니다.

2. 온라인 추정 (Online Estimation, OE)

GR 을 과거 데이터 저장 없이 실용적으로 만들기 위해, 저자들은 효율적인 온라인 추정 알고리즘을 도입했습니다.

메커니즘: 오프라인 부분 공간 추정 대신, OE 는 단일 학습 루프 내에서 작업 매개변수와 동시에 역사적 작업별 부분 공간의 기저 $V$ 를 학습합니다.
최적화: 이는 현재 미니배치 활성화에 대한 기하학적 재구성 오차를 최소화하면서 기저 $V$ 의 정규직교성을 유지합니다. 이는 과거 데이터 저장이 필요 없이 $V$ 가 유효한 투영 연산자로 유지되도록 스테이펠 다양체 (Stiefel manifold) 상의 투영 기울기 하강 (Projected Gradient Descent) 을 통해 달성됩니다.

3. 분리된 마진 손실 (Decoupled Margin Loss, DML)

DML 은 가소성을 향상시키기 위해 특성 공간 침범을 해결합니다.

개념: 이는 새로운 데이터 표현과 역사적 클래스 프로토타입 간의 분리를 명시적으로 유지합니다.
메커니즘: 손실 함수는 새로운 클래스에 대한 작업 내 응집성을 촉진하는 대비 항 (contrastive term) 과 작업 간 힌지 패널티를 결합합니다. 이 패널티는 새로운 특징과 임의의 역사적 프로토타입 간의 코사인 유사도가 사전 정의된 마진 $m$ 을 초과할 때만 활성화됩니다.
효과: 이는 새로운 개념을 위한 전용 간섭이 적은 영역을 조성하여, 새로운 작업이 이전 작업의 기하학적 공간을 침범하는 것을 방지하고 작업 경계에서의 결정 모호성을 줄입니다.

총 학습 목적 함수는 가중 합입니다: $L_{total} = L_{task} + \lambda L_{DML}$ . 역전파 중에는 OE 기저를 사용하여 원시 기울기를 $\Delta W_{safe}$ 로 투영하고, GR 이 이를 교정된 인자 업데이트로 변환합니다.

주요 기여

진단: 이 논문은 LoRA 기반 연속 학습에서의 완전 망각이 두 가지 결합된 문제, 즉 매개변수 수준의 불일치 (업데이트 직교성 위반) 와 특성 공간 침범 (가소성 훼손) 에서 비롯된다고 규명했습니다.
프레임워크: 매개변수 업데이트를 수정하기 위해 기울기 교정 (GR) 을 통합하고 특징 분리를 강제하기 위해 분리된 마진 손실 (DML) 을 통합한 JANUS-LoRA 의 제안.
성능: 광범위한 실험을 통해 매개변수 수준의 직교성과 특성 수준의 분리를 조화시키는 것이 새로운 최첨단 (SOTA) 성능을 확립함을 입증했습니다.

실험 결과

저자들은 클래스 증분 학습 (CIL) 설정에서 예시제 (exemplar) 없는 제약 하에 ImageNet-R, CIFAR-100, ImageNet-100, DomainNet을 포함한 까다로운 벤치마크에서 JANUS-LoRA 를 평가했습니다.

최첨단 성능: JANUS-LoRA 는 모든 데이터셋과 작업 시퀀스 길이 ( $T=5, 10, 20$ $T = 5, 10, 20$ ) 에서 InfLoRA, BiLoRA, LoRA-DRS 및 L2P, Dual-Prompt 와 같은 프롬프트 기반 방법을 포함한 기존 SOTA 베이스라인을 일관되게 능가했습니다.
- ImageNet-R ( $T=20$ ) 에서 **77.11% 평균 평균 정확도 (MAA)**를 달성하여 다음 최강 경쟁자 (InfLoRA 의 76.24%) 를 크게 앞섰습니다.
- 경쟁사들에 비해 시간이 지남에 따라 정확도 감소가 훨씬 완만하여 누적 망각의 효과적인 완화를 나타내는 우수한 안정성을 보여주었습니다.
일반화: 이 방법은 다양한 사전 학습 패러다임 (DINO 및 SAM 백본) 과 다양한 시각적 도메인 (DomainNet) 에서 견고성을 보여주어 모델 중립적 특성을 검증했습니다.
어블레이션 연구:
- 시너지: 온라인 추정 (OE) 과 기울기 교정 (GR) 을 결합하면 후방 전이 (BWT) 를 -4.43 으로 급격히 감소시켜, 올바른 부분 공간 보호를 위해서는 유효한 목표와 업데이트 정렬 메커니즘이 모두 필요함을 확인했습니다.
- GR 의 필요성: 기존 방법 (LoRA-DRS, LoRA-GPM) 에 GR 을 추가하면 상당한 성능 향상을 가져와, 업데이트 불일치가 표준 LoRA 최적화에서 광범위한 문제임을 확인했습니다.
- 효율성: JANUS-LoRA 는 완전 온라인 설계 덕분에 오프라인 처리가 필요한 방법 (GPM 등) 보다 학습을 더 빠르게 완료하여 전체적으로 가장 효율적인 방법이었습니다.

의의 및 주장

이 논문은 JANUS-LoRA 가 통합된 기하학적 관점에서 안정성 - 가소성 트레이드오프를 해결함으로써 중요한 진전을 이루었다고 주장합니다. 매개변수 수준의 불일치와 특성 공간 침범을 동일한 문제의 결합된 측면으로 취급함으로써, 이 프레임워크는 우수한 균형을 달성합니다. 저자들은 그들의 접근 방식이 LoRA 기반 연속 학습을 위한 새로운 벤치마크를 수립하며, 매개변수 직교성과 특징 분리를 함께 최적화하는 것이 매우 효과적이고 원칙적인 전략임을 입증했다고 주장합니다. 이 연구는 완전 망각 없이 긴 작업 시퀀스를 처리할 수 있는 더 견고하고 확장 가능한 연속 학습 시스템을 향한 한 걸음으로 제시됩니다.