1. 문제 정의 (Problem Statement)

이진 파일 보안 시스템 (예: 멀웨어 탐지, 바이너리 분석) 은 딥러닝을 기반으로 하지만, 다음과 같은 두 가지 주요 도전 과제에 직면해 있습니다.

• 비정상성 (Non-stationarity) 의 두 가지 원인:
  1. 시간적 드리프트 (Temporal Drift): 멀웨어 패밀리와 공격 기법이 시간이 지남에 따라 진화하여 데이터 분포가 변합니다.
  2. 표현의 변화 (Representation Shift): 컴파일, 최적화, 심볼 제거 (stripping) 등으로 인해 바이너리의 추상화 수준이 달라집니다. (예: 심볼이 제거된 바이너리는 분석이 매우 어렵습니다.)
• 기존 CL 방법의 한계:
  • 기존 CL 방법들은 과거 데이터를 재사용 (Replay) 하거나 무제한 업데이트를 통해 학습하지만, 보안 환경에서는 과거 데이터 (멀웨어 샘플, 독점 바이너리) 의 보관 및 공유가 법적/정책적으로 엄격히 제한됩니다.
  • 따라서 과거 데이터 없이 새로운 위협에 적응하면서도 기존 지식을 유지하는 것이 필수적입니다.
• 현재의 실패:
  • 과거 데이터 없이 새로운 데이터로만 모델을 업데이트하면 **재앙적 망각 (Catastrophic Forgetting)**이 발생하여, 오래된 멀웨어에 대한 탐지 성능이 급격히 떨어집니다.
  • 단순한 전이 학습 (Transfer Learning) 은 새로운 표현 (예: 심볼 제거된 바이너리) 에 대한 일반화 능력이 부족합니다.

2. 제안 방법: RETROFIT

RETROFIT은 과거 데이터 없이 (Retrospective-Free) 지식을 축적하고 **제어된 망각 (Controlled Forgetting)**을 통해 적응하는 CL 프레임워크입니다. 핵심 아이디어는 "이전 모델"을 과거 지식의 대리자로 활용하여 모델을 병합 (Consolidation) 하는 것입니다.

핵심 메커니즘

1. 파라미터 병합을 통한 지식 축적:

   • 새로운 데이터로 미세 조정된 모델 (New Model) 과 기존 모델 (Old Model) 을 병합합니다.
   • 과거 데이터를 저장할 필요 없이, 이전 모델의 파라미터를 과거 지식의 프록시 (Proxy) 로 사용합니다.

2. 구조적 제어: 저랭크 (Low-Rank) 및 희소 (Sparse) 서브스페이스:

   • LoRA (Low-Rank Adaptation) 기반: 모든 파라미터 업데이트를 전체 공간이 아닌 저랭크 서브스페이스 ($\Delta W = AB$) 로 제한합니다.
   • 고정된 투영 행렬 A: 랜덤하게 초기화된 투영 행렬 $A$는 고정하고, 업데이트 가능한 행렬 $B$만 학습합니다. 이는 고차원 공간에서 서로 다른 작업 간 업데이트가 거의 직교 (Orthogonal) 하도록 만들어 간섭을 최소화합니다.
   • 희소 마스크 (Sparse Mask): 학습된 업데이트 $B$에 마스크 $M$을 적용하여, 특정 작업에 필요한 파라미터만 선택적으로 활성화하고 불필요한 간섭을 차단합니다.

3. 기능적 제어: 신뢰도 기반 중재 (Confidence-guided Arbitration):

   • 두 명의 교사 (Teachers): 이전 모델 ($f_{old}$) 과 새로 적응된 모델 ($f_{new}$) 을 교사 모델로 사용합니다.
   • 신뢰도 기반 의사결정: 현재 데이터에 대해 이전 모델이 높은 신뢰도 (Confidence) 를 보이면 기존 지식을 유지하고, 신뢰도가 낮으면 새로운 모델의 지식을 받아들입니다.
   • 학습 목표: 학생 모델 (병합된 모델) 이 신뢰할 수 있는 교사의 예측과 일치하도록 유도하여 망각을 방지하고, 새로운 개념 학습을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 보안 제약 조건 하의 CL 공식화: 데이터 접근이 제한된 보안 환경에서 시간적 드리프트와 표현 변화를 동시에 해결하기 위한 CL 문제를 정의하고, 망각과 일반화 실패의 근본 원인을 규명했습니다.
2. RETROFIT 알고리즘 제안: 과거 데이터 없이도 저랭크 구조적 제약과 신뢰도 기반 중재를 통해 효과적인 지식 전달과 제어된 망각을 실현하는 새로운 방법을 제시했습니다.
3. 광범위한 실험 및 검증: 멀웨어 탐지 (시간적 드리프트) 와 바이너리 요약 (표현 변화) 두 가지 대표적인 보안 애플리케이션에서 기존 CL 방법론 및 모델 병합 기법들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

두 가지 주요 작업에서 RETROFIT이 기존 방법 (CFT, LwF, PODNet, Co2L, ResAdapt 등) 보다 월등히 우수함을 보였습니다.

A. 멀웨어 탐지 (시간적 드리프트)

• 데이터: 5 년간 (2014~2018) 수집된 안드로이드 멀웨어 데이터 (25 만 개 이상).
• 성과:
  • 유지율 (Retention Score): 기존 CL 방법 대비 평균 30.29% 향상 (기존 방법 대비 20.2% 에서 38.6% 로 개선).
  • 적응성: 새로운 위협에 대한 적응 능력은 유지하면서 과거 지식의 망각을 크게 줄였습니다.
  • 오라클 상한선 초과: 전체 데이터를 한 번에 학습한 오라클 (Oracle) 모델보다도 새로운 데이터에서 더 높은 성능을 기록했습니다.

B. 바이너리 분석 (표현 변화)

• 데이터: 컴파일, 익명화, 심볼 제거 (Stripped) 된 리눅스 바이너리 함수 요약 작업 (21 만 개 이상).
• 성과:
  • BLEU 점수: 가장 중요한 보안 작업인 '심볼 제거된 바이너리' 분석에서 기존 전이 학습 방법 대비 **2 배 이상 (BLEU 15.05 vs 7.20)**의 성능 향상.
  • 일반화: 다양한 추상화 수준 (Dec-Full, Dec-Anon, Dec-Strip) 에서 모든 베이스라인을 능가하는 일관된 성능을 보였습니다.

C. 비교 분석

• 모델 병합 (Ensemble/Merging) 기법 대비: 단순히 여러 모델을 병합하거나 앙상블하는 방식은 새로운 위협에 적응하지 못하거나 성능 편차가 크다는 것을 확인했습니다. RETROFIT 은 순차적 적응을 통해 지식을 효과적으로 통합합니다.
• 활성 학습 (Active Learning) 결합: 제한된 라벨링 예산 하에서도 RETROFIT 을 적용하면 유지율과 적응성 모두에서 추가적인 개선을 얻을 수 있음을 증명했습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 보안 산업에서 데이터 프라이버시 및 보관 규제로 인해 과거 데이터를 재사용할 수 없는 현실적인 제약 조건을 해결합니다.
• 이론적 통찰: "제어된 망각"이 오히려 장기적인 일반화 성능을 향상시킬 수 있음을 보여주었습니다. 즉, 모든 것을 완벽하게 기억하려 하기보다, 중요한 지식을 선택적으로 유지하고 간섭을 최소화하는 것이 더 효과적입니다.
• 확장성: 멀웨어 탐지뿐만 아니라 취약점 발견, 바이너리 유사성 탐지 등 다양한 보안 분야와 LLM 기반 코드 분석 작업에도 적용 가능한 범용적인 프레임워크를 제공합니다.

요약하자면, RETROFIT은 과거 데이터를 사용하지 않고도 딥러닝 모델이 진화하는 보안 위협과 복잡한 바이너리 표현 변화에 지속적으로 적응하면서도, 기존에 학습한 핵심 지식을 잃지 않도록 설계된 혁신적인 지속적 학습 방법론입니다.