🤖 machine learning

FreeMOCA: Memory-Free Continual Learning for Malicious Code Analysis

FreeMOCA 는 연속 학습 프레임워크로 악성 코드 분석에 사용되며, 인접한 작업 최적점 간의 적응적 계층별 보간을 활용하여 파국적 망각을 완화하고, 재생 버퍼 없이 대규모 Windows 및 Android 악성코드 벤치마크에서 뛰어난 정확도와 유지율을 달성합니다.

원저자: Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zahra Asadi, Haeseung Jeon, Sohyun Han, Md Mahmuduzzaman Kamol, Se Eun Oh, Mohammad Saidur Rahman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 FreeMOCA 논문에 대한 설명을 일상적인 언어와 창의적인 비유로 번역한 것입니다.

큰 문제: "망각하는 보안 요원"

건물을 지키는 보안 요원을 고용했다고 상상해 보세요. 매일 새로운 도둑들이 침입을 시도하고, 그들은 모두 약간씩 다른 모습으로 나타납니다.

옛날 방식: 새로운 도둑이 나타날 때마다, 보안 요원을 오직 그 새로운 도둑에게만 훈련시킵니다. 문제는 보안 요원이 그 새로운 도둑에게 너무 집중하다 보니, 이전 도둑들이 어떤 모습이었는지 완전히 잊어버린다는 점입니다. 이를 **파괴적 망각 (Catastrophic Forgetting)**이라고 합니다.
비싼 방식: 이를 해결하기 위해 과거에 본 모든 도둑의 거대한 사진 앨범을 보관하고, 새로운 것을 가르칠 때마다 그 앨범 전체를 보안 요원에게 보여주는 방법이 있습니다. 이는 작동하지만, 느리고 엄청난 공간 (메모리) 을 차지하며, 스마트폰이나 노트북 같은 작은 기기에서 실행하기 어렵습니다.

FreeMOCA는 거대한 사진 앨범 없이도 보안 요원이 새로운 도둑을 배우면서도 이전 도둑들을 잊지 않도록 해주는 새로운 방법입니다.

핵심 아이디어: "부드러운 경로"

연구자들은 보안 요원의 뇌 (컴퓨터 모델) 가 어떻게 작동하는지에 대해 흥미로운 사실을 발견했습니다.

보통 두 명의 보안 요원을 처음부터 따로 훈련시키면, 그들의 뇌는 완전히 다른 곳에 위치하게 됩니다. 그들의 지식을 섞으려 하는 것은 두 가지 다른 언어를 섞으려는 것과 같아서, 혼란스럽고 엉망이 됩니다.

하지만 FreeMOCA 는 **워밍업 (Warm-Starting)**이라는 트릭을 사용합니다. 새로운 요원을 처음부터 훈련시키는 대신, 현재 요원을 가져와서 새로운 위협에 대처할 수 있도록 약간의 업데이트만 가하는 것입니다. 새로운 요원이 이전 요원의 뇌에서 시작했기 때문에, 그들의 "생각"은 이미 매우 유사합니다.

비유:
학습의 경로인 계곡을 걷고 있다고 상상해 보세요.

독립적 훈련: 두 사람을 서로 다른 산꼭대기에서 출발시키면, 그들은 서로 다른 계곡에 도착합니다. 그들을 쉽게 연결할 수 없습니다.
FreeMOCA (워밍업): 계곡을 걷고 있던 사람을 데려와서 한 걸음 더 걷게 합니다. 그들은 여전히 같은 계곡에 있지만, 몇 발자국 떨어져 있을 뿐입니다. 그들이 매우 가깝기 때문에, 그들이 있던 곳과 지금 있는 곳 사이에 절벽 (높은 손실 장벽) 을 만나지 않고 곧고 부드러운 선을 그릴 수 있습니다.

FreeMOCA 는 보안 요원이 단지 작은 한 걸음을 앞으로 내디딘 것이기 때문에, 단순히 이전 뇌와 새로운 뇌를 **혼합 (Blend)**하여 두 세계의 장점을 모두 얻을 수 있다는 점을 깨닫습니다.

비밀 재료: "레이어별 혼합"

이 논문은 **적응형 레이어 간 보간 (Adaptive Layer-wise Interpolation)**이라는 교묘한 변형을 소개합니다.

보안 요원의 뇌가 서로 다른 레이어로 구성되어 있다고 생각해 보세요:

하위 레이어: 이는 보안 요원의 눈과 같습니다. 그들은 기본 형태 (모자, 신발, 가방) 를 봅니다. 도둑의 모습이 어떻든 이 부분은 크게 변하지 않습니다.
상위 레이어: 이는 보안 요원의 논리와 같습니다. 그들은 "저 모자는 특정 브랜드라서 의심스럽다"고 결정합니다. 새로운 도둑이 나타나면 이 부분은 많이 변합니다.

만약 이전과 새로운 보안 요원의 뇌를 균등하게 섞는다면, 잘 작동하던 눈 (하위 레이어) 을 망가뜨리거나 논리 (상위 레이어) 를 충분히 업데이트하지 못할 수 있습니다.

FreeMOCA 의 해결책:
이는 똑똑한 믹서처럼 작동합니다.

**눈 (안정적인 레이어)**의 경우, 이미 훌륭하므로 이전 요원의 시야를 주로 유지합니다.
**논리 (변화하는 레이어)**의 경우, 새로운 위협에 대처하기 위해 새로운 요원의 업데이트를 더 많이 섞어 넣습니다.

이는 뇌의 각 부분에 대해 "이전"과 "새로움"을 얼마나 유지할지 자동으로 파악하여, 보안 요원이 기억을 잃지 않고 날카로움을 유지하도록 보장합니다.

결과: 빠르고, 가볍고, 효과적

연구자들은 Windows 와 Android 폰을 위한 거대한 컴퓨터 바이러스 (멀웨어) 데이터셋으로 이를 테스트했습니다.

사진 앨범 없음: 과거 데이터를 재생 (replay) 하기 위해 수천 개의 오래된 바이러스 샘플을 저장해야 하는 다른 방법들과 달리, FreeMOCA 는 과거 데이터 저장 공간이 0입니다. 단지 마지막 "뇌 상태"만 기억하면 됩니다.
속도: 이전 파일을 다시 읽을 필요가 없기 때문에 훈련 속도가 훨씬 빠릅니다. 논문은 일부 다른 방법보다 최대 **98%**까지 빠르다고 말합니다.
성능: 기존 11 가지 다른 방법보다 성능이 뛰어났습니다. "클래스 증분 (Class-Incremental)" 테스트 (한 번에 새로운 유형의 바이러스를 학습) 에서 가장 나쁜 방법 대비 정확도를 최대 **42%**까지 향상시켰으며, 새로운 것을 배우면서도 이전 바이러스를 기억하는 데 가장 뛰어났습니다.

요약

FreeMOCA는 AI 가 이전 것들을 잊지 않고 새로운 멀웨어 위협을 지속적으로 학습할 수 있게 해주는 방법입니다. 이는 다음을 통해 이루어집니다:

마지막 수업이 끝난 지점부터 새로운 수업을 시작합니다 (워밍업).
안전하고 부드러운 경로를 따라 이전과 새로운 "뇌"를 혼합합니다.
뇌의 서로 다른 부분에 대해 혼합 비율을 조정합니다 (적응형 레이어 간 보간).

이는 과거 바이러스의 방대한 기록을 저장할 필요가 없으므로, 스마트폰이나 노트북 보안 스캐너와 같이 메모리가 제한된 기기에 이상적입니다.

기술 요약: FreeMOCA

문제 정의

악성코드 탐지 시스템은 연간 2 억 개 이상의 새로운 악성코드 샘플이 식별되는 진화하는 위협 환경에 적응하는 데 있어 치명적인 과제에 직면해 있습니다. 새로운 데이터만으로 재학습하는 전통적인 머신러닝 접근법은 이전에 관찰된 위협에 대한 지식이 덮어쓰여지는 파괴적 망각 (Catastrophic Forgetting, CF) 현상으로 고통받습니다. 반면, 전체 역사적 데이터셋으로 재학습하는 것은 막대한 계산 및 메모리 비용을 초래합니다. 지속적인 학습 (Continual Learning, CL) 은 점진적 적응을 위한 프레임워크를 제공하지만, 기존 악성코드 특화 CL 방법 (예: MalCL, MADAR) 은 리플레이 메커니즘에 크게 의존합니다. 즉, 예시 샘플을 저장하거나, 합성 샘플을 생성하거나, 소프트 출력을 증류하는 방식입니다. 이러한 접근법은 상당한 메모리 및 계산 오버헤드를 초래하여 엔드포인트 보안 및 모바일 장치와 같은 리소스가 제한된 배포 환경에서는 실용적이지 않습니다. furthermore, 표준 CL 방법은 복잡한 특징 표현과 높은 클래스 불균형으로 인해 악성코드 도메인에서 CF 를 방지하는 데 종종 실패합니다.

방법론: FreeMOCA

저자들은 과거 데이터를 저장하거나 생성적 리플레이를 사용하지 않고 이전 지식을 보존하도록 설계된 FreeMOCA(악성코드 분석을 위한 메모리 없는 지속적 학습) 를 제안합니다. 핵심 방법론은 워밍업 (warm-started) 최적화 설정 내의 **선형 모드 연결성 (Linear Mode Connectivity, LMC)**에 의존합니다.

핵심 원칙

워밍업된 연결성: 작업 최적점이 고손실 장벽에 의해 단절될 수 있는 독립적 학습과 달리, FreeMOCA 는 각 새로운 작업 $t$ 를 이전 작업의 최적점 $\theta_{t-1}$ 에서 초기화합니다. 저자들은 이러한 워밍업이 국소적 선형 연결성을 유도한다고 주장합니다. 즉, 연속된 작업 최적점은 매개변수 공간의 저손실 영역 내에 위치하며 저손실 경로로 연결될 수 있다는 것입니다.
매개변수 공간 보간: 데이터 공간 (리플레이) 에서 작동하는 대신, FreeMOCA 는 매개변수 공간에서 직접 작동합니다. 새로운 작업에 대한 학습을 통해 $\theta_{cur}$ 를 얻은 후, 모델은 이전 해 $\theta_{prev}$ 와 현재 해 $\theta_{cur}$ 사이를 보간하여 통합됩니다.
적응형 계층별 보간: 서로 다른 네트워크 계층이 서로 다른 속도로 적응한다는 점 (하위 계층은 종종 안정적인 특징 추출기로 기능하는 반면 상위 계층은 빠르게 적응함) 을 인식하여, FreeMOCA 는 균일한 혼합 계수를 적용하지 않습니다. 대신 각 계층 $\ell$ $ℓ$ 에 계층별 계수 $\lambda_\ell$ $λ_{ℓ}$ 를 할당합니다.
- 계수는 이전 모델과 현재 모델 간의 매개변수 이동 ( $s_\ell$ ) 크기에 따라 유도됩니다.
- 상당한 업데이트 (높은 가소성) 가 있는 계층은 안정성 (이전 가중치 유지) 을 우선시하기 위해 더 작은 $\lambda_\ell$ 를 할당받습니다.
- 최소한의 업데이트 (높은 안정성) 가 있는 계층은 새로운 작업에 대한 적응을 선호하기 위해 더 큰 $\lambda_\ell$ 를 할당받습니다.
- 사용된 공식은 $\lambda_\ell = \lambda_{min} + (1 - \hat{s}_\ell)(\lambda_{max} - \lambda_{min})$ 이며, 여기서 $\hat{s}_\ell$ 는 정규화된 이동 크기입니다.

알고리즘

프로세스는 다음을 포함합니다:

이전 작업 최적점에서 $\theta_{prev}$ 초기화.
현재 작업 데이터셋 $D_t$ 로 학습하여 $\theta_{cur}$ 획득.
계층별 이동 크기 계산.
각 계층에 대한 적응형 $\lambda_\ell$ 계산.
보간 수행: $\theta_t^{(\ell)} = (1 - \lambda_\ell)\theta_{prev}^{(\ell)} + \lambda_\ell\theta_{cur}^{(\ell)}$ .
다음 작업의 초기화를 위해 $\theta_t$ 설정.

주요 기여

메모리 및 계산 효율적 프레임워크: FreeMOCA 는 예시 버퍼나 생성적 리플레이가 필요 없으며 매개변수 공간의 기하학적 보간에만 의존하는 악성코드 분석을 위한 최초의 CL 프레임워크입니다.
워밍업된 CL 에 대한 이론적 분석: 이 논문은 워밍업된 CL 의 맥락에서 LMC 를 분석하여, 재귀적 최적화가 연속된 작업 최적점 간의 국소적 매개변수 정렬을 유도하여 명시적인 뉴런 순열 없이 직접 보간을 효과적으로 만든다는 것을 입증합니다.
적응형 계층별 보간: 매개변수 이동에 기반하여 계층별 보간 가중치를 동적으로 설정하는 메커니즘을 도입하여 안정성과 가소성을 효과적으로 균형 잡습니다.
종합적 평가: 클래스 증가 (Class-IL) 및 도메인 증가 (Domain-IL) 설정 모두에서 대규모 Windows(EMBER) 및 Android(AZ) 악성코드 벤치마크에 대한 광범위한 실험.

실험 결과

저자들은 EMBER 및 AZ 데이터셋에서 FreeMOCA 를 11 개의 베이스라인 (EWC, SI, iCaRL, MalCL, WSC 포함) 과 비교 평가했습니다.

클래스 증가 (Class-IL) 성능:
- FreeMOCA 는 11 개의 베이스라인을 능가하는 상당한 개선을 달성했습니다.
- EMBER-Class에서 **65.2%**의 평균 정확도를 기록했습니다 (단순 파인튜닝의 22.9% 대비). 다음으로 가장 좋은 베이스라인 (WSC) 보다 큰 차이로 우위를 점했으며, "None" 베이스라인 대비 42% 개선을 달성했습니다.
- AZ-Class에서 **66.1%**의 평균 정확도를 기록하여 "None" 베이스라인 대비 37% 개선되었습니다.
- 모든 베이스라인 중 **가장 낮은 망각 (F)**과 **가장 높은 기억 (REM)**을 달성했습니다. 특히 AZ-Class 에서 망각이 0( $F=0.000$ ) 이었고 완전한 유지 ($REM=1.000$) 를 보였으며, 양의 역방향 전이를 달성했습니다.
도메인 증가 (Domain-IL) 성능:
- FreeMOCA 는 베이스라인과 일치하거나 초과하여 EMBER-Domain 에서 93.6%, AZ-Domain 에서 **97.0%**에 도달했습니다.
효율성:
- 메모리: FreeMOCA 는 리플레이 기반 방법 (예: MalCL) 보다 훨씬 적은 메모리를 사용합니다. 단일 분류기 체크포인트만 유지하므로 시간이 지남에 따라 **메모리 증가가 0%**인 반면, MalCL 은 작업 간에 86.3%, WSC 는 45.4% 증가했습니다.
- 학습 시간: FreeMOCA 는 MalCL 및 WSC 대비 에포크당 학습 시간을 92.79–98.71% 단축했습니다.
진단:
- 손실 장벽 분석: 초기 전환 후 연속된 해 사이의 손실 장벽이 낮고 평탄하게 유지됨을 확인하여 저손실 경로 가정을 검증했습니다.
- 분산 붕괴: 배치 정규화 통계 분석은 워밍업된 보간이 분산 붕괴를 완화하여 재추정이나 순열 없이 특징 기하학을 보존함을 보여주었습니다.

중요성 및 주장

이 논문은 FreeMOCA 가 지속적 악성코드 탐지를 위한 리플레이의 확장 가능하고 효과적인 대안을 제공한다고 주장합니다. 워밍업된 최적화에 내재된 기하학적 정렬을 활용함으로써, 이 방법은 리플레이 버퍼와 관련된 저장 또는 계산 비용 없이 과거 위협에 대한 지식을 유지하면서 새로운 위협에 적응하는 최첨단 성능을 달성합니다.

저자들은 이 접근법이 과거 샘플을 저장하거나 합성 데이터를 생성하는 것이 불가능한 리소스가 제한된 배포 환경(예: 모바일 장치, 엔드포인트 보안) 에서 특히 중요하다고 강조합니다. 그들은 그들의 발견이 지속적 학습이 고립된 최적점이 아닌 손실 풍경의 연결된 영역으로 순차적 최적화 궤적을 바라볼 때 혜택을 받을 수 있음을 시사한다고 주장합니다.

이 논문은 겸손한 범위를 유지하며, 이 방법이 인접 작업 간의 국소적 연결성에 의존하며 작업 드리프트가 너무 커지거나 기본 표현이 크게 변경될 경우 어려움에 직면할 수 있음을 인정합니다. 이는 관찰 가능한 경계 없이 완전히 작업이 없거나 스트리밍 CL 설정을 해결한다고 주장하지 않으며, 특징 연속성이 자연스럽게 보존되는 순차적 악성코드 계열 확장이라는 특정 영역을 다룹니다.