🤖 machine learning

FOGO: Forgetting-aware Orthogonalization Optimizer

FOGO는 모멘텀 업데이트를 스펙트럼 직교화하고 소형의 랜덤 투영 기반 메모리를 통해 그래디언트 충돌을 해결함으로써, 과거 데이터를 저장하지 않고도 다양한 훈련 시나리오 전반에 걸쳐 수렴성과 지식 보유력을 향상시켜 단기 및 장기 망각을 완화하는 확장 가능한 최적화 도구이다.

원저자: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Toan Nguyen, Yang Liu, Trung Le, Celso de Melo, Flora D. Salim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "너무 북적이는 방"

당신이 저글링 같은 새로운 기술을 배우려고 노력하고 있다고 상상해 보세요. 당신에게는 손을 어떻게 움직여야 할지 알려주는 코치(AI 옵티마이저)가 있습니다.

표준적인 AI 학습에서, 코치는 가장 쉽고 흔한 동작에 가장 많은 주의를 기울입니다. 만약 당신이 100개의 빨간 공을 저글링하고 단 1개의 파란 공을 저글링해야 한다면, 코치는 99%의 시간을 빨간 공의 기술을 교정하는 데 보냅니다. 파란 공은 무시됩니다.

이 논문은 이것이 단순히 새로운 작업을 차례대로 학습할 때(연속 학습)만 발생하는 문제가 아니라고 주장합니다. 이것은 표준 학습의 매 단계마다 발생합니다. "시끄러운" 지시(흔한 데이터)가 "조용한" 하지만 유용한 지시(희귀한 데이터)를 압도해 버립니다. 시간이 지나면서 AI는 희귀한 것들을 다시 접하지 못했기 때문에 그것들을 다루는 법을 잊어버리게 됩니다. 이를 **망각(Forgetting)**이라고 부릅니다.

해결책: FOGO (스마트한 코치)

저자들은 이 문제를 해결하기 위해 새로운 "코치"인 FOGO를 소개합니다. FOGO는 단순히 AI에게 무엇을 할지 말해주는 것이 아니라, AI가 이전에 무엇을 했었는지를 기억하고 그 기억을 보호합니다.

FOGO는 세 부분으로 구성된 시스템처럼 작동합니다.

1. "이퀄라이저" (스펙트럼 직교화 - Spectral Orthogonalization)

베이스(흔한 데이터) 소리가 너무 커서 바이올린(희귀한 데이터) 소리를 묻어버리는 음악 믹서를 상상해 보세요.

FOGO가 하는 일: 스마트한 이퀄라이저 역할을 합니다. 시끄러운 베이스의 볼륨을 낮추어 바이올린 소리가 들릴 수 있게 합니다. 이는 희귀하고 조용한 학습 방향들이 지배적인 추세에 의해 짓눌리지 않고, AI의 뇌에 공정한 영향을 미칠 수 있도록 보장합니다.

2. "포켓 노트" (압축된 코드북 메모리 - Compact Codebook Memory)

보통 과거를 기억하기 위해 AI는 방대한 양의 과거 데이터(예: 거대한 도서관)를 저장해야 합니다. 이는 느리고 비용이 많이 듭니다.

FOGO가 하는 일: 전체 도서관을 저장하는 대신, FOGO는 아주 작은 포켓 노트를 가집니다.
- FOGO는 **랜덤 투영(Random Projection)**이라는 기술을 사용합니다. 복잡한 3D 조각상을 2D 벽에 그림자로 비춘다고 상상해 보세요. 세부 사항은 일부 잃겠지만, 부분들 사이의 형태와 거리는 유지할 수 있습니다.
- FOGO는 AI의 학습 방향을 이 작은 2D 그림자 공간으로 투영합니다. 그리고 중요한 과거 방향들의 "핵심(gist)"을 단순한 점(중심점, centroids)의 형태로 이 노트에 기록합니다.
- 단지 점들로 이루어진 노트이기 때문에, 공간을 거의 차지하지 않으며(기가바이트가 아닌 메가바이트 단위) 읽는 속도가 매우 빠릅니다.

3. "교통 경찰" (충돌 해결 - Conflict Resolution)

AI가 새로운 것을 배우려고 할 때마다, FOGO는 자신의 포켓 노트를 확인합니다.

확인 작업: "잠깐, 네가 손을 이런 식으로 움직이면(새로운 지시), 파란 공을 잡았던 방식(이전 지시)에 대한 기억을 깨뜨리게 되지 않을까?"
수정 작업:
- 단기적 대응: 만약 새로운 동작이 지배적인 추세와 너무 유사하다면, FOGO는 지금 당장 희귀한 것들이 무시되지 않도록 그 동작을 부드럽게 밀어냅니다.
- 장기적 대응: 만약 새로운 동작이 이전 작업의 중요한 기억을 지워버릴 위험이 있다면, F भरोसा는 교통 경찰처럼 행동합니다. FOGO는 그 동작을 차단하거나, 기존의 기억과 충돌하는 대신 그 주변을 미끄러지듯 피해 가도록 방향을 돌려줍니다.

실제 사례에서의 작동 방식 (논문에 따르면)

저자들은 FOGO를 네 가지 시나리오에서 테스트했으며, FOGO는 일관되게 표준적인 코치들(Adam 및 Muon)보다 뛰어난 성능을 보였습니다.

불공평한 교실 (클래스 불균형 학습 - Class-Imbalanced Learning): 어떤 클래스가 희귀한 데이터(예: 데이터의 10%만 해당)로 구성된 환경에서 학습할 때, 표준 AI는 희귀 클래스를 잊어버립니다. FOGO는 이 희귀 항목들에 대한 정확도를 높이면서도 흔한 항목들을 해치지 않고 훨씬 더 잘 기억해 냈습니다.
변화무쌍한 세상 (연속 시각 학습 - Continual Visual Learning): AI가 다양한 스타일(예: 사진, 만화, 스케치)의 사물을 차례대로 인식하도록 학습해야 할 때, FOGO는 새로운 스타일을 배울 때 이전 스타일을 잊지 않았습니다. 과거의 사진들을 저장하지 않고도 다른 방법들보다 지식을 온전히 유지했습니다.
말하는 로봇 (LLaVA-7B 파인튜닝 - LLaVA-7B Fine-tuning): 대규모 멀티모달 모델(보고 말하는 모델)을 파인튜닝할 때, FOGO는 로봇이 이전의 능력을 잃지 않으면서도 다양한 유형의 질문(개수 세기, 추론, 위치 등)에 답하는 법을 기억하도록 도왔습니다.
언어 학습자 (GPT-2 사전 학습 - GPT-2 Pretraining): 문장의 다음 단어를 예측하는 일반적인 학습(표준 학습) 상황에서도, FOLO는 표준적인 방법들보다 더 빠르게 학습하고 더 낮은 오차율에 도달했습니다.

핵심 요약

이 논문은 망각이 "연속 학습"만의 문제가 아니라 보편적인 문제라고 주장합니다. 시끄러운 데이터가 조용한 데이터를 압도할 때마다 망각은 발생합니다.

FOGO는 다음과 같은 방식으로 이를 해결합니다:

조용한 목소리도 들릴 수 있게 합니다 (직교화).
중요한 것들에 대한 작고 효율적인 메모리를 유지합니다 (랜덤 투영 코드북).
매 단계마다 체크하여 새로운 학습이 기존의 학습을 지우지 않도록 합니다 (충돌 해결).

그 결과, FOGO는 더 빠르게 배우고, 더 많이 기억하며, 이를 위해 방대한 양의 과거 데이터 하드 드라이브를 필요로 하지 않는 AI를 만들어냅니다.

기술 요약: FOGO (Forgetting-aware Orthogonalization Optimizer)

1. 문제 정의

본 논문은 **망각(forgetting)**이 단순히 지속 학습(continual learning, CL)에 국한된 실패 모드가 아니라, 표준적인 확률적 훈련 과정에서 발생하는 근본적인 최적화 현상이라고 주장한다. 저자들은 표준 훈련 중에 지배적인 미니 배치 그래디언트가 희소하지만 유용한 업데이트 방향을 억제하며, 이로 인해 매 단계마다 **단기 망각(short-term forgetting)**이 발생한다고 상정한다. 이러한 억제된 방향들이 다시 방문되지 않을 때, 손실은 누적되어 지속 학습의 전형적인 실패 모드인 **장기 망각(long-term forgetting)**으로 이어진다.

기존의 해결책들은 표준 훈련과 태스크 순차적 CL을 별개의 문제로 취급하는 경우가 많다. 그래디언트 간섭 방법론(예: OGD, GEM)은 충돌을 해결하려고 시나리오를 시도하지만, 종종 원시 데이터나 풀 랭크(full-rank) 그래디언트 기저를 저장해야 하며, 이는 수십억 개의 파라미터를 가진 모델로 확장하기 어렵다. 반면, 행렬 인식 옵티마이저(예: Muon)는 직교화를 통해 컨디셔닝을 개선하지만, 시간에 따라 역사적인 업데이트 방향을 명시적으로 보존하는 메커니즘은 부족하다.

2. 방법론: FOGO

저자들은 표준 및 지속 학습 환경 모두에서 그래디언트 간섭를 지속적으로 탐지하고 해결하도록 설계된 확장 가능한 옵티마이저인 FOGO를 소개한다. FOGO는 원시 데이터를 저장하는 대신, 압축된 투영된 메모리(projected memory)의 그래디언트 방향에 의존하여 작동한다.

핵심 메커니즘

스펙트럴 직교화 (Spectral Orthogonalization):
FOGO는 지배적인 특이 방향(singular directions)이 최적화 궤적을 독점하는 것을 방지하기 위해 모멘텀 업데이트를 직교화한다. 뉴턴-슐츠 반복법(Newton–Schulz iterations)을 사용하여 특이 스펙트럼을 평탄화함으로써, 약하지만 일관된 업데이트 방향이 고에너지 모드에 의해 덮어쓰여지는 대신 가시성을 유지하고 업데이트에 기여할 수 있도록 보장한다.
이중 스트림 모멘텀 (Dual-Stream Momentum):
안정적인 추세와 새롭게 나타나는 방향을 모두 포착하기 위해, FOGO는 두 가지 모멘텀 상태를 유지한다:
- 슬로우 스트림 ( $B^{(s)}$ ): 지속적인 추세를 포착한다.
- 패스트 스트림 ( $B^{(f)}$ ): 최근의 변화를 추적한다.
  이들은 구면 선형 보간(SLERP)을 통해 융합되어 가소성(plasticity)과 안정성(stability) 사이의 균형을 맞춘다.
랜덤 투영을 통한 압축된 방향 메모리 (Compact Directional Memory via Random Projection):
FOGO는 고차원 업데이트를 고정된 라데마허(Rademacher) 랜덤 투영 행렬 $\Pi$ 를 사용하여 저차원 공간( $d \ll |\theta|$ )으로 투영한다.
- 이론적 기초: 존슨-린덴스트라우스(Johnson–Lindenstrauss) 레마를 활용하여, 이 투영은 높은 확률로 그래디언트 벡터 간의 쌍별 거리를 보존하며 그래디언트 분포의 기하학적 구조를 유지한다.
- 코드북 (Codebook): 투영된 업데이트는 지수 이동 평균(EMA) 통계량을 사용하여 구면 코드북(Centroids)으로 요약된다. 이 코드북은 대표적인 과거 방향들의 메모리 역할을 한다.
충돌 해결 (Conflict Resolution):
각 단계에서 FOGO는 현재의 직교화된 업데이트를 코드북과 비교하여 충돌을 해결한다:
- 단기 필터링 (Short-Term Filtering): 저장된 방향과 반대 방향(충돌)이거나, 지배적인 로컬 방향과 과도하게 정렬(붕괴 위험)된 성분을 식별하고 억제한다. 이는 투영된 공간에서의 경량화된 직교 보정을 통해 수행된다.
- 장기 보호 (Long-Term Protection): 태스크가 완료된 후, 중요한 센트로이드(centroids)는 중요도 가중치와 함께 동결된다. 이후의 태스크 동안, 업데이트는 이 동결된 방향들에 대해 거의 직교를 유지하도록 제약되어, 민감한 과거 태스크 지식의 파괴적 망각을 방지한다.
근사 리프팅 (Proximal Lifting):
랜덤 투영 $\Pi$ 는 역행렬이 존재하지 않으므로, 투영된 공간에서의 보정된 업데이트는 근사 최소제곱(proximal least-squares) 단계를 통해 원래의 고차원 파라미터 공간으로 리프팅된다. 이는 원래 공간에서의 왜곡을 최소화하면서 보정된 업데이트가 투영된 제약 조건과 일치하도록 보장한다.

3. 주요 기여

망각에 대한 통합적 관점: 본 논문은 망각을 별개의 CL 문제가 아니라, 그래디언트 간섭에서 발생하는 일반적인 최적화 문제로 재정의한다.
확장 가능한 옵티마이저 수준의 메모리: FOGO는 저차원 투영 공간에서 완전히 작동하는 메모리 메커니즘을 도입한다. 이를 통해 원시 데이터를 저장하거나 비용이 많이 드는 풀 랭크 분해를 수행하지 않고도 그래디언트 기하 구조를 추적하고 충돌을 해결할 수 있어, 대규모 모델(예: LLaVA-7B, GPT-2)로의 확장이 가능하다.
이중 메커니즘 설계: 스펙트럴 직교화(희소한 방향을 노출하기 위함)와 방향 메모리(이를 보존하기 위함)의 결합은 단기 억제와 장기적인 망각 축적 문제를 모두 해결한다.
이론적 보장: 본 논문은 표준 모멘텀 하에서 오프-서브스페이스(off-subspace) 방향이 어떻게 억제되는지, 그리고 FOGO의 메모리 보호가 학습된 방향을 보존하면서 동시에 제약되지 않은 서브스페이스를 적응을 위해 어떻게 자유롭게 남겨두는지 보여주는 이론적 분석(Theorem 1, Corollaries 2 & 3)을 제공한다.

4. 실험 결과

FOGO는 네 가지 설정에서 평가되었으며, Adam과 Muon(그리고 UPGD, CBP, FIRE와 같은 다른 CL 베이스라인들)을 일관되게 능가하였다:

클래스 불균형 분류 (CIFAR-10): 희소 클래스(데이터의 10%)가 존재하는 설정에서, FOGO는 희소 클래스 정확도를 Adam 및 Muon 대비 약 2~3% 향상시켰고, 희소 클래스 망각을 약 6% 감소시켰다. 절제 연구(Ablation study)를 통해 단기 필터링이 이러한 개선의 주요 동인임을 확인했다.
지속적 시각 학습 (Continual Visual Learning):
- Domain-IL (PACS): FOGO는 리플레이(replay) 없이도 가장 낮은 평균 망각(AF)을 달이트며, Muon보다 AF 측면에서 2.67포인트 더 높은 성능을 보였다. 리플레이(ER)를 사용할 경우 성능은 더욱 향상되었다.
- Class-IL (CIFAR-10): FOGO는 Adam, Muon, UPGD보다 높은 정확도와 낮은 망각률을 달성했다.
지속적 미세 조정 (Continual Fine-tuning, LLaVA-7B): 지속적 VisualQA 벤치마크(10개의 추론 태스크)에서, FOGO는 AdamW 및 Muon에 비해 평균 성능을 약 2포인트 향상시켰고 총 망각을 약 10포인트 감소시켰다. 분석 결과, FOGO는 더 균형 잡힌 전문가 특징 분산(expert feature variance)을 유도하여 전문가 붕괴(expert collapse)를 완화함을 보여주었다.
언어 사전 학습 (GPT-2): OpenWebText에서의 표준 비지도 사전 학습에서, FOGO는 Adam 및 Muon보다 특히 초기 단계(첫 30K 스텝)에서 더 빠르게 수렴하였으며, 이는 비-지속 학습 환경에서도 이점이 있음을 시사한다.

5. 의의 및 주장

본 논문은 망각이 옵티마이저 수준에서 해결 가능한 일반적인 최적화 문제라고 주장한다. 스펙트럴 직교화와 압축된 데이터 프리(data-free) 방향 메모리를 통해 그래디언트 간섭를 해결함으로써, FOGO는 표준 학습과 지속 학습 시나리오 모두에서 지식을 유지할 수 있는 실용적인 경로를 제공한다.

저자들은 FOGO가 원시 데이터나 이전 모델 스냅샷을 저장할 필요가 없다는 점을 강조하며, 이는 메모리가 제약 요소인 대규모 모델에 적합하다는 것을 의미한다. FOGO가 이중 스트림 직교화 및 투영 연산으로 인해 Adam에 비해 약간의 계산 오버헤드를 발생시키지만, 논문은 일관된 수렴, 성능 및 지식 유지의 이점을 고려할 때 이것이 수용 가능한 수준이라고 주장한다. 이 연구는 망각에 대한 미래의 해결책이 최적화 전략과 아키텍처 및 데이터 전략을 통합해야 하며, FOGO는 최적화 축을 다루고 있음을 시사한다.