Learning from Oblivion: Predicting Knowledge Overflowed Weights via Retrodiction of Forgetting

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 사전 학습된 가중치 (Pre-trained weights) 는 데이터가 부족한 시나리오에서 하위 작업의 성능을 향상시키는 핵심 요소입니다. 일반적으로 사전 학습 데이터의 크기가 커질수록 더 나은 가중치와 성능을 얻는 '스케일링 법칙 (Scaling Law)'이 알려져 있습니다.
• 문제: 하지만 대규모 데이터를 수집하고 큐레이션하는 것은 비용과 노력이 많이 들어 현실적으로 어렵습니다.
• 핵심 질문: 제한된 데이터셋으로 훈련된 모델보다 더 많은 지식을 담고 있는 '더 나은' 사전 학습 가중치를 어떻게 얻을 수 있을까요?
• 기존 접근의 한계: 단순히 데이터를 늘리는 것은 불가능하므로, 기존 데이터셋을 활용하여 마치 더 큰 데이터셋으로 훈련된 것과 같은 가중치를 생성하는 새로운 전략이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 '지식 넘침 가중치 예측 (KNowledge-Overflowed Weights, KNOW Prediction)' 이라는 새로운 전략을 제안합니다. 이는 의도적인 '구조화된 망각 (Structured Forgetting)' 과 그 '역전 (Inversion/Retrodiction)' 을 통해 지식을 풍부하게 만든 가중치를 합성하는 방식입니다.

2.1. 핵심 아이디어: 망각의 역전

• 가설: 데이터셋 크기를 줄이며 순차적으로 파인튜닝 (Sequential Fine-tuning) 을 수행하면, 모델은 특정 데이터에 대한 지식을 잃게 됩니다 (망각). 이 망각 과정은 구조화되어 있으며, 이를 역으로 추적 (Retrodiction) 하면 원래 데이터셋보다 더 큰 데이터셋으로 훈련된 것과 같은 가중치를 복원할 수 있다고 가정합니다.
• 과정:
  1. 원본 데이터셋 $D_0$ 에서 훈련된 가중치 $\Theta_0$ 를 시작점으로 합니다.
  2. 데이터셋을 점진적으로 축소 ($D_1 \subset D_0, D_2 \subset D_1, \dots$) 하며 순차적으로 파인튜닝하여 가중치 시퀀스 $[\Theta_0, \Theta_1, \dots, \Theta_S]$ 를 생성합니다. 이 과정에서 '망각'이 발생합니다.
  3. 이 망각 궤적을 역으로 추론하여, 마치 더 큰 데이터셋 $D_{-1}$ ($D_0 \subset D_{-1}$) 로 훈련된 가중치 $\Theta_{-1}$ 을 예측합니다.

2.2. KNOWN (KNowledge Overflowed Weight Nowcaster)

• 메타 학습 기반 하이퍼모델: 가중치 예측을 위해 메타 학습 (Meta-learning) 을 적용한 하이퍼모델인 KNOWN 을 개발했습니다.
• 동작 원리:
  • KNOWN 은 가중치 업데이트의 일반적인 진화 경향 (General Evolution) 을 학습합니다.
  • 입력: 현재 가중치 시퀀스 $[\Theta_0, \dots, \Theta_{S-1}]$ 와 그 변화량 $dW$.
  • 출력: 더 큰 데이터셋으로 훈련된 것과 같은 가중치 $\hat{\Theta}_{-1}$ 을 예측하는 잔차 (Residual).
  • 구조: WNN (Weight Nowcasting Network) 을 기반으로 한 2-스트림 MLP 아키텍처로, 매우 경량화되어 있습니다 (약 9,425 개의 파라미터).
• 메타 데이터셋 구축: 다양한 아키텍처 (CNN, ResNet 등) 와 데이터셋 (CIFAR, MNIST 등) 에서 의도적인 망각을 유도하여 생성된 가중치 궤적 데이터를 수집하여 KNOWN 을 훈련시켰습니다.

2.3. 반복적 다단계 예측 (Iterative Multi-step Forecasting)

• 한 번의 예측 ($\Theta_{-1}$) 이 신뢰할 만하다면, 이를 기반으로 다시 한 번 예측하여 $\Theta_{-2}$ 등을 생성할 수 있습니다. 이를 통해 사용 가능한 데이터셋에서 최대한의 지식을 추출할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. KNOW 예측 전략 도입: 구조화된 순차적 망각과 그 역전을 활용하여, 원본 데이터셋을 초과하는 지식을 가진 가중치를 합성하는 새로운 패러다임을 제시했습니다.
2. 망각 궤적 데이터셋 구축: 통제된 망각 과정을 통해 생성된 가중치 전이 (Transition) 데이터셋을 구축하여, 망각의 궤적을 효과적으로 모델링할 수 있는 기반을 마련했습니다.
3. KNOWN 모델 제안: 더 큰 데이터셋으로 훈련된 가중치를 예측하기 위한 메타 하이퍼모델 KNOWN 을 개발했습니다.
4. 광범위한 실험 검증: 다양한 데이터셋과 아키텍처를 통해 제안된 방법이 단순 파인튜닝이나 기존 가중치 예측 방법보다 일관되게 우수한 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

실험은 이미지 분류, 도메인 일반화, 이미지 캡셔닝, 시맨틱 세그멘테이션 등 다양한 작업에서 수행되었습니다.

• 이미지 분류 (CIFAR-100 $\to$ CIFAR-10):

  • ResNet18 을 사용하여 실험한 결과, 제안된 KNOWN 은 Naïve Transfer(기저선) 보다 일관되게 높은 정확도를 달성했습니다.
  • 특히, 데이터셋 크기를 줄여 훈련한 모델 (예: 50% 데이터) 에 대해 KNOW 예측을 적용하면, 원본 전체 데이터셋 (100%) 으로 훈련한 모델보다도 더 높은 성능을 보이는 경우가 있었습니다.
  • 기존 곡선 피팅 (Linear, Log, Exp) 이나 Task Vector 기반 방법들은 비선형적인 망각 궤적을 잘 모델링하지 못해 성능이 떨어지는 반면, KNOWN 은 복잡한 궤적을 잘 학습하여 우위를 보였습니다.

• 도메인 일반화 (PACS Dataset):

  • Art, Cartoon, Photo, Sketch 등 서로 다른 도메인 간 전이 학습에서 KNOWN 은 모든 도메인에서 기저선보다 우수한 성능을 보이며, 도메인 간 격차에 대한 강건성을 입증했습니다.

• 새로운 모달리티 및 복잡한 작업:

  • 이미지 캡셔닝 (Flickr8K): Vision Encoder 로 PVTv2 를 사용했을 때, MASKED Accuracy 가 약 2.2% 향상되었습니다.
  • 시맨틱 세그멘테이션 (Cityscapes): DeepLabV3+ 에 적용 시, mIoU 가 크게 향상되었으며, 특히 교통 신호등 등 세부 객체 인식에서 기저선 모델의 불안정성을 해결하고 명확한 분할 결과를 보여주었습니다.

• 효율성:

  • 가중치 예측 자체는 추론만 필요로 하므로 계산 비용이 거의 없습니다 (ResNet18 기준 약 3 초 미만).
  • 점진적 망각을 위한 추가 훈련 비용은 있지만, 실제 대규모 데이터 수집 비용에 비하면 매우 효율적이며, 더 큰 데이터셋으로 훈련한 것과 유사한 성능 향상을 제공합니다.

5. 의의 및 결론 (Significance)

• 망각의 재해석: 기존에는 학습 과정에서 발생하는 '망각 (Forgetting)'을 단점으로 보았으나, 이를 역이용하여 모델을 더 지능화하는 도구로 재해석했다는 점에서 이론적 의의가 큽니다.
• 데이터 부족 문제 해결: 대규모 데이터 수집 없이도, 기존 데이터를 활용하여 마치 더 많은 데이터로 훈련된 것과 같은 고품질 사전 학습 가중치를 생성할 수 있는 방법을 제시했습니다.
• 범용성: 메타 학습된 KNOWN 은 추가적인 메타 학습 없이도 다양한 아키텍처와 작업 (분류, 생성, 세그멘테이션 등) 에 적용 가능하며, 데이터가 부족한 시나리오에서 강력한 전이 학습 (Transfer Learning) 초기화 전략으로 활용될 수 있습니다.

이 논문은 "잊어버린 것을 되찾음으로써 더 많은 지식을 얻는다" 는 역발상을 통해 딥러닝의 지식 전이 한계를 확장하는 새로운 가능성을 제시합니다.