1. 문제 정의 (Problem Definition)

배경 및 한계:
기존의 영구 학습 (Lifelong Learning, LL) 연구는 주로 동질적인 (Homogeneous) 작업들 (예: 분류 작업만 연속적으로 학습하거나, 세그멘테이션 작업만 학습) 을 다루는 데 집중해 왔습니다. 그러나 실제 응용 분야 (자율 주행, 지능형 에이전트 등) 에서는 분류, 회귀 (깊이 추정), 벡터 예측 (표면 법선) 등 서로 다른 출력 구조를 가진 이질적인 (Heterogeneous) 작업들이 연속적으로 발생하는 경우가 많습니다.

주요 문제점:

1. 이질적 지식의 통합 부재: 기존 방법들은 동일한 출력 공간 (예: 클래스 레이블) 을 가정하므로, 서로 다른 출력 구조 (이산적 클래스 vs 연속적 값) 를 가진 작업을 순차적으로 학습할 때 적용하기 어렵습니다.
2. catastrophic forgetting (파괴적 망각): 새로운 이질적 작업을 학습할 때 이전 작업에서 습득한 이질적인 지식이 손실되는 현상이 발생합니다.
3. 밀집 예측 (Dense Prediction) 의 복잡성: 픽셀 단위 예측 작업은 세밀한 정보 유지와 전역적 일관성이 동시에 요구되는데, 이질적인 작업 간 지식 보존은 특히 어렵습니다.

제안된 설정 (LHL4DP):
저자들은 이를 **영구 이질적 학습 (Lifelong Heterogeneous Learning, LHL)**으로 정의하고, 구체적으로 밀집 예측을 위한 LHL (LHL4DP) 시나리오를 제안합니다. 이 설정에서는 입력 도메인은 동일하지만, 순차적으로 등장하는 작업들이 서로 다른 출력 공간 (세그멘테이션, 깊이 추정, 표면 법선 등) 을 가집니다.

---

2. 방법론 (Methodology: HAD)

저자들은 과거 데이터를 저장하지 않는 예시 없는 (Exemplar-free) 접근법인 **HAD (Heterogeneity-Aware Distillation)**를 제안합니다. HAD 는 이전 작업의 지식을 보존하기 위해 자기 증류 (Self-distillation) 를 수행하며, 두 가지 핵심 손실 함수로 구성됩니다.

2.1. 아키텍처

• 공유 인코더 (Shared Encoder): 모든 작업에서 공통적으로 사용되는 특징 추출기.
• 작업별 디코더 (Task-specific Decoders): 각 작업 (분류, 회귀 등) 에 맞춰 독립적으로 학습되는 디코더.
• 학습 과정: 새로운 작업 $T_t$가 들어오면, 이전 작업들의 모델 ($F^{t-1}_j$) 을 'Teacher'로 고정하고, 현재 학습 중인 모델 ($F^t_j$) 을 'Student'로 하여 증류 손실을 계산합니다.

2.2. 핵심 구성 요소

1) 분산 균형 이질성 인식 증류 손실 (DB-HAD, Distribution-Balanced HAD)

• 문제: 밀집 예측 작업에서 생성된 의사 레이블 (Pseudo-labels) 은 클래스나 값의 분포가 불균형하여 (예: 배경 픽셀이 과다), 학습이 왜곡될 수 있습니다.
• 해결:
  • 픽셀을 의미 그룹 (Semantic Groups) 으로 나눕니다. (분류 작업은 클래스별, 회귀 작업은 값 구간별).
  • 각 그룹 내에서 **기하 평균 (Geometric Mean)**을 사용하여 증류 손실을 계산합니다. 이는 노이즈와 부정확한 예측의 영향을 완화하고, 그룹 간 기여도를 균등하게 만듭니다.
  • 그룹별 손실을 산술 평균하여 전체 손실을 계산합니다.

2) 중요도 안내 이질성 인식 증류 손실 (SG-HAD, Salience-Guided HAD)

• 문제: 밀집 예측에서 가장 중요한 정보는 객체의 경계나 급격한 값 변화 (Edge) 에 존재합니다.
• 해결:
  • Sobel 연산자를 사용하여 Teacher 와 Student 모델 간의 예측 손실 맵 (Loss Map) 에서 경계 (Gradient) 를 추출합니다.
  • 생성된 에지 세트 (Salient Edge Set) 에만 집중하여 증류 손실을 계산합니다.
  • 이를 통해 모델이 중요한 경계 정보를 보존하도록 유도합니다.

최종 손실 함수:
$$\mathcal{L} = \frac{\alpha}{2(t-1)} \sum_{j=1}^{t-1} (\mathcal{L}_{db,j} + \mathcal{L}_{sg,j}) + \mathcal{L}_{new}$$
여기서 $\mathcal{L}_{new}$는 새로운 작업을 학습하기 위한 작업별 손실 (예: Cross-Entropy 또는 L1 Loss) 입니다.

---

3. 주요 기여 (Key Contributions)

1. 새로운 학습 시나리오 정의: 기존 영구 학습의 동질적 한계를 넘어, 이질적인 출력 구조를 가진 작업을 연속적으로 학습하는 **LHL (Lifelong Heterogeneous Learning)**과 그 구체적인 사례인 LHL4DP를 공식적으로 정의하고 문제를 분석했습니다.
2. HAD 방법론 제안: 예시 데이터 없이도 이질적 지식을 보존할 수 있는 새로운 증류 기법을 제안했습니다. 특히 DB-HAD를 통해 분포 불균형 문제를 해결하고, SG-HAD를 통해 경계 정보를 효과적으로 보존하도록 설계했습니다.
3. 광범위한 실험 검증: CityScapes, NYUv2, Taskonomy 등 다양한 데이터셋과 작업 조합 (2 개~10 개 작업) 에서 기존 최첨단 방법들 (EWC, LwF, iCaRL 등) 보다 우수한 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 데이터셋: NYUv2 (3 작업), CityScapes (2 작업), Taskonomy (10 작업).
• 성능 지표: 평균 상대적 개선도 ($\Delta^m_v$) 와 평균 순위 (Mean Rank).
• 주요 결과:
  • NYUv2 (ResNet-18): HAD 는 기존 방법들보다 평균 상대적 개선도에서 **+32.74%**의 향상을 보였으며, 평균 순위 (MR) 에서 3.67로 가장 좋은 성능을 기록했습니다. (Joint Training 기준 40.83% 개선, Vanilla 대비 0%).
  • Taskonomy (10 작업): 10 개의 이질적 작업 순차 학습에서 HAD 는 모든 개별 작업 중 가장 많은 수에서 최저 테스트 손실을 기록했으며, 평균 상대적 개선도 **+10.90%**를 달성했습니다.
  • Ablation Study:
    • DB-HAD 와 SG-HAD 를 제거할 경우 성능이 각각 2.84%, 1.27% 하락하여 두 구성 요소의 중요성을 입증했습니다.
    • 기하 평균 사용이 산술 평균보다 노이즈 감소에 효과적이었습니다.
  • 메모리 효율성: 별도의 모델로 학습하는 것보다 공유 인코더를 사용하는 LHL4DP 방식이 파라미터 오버헤드를 약 172% 줄였습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 영구 학습 분야에서 **이질적인 작업 (Heterogeneous Tasks)**을 다루는 새로운 패러다임을 제시했습니다.

• 실용성: 자율 주행이나 로봇과 같이 다양한 센서 데이터 (이미지 분류, 깊이, 법선 등) 를 실시간으로 처리해야 하는 실제 환경에 매우 적합합니다.
• 기술적 혁신: 과거 데이터를 저장하지 않으면서도, 서로 다른 출력 구조를 가진 작업 간 지식 보존을 가능하게 하는 '이질성 인식 증류' 기법은 향후 다중 작업 학습 및 영구 학습 연구의 중요한 방향성을 제시합니다.
• 확장성: 제안된 HAD 프레임워크는 분류뿐만 아니라 회귀, 벡터 예측 등 다양한 밀집 예측 작업에 적용 가능한 범용적인 솔루션입니다.

결론적으로, HAD 는 이질적인 데이터 스트림 환경에서 모델의 망각을 효과적으로 방지하고, 다양한 시각적 능력을 단일 모델에 통합하여 학습하는 강력한 방법론을 제시했습니다.