Online Continual Learning with Dynamic Label Hierarchies

기술 요약: 동적 레이블 계층을 활용한 온라인 지속 학습

문제 정의: DHOCL
기존의 온라인 지속 학습 (OCL) 방법들은 주로 범주가 독립적이고 의미적으로 등거리인 "평탄한" 레이블 공간을 가정합니다. 이러한 가정은 수평적 (새로운 형제 클래스) 및 수직적 (기존 분기의 세분화 또는 추상화) 으로 진화하는 실제 세계 개념의 계층적 조직 (예: 생물다양성 모니터링) 을 포착하지 못합니다. furthermore, 실제 세계의 감독은 종종 부분적입니다. 관찰자는 전문성에 따라 이미지를 "조류 (Bird)" (거시적) 나 "Monarcha melanopsis" (미시적) 로 라벨링할 수 있으며, 전체 분류학적 계보를 제공하지는 않습니다.

이 격차를 해결하기 위해 저자들은 **동적 계층적 온라인 지속 학습 (DHOCL)**을 소개합니다. 이전의 계층적 지속 학습 연구들이 경직되고 사전 정의된 "거시에서 미시" 커리큘럼을 강제하는 것과 달리, DHOCL 은 데이터 인스턴스가 언제든지 임의의 계층 수준에서 주석이 달린 상태로 도착할 수 있도록 허용합니다. 분류 체계는 고정되지 않으며, 새로운 클래스가 등장함에 따라 유기적으로 성장하여 불균형하고 불완전한 트리 구조를 생성할 수 있습니다. 이 설정은 두 가지 근본적인 도전을 제시합니다:

1. 부분적 감독과 구조적 분리: 각 샘플은 "경로 기반" 계층 구조에서 "점 단위" 신호만 제공합니다. 이는 가소성을 제한하고 세분화 간에 의미적 제약의 전파를 방지하여, 분류학적 분기가 구조적으로 분리된 단편화된 잠재 공간을 초래합니다.
2. 세분화에 의한 간섭: 서로 다른 분류학적 깊이는 이질적인 학습 및 망각 속도를 보입니다. 거시적 학습은 미시적 뉘앙스를 불안정하게 만들 수 있고 그 반대의 경우도 마찬가지입니다. 평탄한 공간을 위해 설계된 기존 재생 및 정규화 메커니즘은 이러한 교차 간섭을 고려하지 못하여 편향된 정규화와 치명적인 망각을 초래합니다.

방법론: HALO
저자들은 **HALO(조직된 원형을 활용한 계층적 적응 학습)**를 제안합니다. 이는 계층적 일관성을 유지하면서 빠른 적응과 장기적 안정성 사이의 균형을 맞추도록 설계된 프레임워크입니다. HALO 는 두 가지 핵심 구성 요소로 이루어져 있습니다:

1. 계층적 원형 정규화 (HPR):

   • HALO 는 백본 특징을 원형 공간으로 매핑하는 경량 어댑터를 도입합니다. 계층의 모든 수준에서 각 클래스마다 학습 가능한 원형 집합이 유지됩니다.
   • 구조적 정렬: 마진 기반 순위 손실은 조상 - 자손 원형 쌍이 무관한 쌍보다 더 유사하도록 강제하여, 진화하는 트리 구조를 명시적으로 특징 공간에 주입합니다.
   • 시간적 중요도 일관성: 이 방법은 현재 모델과 이전 단계의 캐시된 원형 간에 가장 정보적인 위치 (Top-K 패치) 에서의 응답 변화를 패널티로 부과합니다. 이는 거시적 의미에 대한 안정성을 보장하면서 새로운 미시적 업데이트를 위한 통제된 이동을 허용합니다.
   • 이러한 원형은 계층이 진화함에 따라 분류학적 분기의 분리를 방지하는 "위상적 접착제" 역할을 합니다.

2. 계층적 적응 집계 (PredLA):

   • 새로운 노드에 대한 빠른 적응과 기존 지식에 대한 안정성 사이의 충돌을 해결하기 위해, PredLA 는 각 수준에서 두 가지 상호 보완적 분류기의 계층적 적응 앙상블을 사용합니다:
     • 선형 헤드 (Linear Head): 교차 엔트로피 손실을 사용하여 학습 가능한 특징으로 훈련되며, 적응성에 최적화되어 있습니다.
     • 분석적 헤드 (Analytic Head, ACIL): 재귀적 최소제곱법 (RLS) 을 사용하여 고정된 특징으로 훈련되며, 안정성과 망각 저항성에 최적화되어 있습니다.
   • 집계: 파라미터 수준에서 병합하는 대신, PredLA 는 확률 공간에서 예측을 집계합니다. 이는 온도 스케일링을 사용하며, 이계 목적 함수를 통해 재생된 샘플에서만 집계 가중치 ($\alpha$) 를 학습합니다. 이를 통해 시스템은 내부 최적화 역학에 간섭하지 않고 "가소적"인 선형 예측과 "안정적"인 분석적 예측 사이의 균형을 맞출 수 있습니다.

주요 기여

• DHOCL 의 형식화: 이 논문은 경직된 거시 - 미시 가정을 넘어 스트리밍 데이터에서 계층적 지식의 동적 진화를 포착하는 더 현실적이고 일반적인 OCL 설정을 확립합니다.
• HALO 프레임워크: 동적 레이블 계층의 특정 도전을 해결하기 위해 계층적 적응 집계와 원형 기반 정규화를 결합한 새로운 아키텍처입니다.
• 종합적 평가: 저자들은 다양한 계층 구조와 도메인을 아우르는 다양한 벤치마크 (CIFAR-100, FGVC-Aircraft, CUB-200, iNaturalist, ImageNet-H) 에서 다섯 가지 지표 (AAUC, FAUC, MS, FFAcc, FAAcc) 를 사용하여 엄격한 평가 프로토콜을 수립했습니다.

실험 결과
광범위한 실험을 통해 HALO 가 모든 데이터셋과 지표에서 기존 OCL 베이스라인 (재생 기반, 정규화 기반, 계층 인식 방법 포함) 보다 일관되게 우수함을 입증했습니다.

• 성능: HALO 는 우수한 곡선 아래 면적 (AAUC) 과 미세 분류 정확도 (FAUC) 를 달성하면서 실수 심각도 (MS) 를 현저히 감소시킵니다.
• 안정성 - 가소성 트레이드오프: 학습 곡선은 HALO 가 새로운 클래스와 계층 수준을 빠르게 학습하면서도 치명적인 망각을 효과적으로 제한함을 보여줍니다. 이는 미세 세부 사항을 망각하는 순수 재생 방법과 거시 수준 적응에 어려움을 겪는 순수 분석 방법 모두보다 우수합니다.
• 강건성: 이 방법은 다양한 백본 아키텍처 (ResNet-50, ViT-B) 와 사전 학습 전략 (Supervised, CLIP, DINO, MAE) 에 대해 강건함을 입증했습니다. 또한 계층적 노이즈 (예: 분류 체계의 엣지 삭제 또는 무작위 교란) 하에서도 우아하게 저하되는 특성을 보입니다.
• 절대 연구: PredLA 또는 HPR 중 하나를 제거하면 성능이 저하되어, 분류기의 적응적 집계와 원형 기반 구조적 정규화 모두 성공에 필수적임을 확인시켜 줍니다.

의의 및 주장
저자들은 이 작업을 계층적 분류와 지속 학습 간의 격차를 해소하기 위한 필수적인 단계로 위치시킵니다. 그들은 DHOCL 이 오픈 월드 환경에서 분류 체계의 자연스러운 진화를 반영하는 독특하게 유연하고 현실적인 설정을 제공한다고 주장합니다. 그들의 설정이 고도로 편향되거나 손상된 트리 구조와 같은 실제 세계 시나리오의 전체 복잡성을 아직 완전히 다루지는 못한다고 인정하면서도, HALO 를 두 분야 모두의 미래 연구를 안내할 실용적인 벤치마크와 관찰을 제공하는 기초 프레임워크로 봅니다. 이 작업은 성공적인 DHOCL 은 출력 수준 감독이나 일반적인 망각 완화에만 의존하는 것이 아니라, 특징 진화와 계층적 위상 간의 명시적 정렬을 요구하는 전략이 필요함을 강조합니다.