기술 요약: PILOT – 실시간 의미 분할을 위한 데이터 없는 지속적 학습 접근법

1. 문제 제기

PIDNet 과 같은 실시간 의미 분할 모델은 자율 시스템에 대해 정확도와 추론 속도 사이의 중요한 균형을 제공합니다. 그러나 이러한 모델은 동적 환경에 배포될 때 상당한 한계에 직면합니다: 전체 데이터셋을 재학습하지 않고는 새로운 객체 클래스를 점진적으로 학습할 수 없다는 점입니다. 표준 파인튜닝 방법은 **재앙적 망각 (catastrophic forgetting)**을 초래합니다. 이는 모델이 새로운 데이터에 대한 손실을 최소화하기 위해 매개변수를 덮어쓰면서, 이전에 학습된 클래스에서 성능이 급격히 저하되는 현상입니다.

기존의 지속적 학습 (CL) 전략들은 종종 데이터 재생 (이전 데이터의 부분집합 저장) 이나 무거운 정규화 기술에 의존합니다. 이러한 접근법들은 오프라인 고용량 모델 (예: ResNet-101 기반 아키텍처) 에 효과적이지만, 상당한 메모리 오버헤드와 계산 비용을 도입하여 프레임당 초 (FPS) 와 모델 크기가 최우선인 경량 실시간 시스템에는 부적합합니다. 또한, 많은 기존 CL 방법들은 PIDNet 과 같은 실시간 백본의 특정 아키텍처 제약을 해결하지 못합니다.

2. 방법론: PILOT 프레임워크

본 논문은 PIDNet 아키텍처에 특화된 새로운 재생 없는 지속적 학습 프레임워크인 **PILOT(Parallel Incremental Learning Over Time)**을 제안합니다. 핵심 철학은 새로운 클래스의 학습과 기존 지식의 보존을 구조적으로 격리하는 것입니다.

2.1. 아키텍처 설계

이 프레임워크는 PIDNet 의 고유한 3-브랜치 구조를 활용합니다:

• P-브랜치 (Proportional): 의미적 컨텍스트를 처리합니다.
• I-브랜치 (Integral): 중간 특징을 정제하고 컨텍스트를 집계합니다.
• D-브랜치 (Derivative): 고주파수 경계 감지에 전념합니다.

PILOT 은 두 가지 명확한 경로를 통해 작동합니다:

1. 동결된 베이스 네트워크: 기본 클래스 ($C_0$) 에 대한 초기 학습 후, 원래 PIDNet 백본 (P, I, D 브랜치 전체) 과 원래 분할 헤드는 엄격하게 **동결 (frozen)**됩니다. 이는 원래 클래스에 대한 특징 표현과 경계 정의가 손상되지 않도록 보장하여 재앙적 망각에 대한 강력한 방어를 제공합니다.
2. 병렬 경계 브랜치: 새로운 클래스 ($C_t$) 를 수용하기 위해 경량화된 동결되지 않은 병렬 경계 브랜치가 도입됩니다. 이 브랜치는 고정된 D-브랜치와 병렬로 실행되며 동일한 RGB 입력을 공유합니다. 구조적으로 원래 D-브랜치와 동일하지만 학습 가능한 모듈로 초기화됩니다.
   • 이 병렬 브랜치는 새로운 클래스에 특화된 고주파수 경계 표현을 학습합니다.
   • 그 출력은 점진적 카테고리에 대한 분할 마스크를 생성하는 전용 새로운 클래스 헤드로 전달됩니다.

2.2. 학습 전략

이 접근법은 완전히 데이터가 없는 (재생 없는) 방식입니다. 점진적 단계 동안:

• 모델은 새로운 클래스의 데이터셋 ($D_t$) 만을 사용하여 최적화됩니다.
• 기울기는 오직 병렬 경계 브랜치와 새로운 클래스 헤드의 매개변수에만 계산되어 적용됩니다.
• 거대한 베이스 네트워크 매개변수는 변경되지 않아 전체 네트워크 파인튜닝이나 복잡한 다중 스케일 특징 증류의 계산 부담이 제거됩니다.

2.3. 추론 라우팅

배포 중 신뢰도 기반 라우팅 메커니즘이 예측을 병합합니다:

• 병렬 브랜치는 먼저 새로운 클래스에 대해 장면을 평가합니다.
• 픽셀의 신뢰도 점수가 임계값 ($\tau$) 을 초과하면 새로운 클래스로 분류됩니다.
• 신뢰도가 임계값 미만인 경우, 시스템은 레거시 클래스를 예측하기 위해 동결된 PIDNet 백본을 기본으로 사용합니다.
  이를 통해 모델이 매우 확신할 때만 새로운 객체가 분할되며, 다른 모든 영역에서는 기본 클래스 예측의 무결성이 보존됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 새로운 재생 없는 프레임워크: PILOT 은 메모리 집약적인 재생 버퍼나 오프라인 재학습 없이 재앙적 망각을 효과적으로 완화하는 PIDNet 을 위한 지속적 학습 프레임워크입니다.
2. 경계 중심의 가소성: 이 연구는 D-브랜치가 포착하는 고주파수 경계 정보가 새로운 의미 범주를 학습하기에 충분함을 보여줍니다. 이 브랜치를 격리함으로써 모델은 P 및 I 브랜치의 안정성을 유지하면서 새로운 카테고리에 적응할 수 있습니다.
3. 실시간 평가: 이 방법은 클래스 증분 학습 시나리오를 사용하여 Cityscapes 데이터셋에서 평가되었으며, 새로운 카테고리에 적응하면서도 실시간 성능을 유지하는 효과를 입증했습니다.

4. 실험 결과

이 프레임워크는 표준 클래스 증분 프로토콜 (14-1 및 10-1) 하에서 Cityscapes 데이터셋에서 평가되었습니다.

• 안정성 대 가소성: PIDNet-M 백본을 사용하여 PILOT 은 15 개에서 시작하여 19 개 클래스를 학습한 후 전체 mIoU **71.87%**를 달성했습니다. 중요한 점은 **기본 클래스 안정성 77.38%**를 유지하여 (초기 기본 성능의 95.6% 보유) 단순한 파인튜닝 (약 60% 로 하락) 과 PLOP 및 MiB 와 같은 다른 최첨단 방법들을 크게 능가했다는 것입니다.
• 최첨단 방법과의 비교: 14-1 프로토콜에서 PILOT 은 기본 클래스에서 76.52% mIoU 를, 새로운 클래스에서 49.20% mIoU 를 달성하여 TOPICS (기본 73.03%, 새로운 42.47%) 와 PLOP (기본 63.54%, 새로운 15.38%) 와 같은 방법들을 능가했습니다. 이는 더 가벼운 백본 (ResNet-101 대 PIDNet) 을 사용했음에도 불구하고 이루어진 것입니다.
• 애블레이션 연구:
  • 연결 지점: 병렬 브랜치를 D-브랜치에 연결하는 것이 가장 좋은 결과 (전체 mIoU 72.65%) 를 보여주어, 경계 특징이 증분 학습에 최적임을 확인했습니다.
  • 모델 용량: 중간 용량 변형 (PIDNet-M) 은 더 작은 (S) 과 더 큰 (L) 변형 모두를 일관되게 능가했습니다. 이는 과도한 용량 (L) 이 제한된 새로운 데이터에서 과적합을 초래할 수 있으며, S 는 충분한 용량이 부족함을 시사합니다.
• 정성적 결과: 시각화 결과, PILOT 이 새로운 클래스 (예: 버스, 기차, 자전거) 를 날카로운 경계로 성공적으로 분할하면서도 원래 클래스 (예: 도로, 사람) 의 분할 품질을 보존하고 재앙적 망각에서 전형적인 노이즈와 혼란을 피함을 확인했습니다.

5. 중요성과 주장

본 논문은 PILOT 이 고급 지속적 학습 전략과 경량 실시간 분할 모델의 엄격한 지연 시간 제약 사이의 간극을 성공적으로 메웠다고 주장합니다.

• 배포 타당성: 오프라인 재학습과 무거운 증류 파이프라인의 필요성을 제거함으로써, 이 프레임워크는 추론 속도를 희생하지 않고 새로운 환경 (예: 새로운 차량 유형 또는 임시 장벽) 에 적응해야 하는 자율 주행 차량과 로봇을 위한 배포 준비 솔루션을 제공합니다.
• 효율성: 이 방법은 네트워크 매개변수의 일부만 업데이트하므로 최소한의 계산 오버헤드로 높은 정확도와 안정성을 달성합니다.
• 일반화 가능성: 현재 작업은 PIDNet 과 주행 데이터셋에 초점을 맞추고 있지만, 저자들은 "동결된 백본 + 작은 동결되지 않은 경계 브랜치"라는 원칙이 다른 밀집 예측 작업과 아키텍처에도 적용 가능할 것이라고 제안합니다. 다만 이는 향후 연구 방향으로 남아 있습니다.

저자들은 겸손한 입장을 견지하며, 이 방법이 Pascal VOC 와 같은 다른 데이터셋으로 원칙적으로 이전되더라도 매우 다양하고 비강체 (non-rigid) 인 클래스에 대한 성능은 추가 조사가 필요하다고 인정합니다. 주요 기여는 의미 분할에서 재앙적 망각 문제에 대한 경량 실시간 솔루션을 입증하는 데 있습니다.