TestMate: Test-Time Domain Adaptation Aided by Lightweight Vision Foundation Model

기술 요약: TestMate

문제 정의

심층 신경망(DNN)은 데이터 분포 변화(예: 악천후, 서로 다른 센서 모달리티)가 발생하는 환경에 배포될 때 성능 저하를 겪는 경우가 많습니다. 도메인 적응(Domain Adaptation, DA)이 이를 해결할 수 있지만, **테스트 시간 도메인 적응(Test-Time Domain Adaptation, TTDA)**은 독특한 과제를 안고 있습니다. 모델은 소스 데이터나 레이블에 접근할 수 없는 상태에서, 스트리밍되는 레이블 없는 타겟 데이터에 실시간으로 적응해야 합니다.

현재 시맨틱 세그멘테이션을 위한 TTDA 방법들은 다음과 같은 결정적인 한계점에 직면해 있습니다:

• 엔트로피 최소화 및 의사 레이블링(Pseudo-labeling): 이러한 그래디언트 기반 방식은 종종 비용이 많이 드는 역전파(backpropagation)를 요구하며, 치명적 망각(catastrophic forgetting)의 위험이 있고, 노이즈가 많은 세그멘테이션 경계선을 생성합니다. 이들은 주로 지배적이고 엔트로피가 낮은 영역에 집중하는 경향이 있어, 더 작거나 빈도가 낮은 객체들을 간과합니다.
• 메모리 뱅크 방식(Memory-Bank Methods): 역전파가 필요하지는 않지만, 신뢰할 수 있는 메모리 뱅크를 구축하기 위해 수많은 샘플이 필요하므로 적응 속도가 느립니다. 이들은 지속적인 도메인 변화에 대응하기 어려우며, 첫 번째 샘플부터 최적의 성능을 제공하지 못하는 경우가 많습니다.
• 파운데이션 모델 제약: 비전 파운데이션 모델(VFM)을 DA에 사용하는 기존 방식들은 계산적으로 실시간 TTDA에 부적합하거나 소스 데이터를 필요로 하는 무거운 모델(예: SAM, CLIP)에 의존하며, 이는 TTDA의 제약 조건을 위반합니다.

방법론: TestMate

저자들은 배포 즉시 시맨틱 세그멘테이션 출력을 정교화하도록 설계된 새로운 실시간, 역전파 프리(backpropagation-free) TTDA 프레임워크인 TestMate를 제안합니다.

핵심 메커니즘

TestMate는 **경량 비전 파운데이션 모델(VFM)**의 일반화 능력을 활용하여 기본 세그멘테이션 DNN의 적응을 유도합니다.

1. VFM 통합: 제로샷 인스태스 세그멘테이션 모델인 FastSAM(YOLOv8-seg 기반)을 경량 VFM으로 사용합니다. 이는 실시간으로 다양한 스케일에서 객체 및 그 부위(parts)에 대한 여러 개의 거친(coarse) 레이블 없는 마스크 후보를 생성합니다.
2. 휴리스틱 융합(Heuristic Fusion): 이 방법은 파라미터가 필요 없는 휴리스틱 기반 프로세스를 사용하여 VFM이 생성한 마스크를 기본 DNN의 초기 로짓(logits)과 융합합니다. 이 과정은 기본 모델에 대한 어떠한 그래디언트 업데이트 없이 수행됩니다.
3. 정교화 전략(Refinement Strategies):
   • 순서 기반 정교화(Ordered Refinement): 마스크를 크기 오름차순으로 정렬합니다. 작은 마스크(일반적으로 단일 객체)가 먼저 처리되어 특정 영역을 정교화합니다. 큰 마스크(여러 객체를 포함할 가능성이 있는)는 나중에 처리되며, 이전에 정교화된 작은 영역을 제외하여 덮어쓰기를 방지합니다.
   • 소프트 정교화(Soft Refinement): 하드 레이블 할당 대신, 가중치 블렌딩 전략을 사용합니다. 마스크 영역 내 지배적 영역의 크기 비율에 따라 원래의 로짓과 지배적 클래스의 로짓을 보간(interpolate)합니다. 이는 모호한 영역의 불확실성을 보존하면서 확신이 있는 예측을 강화합니다.
   • 엔트로피 기반 필터링: 정교화는 불확실한 픽셀에 선택적으로 적용됩니다. 비지배 영역의 픽셀은 해당 마스크 내 지배적 영역의 평균 엔트로피보다 엔트로피가 높을 때만 정교화됩니다. 이는 비지배 영역에서의 확신 있는 예측을 보존하기 위함입니다.

알고리즘 흐름

각 입력 타겟 이미지 $X_t$에 대하여:

1. 기본 DNN이 초기 로짓 $\hat{Y}_t$를 생성합니다.
2. VFM이 이진 마스크 집합 $\{M_i\}$를 생성합니다.
3. 마스크를 크기순(작은 것에서 큰 것 순)으로 정렬합니다.
4. 각 마스크에 대해, 마스크 내 DNN 로짓의 다수결 투표를 통해 지배적 클래스를 식별합니다.
5. 마스크를 지배적 영역($R_i$)과 비지배 영역($N_i$)으로 분할합니다.
6. $R_i$의 픽셀과 고엔트로피 픽셀에 대해 소프트 정교화를 적용하여 로짓을 업데이트합니다.
7. 이후 마스크 반복 과정에서 재처리를 방지하기 위해 정교화된 픽ксе를 캐싱합니다.

주요 기여

1. 경량 VFM 가이드: 경량 VFA를 사용하여 세그멘테이션을 위한 TTDA를 가이드하고 정교화하는 최초의 사례로, 대규모 파운데이션 모델의 계산 오버헤드를 피했습니다.
2. 파라미터 프리, 역전파 프리 설계: TestMate는 그래디언트 업데이트, 메모리 뱅크 또는 소스 데이터가 필요 없는 플러그 앤 플레이 방식의 정교화 모듈로서, 첫 번째 프레임부터 즉각적인 적응을 가능하게 합니다.
3. 경계 및 작은 객체 보존 강화: 크기 기반 순서 및 경쟁적 융합 체계는 표준 TTDA 방법론에서 흔히 억제되는 작은 객체들에 대해 미세한 객체 디테일과 경계를 효과적으로 보존합니다.
4. 다양성: Test-Mate는 독립적인 TTDA 솔루션으로 작동하거나, 기존의 그래디언트 기반(예: CoTTA) 및 그래디언트 프리(예: DIGA) TTDA 파이프라인과 원활하게 통합되어 성능을 높일 수 있습니다.

실험 결과

저자들은 GTA-V to Cityscapes(sim-to-real)와 FMB to MVSeg(real-to-real)라는 두 가지 벤치마크 데이터셋에서 TestMate를 평가했습니다.

• SFDA (Source-Free Domain Adaptation): DS-ST 프레임워크와 통합되었을 때, TestMate는 새로운 SOTA 결과를 달성하였으며, 특히 중간 및 작은 클래스에서의 성능을 크게 향상시키고 수렴 속도를 가속화했습니다.
• TTDA: TestMate는 적응되지 않은 소스 모델보다 거의 3% 높은 mIoU를 기록했으며, 그래디언트 기반 방식(TENT, EATA, CoTTA)보다 2% 이상 높은 성능을 보였습니다. 또한 작은 잘 정의된 클래스(예: 사람, 탑승자)에서 DIGA를 능가했습니다(단, 도로와 같은 큰 추상적 클래스에서는 DIGA가 약간 더 우세했습니다).
• Online-TTDA: 지속적인 분포 변화 시나리오에서 Test-Mate는 강건함을 입증했습니다. DIGA와 결합했을 때, 두 개별 방법 모두를 1.1% 차이로 앞지르며 가장 높은 평균 mIoU를 달성했습니다.
• 효效率(Efficiency): TestMate는 RTX 4090 환경에서 DIGA와 함께 사용할 때 샘플당 약 5ms의 최소한의 계산 오버헤드만을 추가하여 실시간 실행 가능성을 유지했습니다.
• 안정성: TENT와 같이 성능이 저하되거나 변동할 수 있는 반복적 방법들과 달리, Test-Mate는 여러 정교화 반복 과정 동안 안정성을 유지하며, 대부분의 이득은 첫 번째 반복에서 발생합니다.

의의 및 주장

본 논문은 TestMate가 적응 속도, 계산 비용, 세그멘테이션 품질 사이의 트레이드오프, 즉 현재 TTDA 방법들의 "결정적인 한계점"을 해결한다고 주장합니다. 경량 VFM을 활용함으로써, TestMate는 복잡한 훈련 절차나 소스 데이터에 대한 접근 없이도 즉각적이고 고충실도(high-fidelity)의 적응을 제공하며, 본질적으로 치명적 망감을 방지합니다.

저자들은 Test-Mate가 메모리 뱅크의 수렴을 기다리는 것이 불가능한 자율 주행의 악천후 상황과 같이, 첫 번째 샘플부터 강력한 성능을 요구하는 응용 분야에 특히 유의미하다고 강조합니다. 이 방법은 인스턴스 기반의 그래디언트 프리 적응이 파운데이션 모델의 가이드를 통해 SFDA, TTDA, 온라인-TTDA 설정 전반에서 SOTA 결과를 달성할 수 있음을 증명합니다.