CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection

CRoFT: OOD 일반화 및 오픈셋 OOD 감지를 위한 동시 최적화를 통한 강건한 파인튜닝의 기술적 요약

문제 제기
최근 비전 - 언어 사전 훈련 모델 (VL-PTM) 인 CLIP 과 같은 모델들은 오픈 보카불러리 작업에서 놀라운 성과를 보여주었습니다. 그러나 이러한 모델들의 실제 환경 배포는 종종 하위 응용 프로그램을 위한 파인튜닝을 필요로 합니다. 이 과정은 중요한 과제를 도입합니다. 표준 파인튜닝은 모델의 일반 지식을 왜곡시켜 분포 변화 (distribution shifts) 를 처리하는 능력을 저하시킬 수 있습니다. 실제 환경은 두 가지 뚜렷한 유형의 분포 변화를 제시합니다:

1. 공변량 변화 (Closed-Set OOD): 클래스 레이블이 훈련 데이터와 동일하게 유지되지만 이미지 스타일이나 환경이 변화하는 경우 (예: 스케치 스타일의 개).
2. 의미론적 변화 (Open-Set OOD): 훈련 중에는 보지 못했던 테스트 시 클래스가 존재하는 경우 (예: 개로 훈련된 모델이 판다를 마주치는 경우).

기존 파인튜닝 방법들은 일반적으로 공변량 변화에 대한 강건성 향상 (OOD 일반화) 또는 보지 못한 클래스 감지 (오픈셋 OOD 감지) 중 하나에만 초점을 맞추고, 이를 동시에 해결하지는 못합니다. 또한, 에너지 기반 감지 방법들은 종종 폐쇄셋 ID 데이터와 오픈셋 OOD 데이터의 에너지 분포가 크게 겹쳐 구분이 어렵기 때문에 어려움을 겪습니다. 본 논문은 다음과 같은 질문에 답합니다: VL-PTM 을 어떻게 파인튜닝하여 폐쇄셋 OOD 데이터에 대한 일반화를 개선하면서도 동시에 오픈셋 보지 못한 클래스를 효과적으로 감지할 수 있을까요?

방법론
저자들은 OOD 일반화와 오픈셋 OOD 감지의 동시 최적화를 가능하게 하는 통합 파인튜닝 프레임워크인 CRoFT를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 기반합니다:

1. 에너지 분포 재구성 (EDR) 손실:
   저자들은 분포 내 (ID) 데이터에서 에너지 점수를 직접 최소화하는 대신, 에너지 점수의 기울기 크기를 최소화하는 것을 제안합니다. 이론적으로 에너지 점수의 기울기 크기를 최소화 ($\nabla_\theta E_\theta(x) \to 0$) 하는 것은 분류 손실의 도메인 일관성 헤시안 (Hessians) 을 유도합니다. 이 EDR 손실은 에너지 항의 로그 - 합 - 지수 (log-sum-exp) 의 기울기 벡터의 제곱 노름을 최소화하는 것으로 공식화됩니다. 이 접근법은 분류 정확도를 희생하지 않으면서 알려진 클래스와 알려지지 않은 클래스를 더 잘 구분할 수 있도록 에너지 분포를 재구성합니다.

2. 헤시안 기반 OOD 일반화 경계:
   이론적 분석을 통해 저자들은 EDR 손실과 OOD 일반화 사이의 연관성을 확립합니다. 그들은 EDR 손실이 도메인 일관성 헤시안을 유도하여 최악의 시나리오 하에서 폐쇄셋 OOD 테스트 데이터에 대한 일반화 성능을 경계화 (bound) 하는 데 도움이 된다는 것을 보여줍니다. 구체적으로, 소스 도메인과 타겟 도메인 간의 성능 격차는 최악의 공변량 변화 데이터에 대한 경험적 위험과 위험 함수의 곡률 (헤시안) 과 관련이 있음을 보여주는 일반화 경계를 유도합니다.

3. 동시 최적화 프레임워크:
   유도된 일반화 경계를 최소화하기 위해 CRoFT 는 적대적 학습 전략을 사용합니다. 이는 의미론적 정보는 유지하되 ID 특징과 다른 "최악의 경우" 공변량 변화 이미지 특징을 생성합니다. 이 프레임워크는 다음으로 구성된 통합 목적 함수를 최적화합니다:

   • ID 특징에 대한 표준 분류 손실.
   • 생성된 최악의 경우 OOD 특징에서 최적화되어 강건성을 향상시키는 손실 ($L_c$).
   • 에너지 분포를 재구성하기 위해 ID 및 생성된 OOD 특징 모두에 적용되는 EDR 손실 ($L_e$).

   이 프레임워크는 계산 효율성을 보장하기 위해 경량 파인튜닝 (동결된 CLIP 인코더에 1 층 선형 투영/어댑터 주입) 을 활용합니다.

주요 기여

• 통합 프레임워크: CRoFT 는 VL-PTM 의 파인튜닝 동안 폐쇄셋 OOD 일반화와 오픈셋 OOD 감지를 동시에 최적화하는 최초의 프레임워크입니다.
• 이론적 통찰: 본 논문은 에너지 점수의 기울기 크기를 최소화 (EDR 손실) 하는 것이 도메인 일관성 헤시안을 유도하여 이론적으로 OOD 일반화 오차를 경계화한다는 이론적 증명을 제공합니다. 이는 OOD 감지와 OOD 일반화 사이의 숨겨진 연결을 드러냅니다.
• 새로운 손실 함수: 에너지 값뿐만 아니라 기울기 크기를 최소화하여 에너지 분포를 재구성하는 EDR 손실의 도입은 ID 와 OOD 데이터 간의 분리를 개선합니다.
• 적대적 생성: 이 방법은 분포 변화에 대해 모델을 명시적으로 훈련하여 강건성을 향상시키기 위해 최악의 경우 공변량 변화 특징을 생성합니다.

실험 결과
광범위한 실험이 두 가지 설정에서 수행되었습니다:

• 설정 -I: 40% 폐쇄셋 클래스와 60% 오픈셋 클래스를 포함하는 대규모 ImageNet 변형 및 공변량 변화 데이터셋 (ImageNet-A, R, Sketch, V2) 포함.
• 설정 -II: 도메인 일반화 데이터셋 (PACS, VLCS) 을 폐쇄셋으로, 기타 데이터셋 (Caltech101, DTD, Food101) 을 오픈셋으로 사용하는 교차 데이터셋 평가.

주요 발견:

• 오픈셋 감지: CRoFT 는 CoOp, CoCoOp, CLIP-Adapter, Tip-Adapter-F 와 같은 최신 파인튜닝 방법들을 크게 능가합니다. 설정 -I 에서 제로샷 CLIP 대비 FPR95(95% 재현율에서의 위양성률) 를 최대 25.3% 감소시켰으며, 다른 파인튜닝 방법 대비 오픈셋 보지 못한 클래스 감지에서 최대 20% 개선을 달성했습니다.
• OOD 일반화: CRoFT 는 기존 방법들에 비해 폐쇄셋 OOD 테스트 세트 (예: ImageNet-Sketch, ImageNet-A) 에서 동등하거나 우수한 일반화 성능을 보여줍니다.
• 절대 연구 (Ablation Studies): EDR 손실 ($L_e$) 이나 적대적 손실 ($L_c$) 중 하나를 제거하면 두 작업 모두에서 성능이 저하되어 동시 최적화의 필요성을 입증했습니다.
• 특징 시각화: t-SNE 시각화 및 에너지 분포 플롯은 CRoFT 가 ID 와 OOD 에너지 분포 간의 겹침을 성공적으로 줄이고 오픈 대 폐쇄 구분을 위한 더 명확한 특징 표현을 학습함을 보여줍니다.

의의 및 주장
본 논문은 CRoFT 가 알려진 분포 변화와 알려지지 않은 클래스를 동시에 처리할 수 있게 함으로써 VL-PTM 배포의 중요한 격차를 해소한다고 주장합니다. 저자들은 오픈셋 감지를 위한 EDR 손실 최적화가 본질적으로 OOD 일반화를 개선한다는 이론적 발견이 강건한 파인튜닝을 위한 새로운 방향을 제시한다고 강조합니다. 이 방법은 환경 변화 하에서 알려진 클래스의 정확도를 유지하는 것만큼이나 알려지지 않은 클래스를 감지하는 것이 중요한 자율 주행, 의료 영상과 같은 고위험 응용 분야를 위한 실용적인 해결책으로 제시됩니다. 코드는 강건한 비전 - 언어 모델 적응에 대한 추가 연구를 촉진하기 위해 공개되었습니다.