1. 문제 정의 (Problem Statement)

시각 - 언어 모델 (VLM, 예: CLIP) 의 파인튜닝 (Fine-tuning) 과정에서는 세 가지 주요 성능 지표 간의 **치명적인 트레이드오프 (Trade-off)**가 존재합니다.

1. In-Distribution (ID) 정확도: 학습 데이터 분포 내에서의 성능.
2. Out-of-Distribution (OOD) 일반화: 학습되지 않은 새로운 분포 (자연스러운 도메인 변화) 에 대한 성능.
3. Adversarial Robustness: 적대적 공격 (Adversarial Attacks) 에 대한 견고성.

기존 연구들은 이 세 가지 축 중 최대 두 가지만 동시에 해결하는 경향이 있었습니다.

• 일반화 중심 방법 (S1): OOD 성능을 유지하지만, 적대적 공격에 매우 취약함 (예: WiSE-FT).
• 적대적 학습 중심 방법 (S2): 적대적 공격에 강해지지만, ID 및 OOD 정확도가 급격히 떨어짐 (예: TeCoA, FARE).

저자들은 이 트레이드오프의 근본 원인이 모델의 기하학적 결함에 있다고 분석했습니다.

• 매개변수 공간 (Parameter Space): 손실 함수의 극소점 (Minima) 이 날카롭고 (Sharp), 이방성 (Anisotropic) 을 띠어 작은 가중치 변화에도 성능이 무너짐.
• 특징 공간 (Feature Space): 분포 변화 (OOD) 나 공격 하에서 특징 표현 (Feature Representation) 이 불안정하게 변형되어 클래스 간 정렬이 깨짐.

2. 제안 방법론: GRACE (Methodology)

저자들은 **GRACE (Gram-aligned Robustness via Adaptive Curvature Estimation)**라는 통합 파인튜닝 프레임워크를 제안합니다. 이는 PAC-Bayes 이론에 기반하여 매개변수 공간의 곡률 (Curvature) 과 특징 공간의 불변성 (Invariance) 을 동시에 규제합니다.

핵심 구성 요소

1. LoRA 기반 사전 학습 가중치 근접성 유지 (Prior Proximity)

   • 전체 가중치를 업데이트하는 대신, 프리트레이닝된 CLIP 백본을 고정하고 **LoRA (Low-Rank Adaptation)**만 학습합니다.
   • 이는 PAC-Bayes bound 의 'Prior Proximity' 항을 제어하여, 모델이 사전 학습된 지식 (Zero-shot 능력) 에서 멀어지는 것을 방지합니다.

2. 레이어별 적응형 저랭크 적대적 가중치 교란 (LAR-AWP)

   • 목적: 매개변수 공간의 '날카로움 (Sharpness)'을 줄이고 평평한 극소점 (Flat Minima) 을 찾음.
   • 기법: 기존 AWP (Adversarial Weight Perturbation) 를 LoRA 서브공간에 적용하되, **레이어별 곡률 (Curvature)**에 따라 교란의 랭크 (Rank) 를 동적으로 조절합니다.
   • 동작: Hessian 행렬의 대각 성분을 근사하여 각 레이어의 곡률을 추정합니다. 곡률이 높은 (날카로운) 레이어에는 더 큰 랭크의 교란을 적용하고, 평평한 레이어에는 최소한의 교란을 적용합니다. 이는 균일한 교란보다 효율적으로 손실 지형을 평평하게 만듭니다.

3. 그램 - 볼륨 특징 정렬 손실 (Gram-Volume Alignment Loss)

   • 목적: 특징 공간의 '불안정성'을 해결하고, 다양한 입력 (청정, 적대적, 가중치 교란) 에 대한 특징 표현의 일관성을 유지합니다.
   • 기법: 각 샘플에 대해 세 가지 특징 벡터 (청정 입력 $f_{ID}$, 적대적 입력 $f_{Adv}$, 가중치 교란 입력 $f_{AWP}$) 를 생성합니다. 이 세 벡터가 형성하는 **그램 행렬 (Gram Matrix)**의 부피 (Volume, 행렬식) 를 최소화하는 손실 함수를 도입합니다.
   • 효과: 세 가지 상태의 특징이 서로 가까워지도록 강제하여 (낮은 부피), 클래스 간 분리는 유지하면서 도메인 변화나 공격 하에서도 특징 매니폴드가 왜곡되지 않도록 합니다.

최종 목적 함수:
$$\mathcal{L}_{GRACE} = \mathcal{L}_{task} + \lambda_{LAR} \mathcal{L}_{LAR-AWP} + \lambda_{GV} \mathcal{L}_{GV}$$

3. 주요 기여 (Key Contributions)

1. 이론적 및 기하학적 분석: VLM 파인튜닝의 실패 원인 (날카로운 극소점, 특징 매니폴드 왜곡) 을 PAC-Bayes 이론과 기하학적 관점에서 체계적으로 규명했습니다.
2. GRACE 프레임워크 개발: 매개변수 공간의 평탄화와 특징 공간의 불변성을 동시에 달성하는 최초의 통합 프레임워크를 제시했습니다.
3. 성능 입증: CLIP 모델을 기반으로 한 실험에서 ID 정확도, OOD 일반화, 적대적 견고성이라는 세 가지 목표를 모두 동시에 개선하는 결과를 도출했습니다.

4. 실험 결과 (Results)

ImageNet-1K 에서 CLIP ViT-B/32 모델을 파인튜닝하고 다양한 벤치마크 (ImageNet-V2, R, S, A, A-Plus 등) 에서 평가한 결과입니다.

• 균형 잡힌 성능: 기존 방법들은 특정 영역 (OOD 또는 Adversarial) 에 치우친 반면, GRACE 는 세 가지 영역 모두에서 최상의 균형을 이룹니다.
  • ID 정확도: 74.21% (Vanilla FT: 74.86% 와 유사하게 유지).
  • OOD 평균 정확도: 57.01% (Zero-shot Baseline: 57.4% 유지).
  • 적대적 정확도 (Adversarial Acc): 22.44% (Vanilla FT 는 0% 에 가까움, 기존 Adversarial FT 방법들보다 월등히 높음).
• 기하학적 분석: GRACE 는 다른 방법들에 비해 **Hessian 의 최대 고유값 (λ_max)**이 가장 낮아 (1.6 vs 3.5) 손실 지형이 가장 평평함을 확인했습니다. 또한 특징 공간에서 ID, OOD, Adversarial 입력 간의 정렬 (Cosine Similarity) 이 가장 높게 유지되었습니다.
• 효율성: 기존 적대적 학습 방법들보다 1.4 배 빠르게 학습하면서도 더 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 의 파인튜닝이 단순히 데이터 적합의 문제가 아니라, **모델의 기하학적 구조 (Loss Landscape Geometry)**를 어떻게 최적화하느냐의 문제임을 강조합니다.

• 패러다임 전환: "일반화 vs 견고성"이라는 이분법적 사고를 넘어, 기하학적 제약을 통한 통합적 최적화가 가능함을 증명했습니다.
• 실용적 가치: GRACE 는 OOD 데이터 없이도 자연스러운 도메인 변화와 적대적 공격 모두에 강한 모델을 만들 수 있게 하여, 실제 배포 환경에서 VLM 의 신뢰성을 높이는 데 기여합니다.
• 확장성: 제안된 기법 (곡률 기반 적응형 교란, Gram-volume 정렬) 은 다른 대규모 멀티모달 모델의 견고한 적응 (Robust Adaptation) 을 위한 새로운 표준으로 자리 잡을 수 있습니다.

요약하자면, GRACE는 시각 - 언어 모델이 다양한 환경 (정상, 변화, 공격) 에서도 일관된 성능을 발휘할 수 있도록, 매개변수 공간의 곡률과 특징 공간의 구조를 동시에 제어하는 기하학 기반의 혁신적인 파인튜닝 프레임워크입니다.