🤖 machine learning

$\Delta \mathrm{Energy}$ : Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization

본 논문은 비전-언어 정렬 중 발생하는 에너지 변화에서 영감을 받은 새로운 OOD 점수인 $\Delta$ Energy 와 비전-언어 모델의 분포 외 검출 및 일반화를 동시에 향상시켜 기존 방법보다 상당한 성능 향상을 이루는 해당 미세 조정 프레임워크 (EBM) 를 소개합니다.

원저자: Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lin Zhu, Yifeng Yang, Xinbing Wang, Qinying Gu, Nanyang Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 여행을 많이 한 가이드 (비전 - 언어 모델) 가 있다고 상상해 보세요. 이 가이드는 방대한 책과 사진 도서관을 통해 수천 가지 사물을 인식하는 법을 배웠습니다. 이 가이드는 '골든 리트리버'나 '빨간 스포츠카'처럼 이전에 본 것들을 식별하는 데 매우 뛰어납니다.

그러나 이 가이드가 실제 세계로 나가면 두 가지 까다로운 상황에 직면합니다:

"코스프레" 문제 (공변량 이동): 골든 리트리버를 보지만, 이는 스케치로 그려진 것이거나 비 내리는 날에 찍힌 사진이거나 그림일 수 있습니다. 개는 동일하지만 스타일이 다릅니다. 가이드는 혼란을 겪으며 "이것 역시 개인가?"라고 생각할 수 있습니다.
"외계인" 문제 (의미적 이동): 훈련 도서관에 전혀 없었던 "반짝이는 유니콘"과 같은 완전히 새로운 생물을 봅니다. 가이드는 "그것은 말이다!"라고 자신 있게 추측하는 대신, "이게 무엇인지 모르겠다"고 깨달아야 합니다.

이 논문은 두 가지 문제를 동시에 해결하기 위해 $\Delta$ Energy(델타 에너지) 라는 새로운 방법과 EBM이라는 훈련 기법을 소개합니다.

핵심 아이디어: "침묵" 테스트

이 방식이 어떻게 작동하는지 이해하려면, 가이드가 사진을 보고 다양한 레이블에 대해 얼마나 자신 있는지를 외치는 상황을 상상해 보세요.

개 사진이 나오면 "개! (99% 확신) 고양이! (1%) 새! (0.1%)"라고 외칠 수 있습니다.
"반짝이는 유니콘"이 나오면 "말! (40%) 고양이! (30%) 개! (20%)"라고 외칠 수 있습니다. 혼란스러워하며 베팅을 여러 곳에 분산시키는 것입니다.

$\Delta$ Energy 의 트릭:
연구자들은 가이드에게 이상한 실험을 하도록 요청합니다. "가장 유력한 추측에 대해 완전히 침묵하도록 강요하면 어떻게 될까요?"

가이드의 최상위 추측 (예: "개") 을 가져와서 그 확신을 0 으로 설정합니다. 그런 다음 "좋습니다, 이제 '개'라고 말할 수 없다면 전체 '에너지'(또는 총 확신) 가 얼마나 떨어질까요?"라고 묻습니다.

실제 개 (분포 내): 가이드는 그것이 개라는 것을 매우 확신했습니다. 그 답변을 침묵시키면 가이드는 당황합니다. 총 확신이 급락합니다. 에너지의 "하락"은 매우 큽니다.
외계인/알 수 없는 물체 (분포 외): 가이드는 이미 불확실하여 여러 옵션에 베팅을 분산시켰습니다. 최상위 추측을 침묵시켜도 큰 변화가 없습니다. 왜냐하면 그것은 오직 하나의 답변에만 의존하지 않았기 때문입니다. 에너지의 "하락"은 작습니다.

이 에너지 변화( $\Delta$ Energy) 를 측정함으로써 시스템은 "이상한 스타일의 개"(큰 하락) 와 "완전히 새로운 생물"(작은 하락) 을 쉽게 구별할 수 있습니다.

훈련 업그레이드: EBM(에너지 경계 최대화)

차이를 식별하는 방법을 아는 것은 훌륭하지만, 이 논문은 가이드가 학습하는 동안 이를 더 잘 수행하는 방법도 가르칩니다.

연구자들은 EBM이라는 훈련 규칙을 도입합니다. 가이드가 개 사진 하나를 공부한다고 상상해 보세요.

가이드는 전체 사진을 봅니다.
그런 다음 연구자들은 사진의 일부에 "마스크"를 씌웁니다 (개 얼굴이나 배경을 가리는 것처럼) 그리고 가이드에게 다시 보게 합니다.
목표는 마스크가 있더라도 전체 사진일 때와 동일한 "에너지" 변화를 느끼도록 가이드를 훈련시키는 것입니다.

비유:
친구의 목소리를 인식하는 법을 배우는 것과 같습니다.

기존 방식: 조용한 방에서 그들의 목소리를 완벽하게 암기합니다. 그들이 시끄러운 카페에서 말하면 (공변량 이동), 그들을 알아볼 수 없을 수 있습니다.
EBM 방식: 그들이 속삭이거나, 소리치거나, 벽을 통해 말할 때 그들을 인식하는 법을 연습합니다. 완벽한 조건뿐만 아니라 목소리의 핵심을 배우는 것입니다.

훈련 중에 데이터의 "마스킹"되거나 "자른" 버전을 처리하도록 모델을 강요함으로써, 스타일 변화 (비나 스케치 등) 에 강인하면서도 완전히 새로운 것들을 식별할 수 있는 능력을 배우게 됩니다.

결과: 매우 신뢰할 수 있는 가이드

이 논문은 ImageNet(수천 장의 이미지 포함) 과 같은 대규모 데이터셋에서 이를 테스트했습니다.

더 나은 탐지: 새로운 방법은 이전 방법보다 "외계인"(알 수 없는 물체) 을 탐지하는 데 훨씬 뛰어납니다. 일부 테스트에서 오탐지 수를 10%~25% 더 크게 줄였습니다.
더 나은 일반화: 또한 무엇을 잊지 않고 "코스프레" 개 (새로운 스타일의 물체) 를 인식하는 능력도 크게 향상되었습니다.

요약

이 논문은 간단하지만 강력한 아이디어를 제안합니다. 가장 유력한 추측을 침묵시켰을 때 모델의 확신이 얼마나 변하는지 측정하세요.

확신이 급락하면, 이는 새로운 스타일의 알려진 물체일 가능성이 높습니다.
확신이 안정적으로 유지되면, 이는 완전히 새로운 물체일 가능성이 높습니다.

그들은 이 통찰력을 활용하여 모델을 더 강인하게 훈련시켜, 미지의 것을 탐지하는 더 나은 탐정이자 새로운 상황에서 알려진 것을 인식하는 더 나은 일반주의자가 되는 시스템을 만듭니다.

기술 요약: ∆Energy: 비전 - 언어 정렬 중 에너지 변화 최적화가 OOD 감지와 OOD 일반화 모두를 향상시킴

1. 문제 제기

비전 - 언어 모델 (VLM) 은 CLIP 과 같이 하위 작업 적응에서 뛰어난 성과를 보여 왔습니다. 그러나 실제 환경에 배포될 때, 이들은 두 가지 명확한 유형의 분포 외 (OOD) 도전에 직면합니다:

공변량 이동 (Closed-set OOD): 클래스 레이블이 학습 분포와 동일하지만 데이터 분포가 변하는 경우 (예: 스타일 변화, 환경적 이동).
의미론적 이동 (Open-set OOD): 학습 중 전혀 보지 못한 클래스를 포함하는 데이터.

기존 문헌은 종종 이러한 문제들을 개별적으로 다룹니다. 공변량 이동에 대한 강건성에 초점을 맞춘 방법들은 일반적으로 오픈셋 의미론적 이동을 효과적으로 감지하지 못하며, OOD 감지 방법들은 공변량 이동이 있는 데이터에서 일반화 성능을 유지하는 데 어려움을 겪습니다. 또한, 최근 두 가지 모두를 처리하려는 시도 (Full-Spectrum OOD) 는 종종 상당한 계산 자원을 요구하거나 제한된 사후 (post-hoc) 함수 집합에 의존합니다. 핵심적인 과제는 공변량 이동이 있는 데이터에 대한 일반화 능력을 향상시키면서 동시에 보지 못한 의미론적 클래스를 효과적으로 감지할 수 있는 통합 프레임워크를 개발하는 것입니다.

2. 방법론

본 논문은 최대 코사인 유사도를 방해함으로써 비전 - 언어 모달리티를 재정렬할 때 에너지 점수에 상당하고 구별 가능한 변화가 발생한다는 관찰에 기반한 새로운 접근법을 제안합니다.

2.1 ∆Energy: 새로운 OOD 점수

저자들은 비전 - 언어 정렬을 수정함으로써 발생하는 에너지 변화에 기반한 사후 OOD 감지 점수인 ∆Energy를 도입합니다.

메커니즘: 입력 이미지에 대해, 이 방법은 가장 높은 코사인 유사도를 가진 상위 $c$ 개의 텍스트 프롬프트를 식별합니다. 그런 다음 이러한 최대 유사도를 잘라내거나 (zeroing) 제거하여 모달리티를 "재정렬"합니다.
계산: 점수는 재정렬 전 ( $E_0$ ) 과 재정렬 후 ( $E_1$ ) 의 에너지 점수 차이로 정의됩니다:
$\Delta \text{Energy}(x_i) = E_1(x_i) - E_0(x_i)$
이론적 통찰: 이론적 분석 (Theorem 3.2) 은 분포 내 (ID) 데이터의 경우 에너지 변화가 오픈셋 OOD 데이터보다 훨씬 크다는 것을 보여줍니다. 이는 ID 데이터가 상위 매칭 텍스트 특징에 크게 의존하기 때문에 이를 제거하면 에너지가 급격히 변하기 때문입니다. 반면, 어떤 특정 클래스와도 강한 정렬이 없는 OOD 데이터는 더 작은 에너지 변화를 보입니다.
장점: 본 논문은 ∆Energy 가 최대 개념 매칭 (MCM) 방법보다 ID 와 OOD 샘플 간의 분리를 더 효과적으로 증폭시켜, 더 낮은 거짓 양성률 (FPR) 을 초래함을 증명합니다.

2.2 EBM: ∆Energy 기반 경계 최대화

OOD 일반화 (공변량 이동) 를 감지 능력을 유지하면서 해결하기 위해, 저자들은 미세 조정 단계에서 EBM(Energy-based Bound Maximization) 을 제안합니다.

메커니즘: 퓨샷 적응 (few-shot adaptation) 동안, 이 방법은 이미지 특징에 마스킹 작업을 적용합니다. 구체적으로, 이미지 특징과 상위 1 개 텍스트 특징의 요소별 곱 (element-wise product) 에서 상위 $p\%$ 의 요소만 유지하고 나머지는 0 으로 만듭니다.
목적: 모델은 원본 특징과 마스킹된 특징 간의 에너지 차이를 나타내는 손실 $L_{\Delta E}$ 를 최소화하도록 훈련됩니다:
$L_{\Delta E} = \frac{1}{N} \sum_{i=1}^{N} [E_2(x_i) - E_0(x_i)]$
여기서 $E_2$ 는 마스킹된 특징의 에너지입니다.
이론적 보장: 저자들은 $L_{\Delta E}$ 를 최소화하는 것이 폐쇄형 클래스에 대한 ∆Energy 의 하한을 증가시킨다고 증명합니다 (Theorem 3.4). 또한, Theorem 3.5 는 이 최적화가 원본 및 마스킹된 특징 도메인 간에 **도메인 일관성 헤시안 (domain-consistent Hessians)**을 유도함을 확립합니다. 이 일관성은 OOD 일반화에 대한 강력한 지표로 작용하며, 이론적으로 소스 도메인과 타겟 도메인 간의 성능 격차를 경계합니다.

2.3 통합 프레임워크

최종 최적화 목적 함수는 표준 교차 엔트로피 손실과 EBM 손실을 결합합니다:
$L_{EBM} = L_{CE} + \lambda_0 L_{\Delta E}$
이 프레임워크는 EBM 을 통한 OOD 일반화와 결과적으로 생성된 ∆Energy 점수를 통한 OOD 감지를 동시에 최적화할 수 있게 합니다.

3. 주요 기여

새로운 OOD 점수 (∆Energy): 본 논문은 비전 - 언어 모달리티를 재정렬할 때의 에너지 변화를 측정하는 제로샷 OOD 감지 방법을 도입합니다. 이는 이론적, 실증적으로 MCM, Energy, ReAct 와 같은 기존 방법들, 특히 "어려운" OOD 감지 시나리오에서 더 우수한 성능을 보입니다.
통합 미세 조정 프레임워크 (EBM): 저자들은 OOD 일반화와 OOD 감지를 동시에 개선하는 미세 조정 패러다임을 개발했습니다. 특징 마스킹으로 인해 발생하는 에너지 변화를 최소화함으로써, 이 방법은 도메인 일관성 헤시안을 유도하며, 이는 공변량 이동 하에서 개선된 일반화와 최적화 과정을 이론적으로 연결합니다.
이론적 분석: 이 연구는 ∆Energy 가 MCM 보다 더 나은 분별력을 제공하며, EBM 손실이 도메인 일관성 헤시안을 유도하여 OOD 일반화 격차를 경계한다는 엄격한 이론적 증명을 제공합니다.
종합 평가: 이 방법은 공변량 및 의미론적 이동을 모두 다루는 ImageNet-1k(다양한 분할 포함), PACS, VLCS 를 포함한 까다로운 벤치마크에서 평가되었습니다.

4. 실험 결과

저자들은 CLIP(ViT-B/16) 을 백본으로 사용하여 ImageNet-1k, PACS, VLCS 데이터셋에서 광범위한 실험을 수행했습니다.

OOD 감지 성능:
- ImageNet-1k 벤치마크 (Setup-I) 에서 ∆Energy 는 AUROC **87.10%**를 달성하여 두 번째로 좋은 방법 (MCM, 85.81%) 을 능가하고 베이스라인 Energy 방법보다 훨씬 뛰어난 성과를 보였습니다.
- 폐쇄형 OOD(공변량 이동) 와 오픈셋 OOD(의미론적 이동) 를 구분하는 데 있어, ∆Energy 는 다양한 설정에서 경쟁사보다 10%–25% 의 마진으로 AUROC **78.68%**를 달성했습니다.
- 이 방법은 ID 와 OOD 데이터가 밀접하게 분포된 "어려운" OOD 감지 분할에서 우수한 성능을 보였습니다.
OOD 일반화 성능:
- 퓨샷 미세 조정 설정 (Setup-I 및 Setup-II) 에서 EBM 방법은 OOD 정확도와 OOD 감지 지표 모두에서 가장 좋은 전체 성능을 달성했습니다.
- 구체적으로, EBM 은 경쟁 방법인 CRoFT 대비 폐쇄형 OOD 데이터에서 OOD 정확도를 0.45% 향상시키고 AUROC 를 5% 이상 개선했습니다.
- VLCS 데이터셋에서 EBM 은 특정 도메인에 적응할 때 종종 일반 지식을 망각하는 CRoFT 및 GalLoP 와 같은 방법들보다 상당한 개선을 보였습니다.
효율성:
- 제로샷 ∆Energy 감지는 추가 학습이 필요 없으며, 추론 시간은 MCM 과 유사합니다 (18 초 대 17 초).
- EBM 미세 조정 과정은 계산 효율성이 높으며, CoOp(18 분, 약 7.7GB) 과 유사한 시간과 GPU 메모리를 요구하며 GalLoP(140 분, 약 47GB) 보다 훨씬 적습니다.

5. 중요성 및 주장

본 논문은 ∆Energy와 EBM이 VLM 에서 OOD 감지와 OOD 일반화 간의 트레이드오프에 대한 통합 솔루션을 제공한다고 주장합니다.

신뢰성: 저자들은 ∆Energy 가 이전의 에너지 기반 또는 소프트맥스 기반 방법들보다, 특히 분포 이동이 미묘한 까다로운 시나리오에서 OOD 감지를 위한 더 신뢰할 수 있는 접근법을 제공한다고 주장합니다.
이론적 근거: 이 연구의 중요성은 에너지 변화 (EBM 을 통해) 를 최적화하는 것이 감지를 돕는 것뿐만 아니라, 도메인 간 경험적 위험의 헤시안을 정렬함으로써 도메인 이동에 대한 모델의 강건성을 구조적으로 개선한다는 이론적 증명에 있습니다.
실용적 영향: 단일 미세 조정 프레임워크를 통해 공변량 이동 (일반화) 과 의미론적 이동 (감지) 을 모두 처리할 수 있게 함으로써, 이 방법은 두 가지 유형의 분포 이동이 불가피한 실제 응용 분야에서 VLM 을 배포하는 데 있어 중요한 격차를 해소합니다.

저자들은 그들의 방법이 까다로운 벤치마크에서 최근의 최첨단 접근법들보다 상당한 마진 (AUROC 기준 10%–25%) 으로 성능이 우수하다고 결론지으며, 비전 - 언어 재정렬 중 에너지 변화를 활용하는 것의 유효성을 검증했습니다.