🤖 machine learning

Quantifying the Uncertainty of Foundation Models with Singular Value Ensembles

본 논문은 공유된 특이 벡터 기저 내에서 특이값만을 학습함으로써 파운데이션 모델의 인식론적 불확실성을 정량화하는 매개변수 효율적인 방법인 Singular Value Ensemble(SVE)을 제안하며, 이는 1% 미만의 매개변수 증가만으로 표준 앙상블에 필적하는 교정 성능을 달성한다.

원저자: Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehmet Ozgur Turkoglu, Dominik J. Mühlematter, Alexander Becker, Konrad Schindler, Helge Aasen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: 과하게 자신만만한 전문가

당신에게 세상의 거의 모든 책을 읽은 아주 똑똑하고 세계적인 수준의 전문가(파운데이션 모델)가 있다고 상상해 보세요. 이 전문가는 질문에 답하는 데 매우 뛰어납니다. 하지만 한 가지 문제가 있습니다. 이 전문가는 위험할 정도로 과하게 자신만만하다는 점입니다.

만약 당신이 그가 답을 알고 있는 질문을 한다면, 그는 100% 확신하며 대답할 것입니다. 하지만 만로 존재하지 않는 행성의 수도(예: "존재하지 않는 행성의 수도는 무엇인가?")와 같이 그가 배운 적 없는 엉뚱한 질문을 던진다면, 그는 완전히 틀렸음에도 불구하고 여전히 100% 확신을 가지고 답할 것입니다.

현실 세계에서 이는 매우 위험합니다. 만약 의사의 AI가 "이 심장은 건강하다고 100% 확신합니다"라고 말했는데 실제로는 환자가 아픈 상태라면, 환자는 치료를 받지 못할 수도 있습니다. 우리는 이 전문가가 언제 모르는지를 알 수 있는 방법이 필요합니다.

기존의 해결책: 위원회 (앙상블)

이를 해결하는 표준적인 방법은 단 한 명의 전문가 대신 여러 명의 전문가로 구성된 위원회를 고용하는 것입니다.

작동 방식: 서로 다른 5명 또는 10명의 전문가를 처음부터 훈련시킵니다. 그들이 모두 동의할 때 우리는 그 답을 신뢰합니다. 만약 그들이 서로 의견이 다르다면, 우리는 그 답이 불확실하다는 것을 알 수 있습니다.
문제점: 이는 엄청나게 비용이 많이 듭니다. 하나의 거대한 전문가를 훈련시키는 데도 많은 돈과 전기가 듭니다. 10명을 훈련시키는 것은 그 10배의 돈이 든다는 뜻입니다. 가장 크고 강력한 AI 모델들의 경우, 일반인이나 작은 기업들이 위원회를 구성하는 것은 종종 불가능합니다.

새로운 아이디어: "특이값 앙상블" (Singular Value Ensemble, SVE)

저자들은 **특이값 앙상블 (SVE)**이라는 영리한 기술을 제안합니다. 10명의 서로 다른 전문가를 고용하는 대신, 수학적 지름길을 사용하여 단 한 명의 전문가로부터 10개의 약간씩 다른 "성격"을 만들어내는 것입니다.

그 작동 방식은 다음과 같습니다. 세 단계로 나누어 설명하겠습니다.

1. 지식의 도서관 (특이 벡터)

전문가의 뇌가 거대한 도서관이라고 상상해 보세요. 그 안에는 지식(책)들이 선반 위에 정리되어 있습니다.

**특이 벡터(Singular Vectors)**는 선반입니다. 이는 전문가가 사전 훈련 과정에서 학습한 근본적이고 의미 있는 지식의 방향(예: "고양이에 대해 말하는 법", "수학을 하는 법")을 나타냅니다.
**특이 값(Singular Values)**은 그 선반들에 달린 볼륨 조절기입니다. 이 조절기는 특정 지식이 얼마나 크게 들릴지, 혹은 얼마나 중요한지를 결정합니다.

이 논문은 **선반(벡터)**은 완벽하므로 건드려서는 안 된다고 주장합니다. 그것들은 핵심적인 지혜를 담고 있기 때문입니다. 하지만 **볼륨 조절기(값)**는 미세하게 조정하여 전문가가 생각하는 방식을 바꿀 수 있습니다.

2. "볼륨 조절기" 기술

SVE는 10명의 새로운 전문가를 훈련시키는 대신, 한 명의 전문가를 가져와 10개의 복사본을 만듭니다.

규칙: 10개의 복사본은 모두 동일한 선반(고정된 지식)을 공유합니다.
반전: 각 복사본은 자신만의 볼륨 조절기를 조금씩 다르게 조절할 수 있습니다.
- 복사본 A는 "수학" 지식의 볼륨을 높이고 "시(Poetry)" 지식의 볼륨을 낮출 수 있습니다.
- 복사본 B는 그 반대로 할 수도 있습니다.

이들은 동일한 지식의 볼륨을 서로 다른 방식으로 조절하기 때문에, 같은 질문에 대해 약간씩 다른 답을 내놓기 시작합니다. 이 의견 차이는 우리에게 이렇게 알려줍니다. "이봐, 우리는 이 부분에 대해 확신이 없어!"

3. 왜 효율성의 기적인가

이 부분이 마법 같은 부분입니다.

기존 방식 (위원회): 10명의 전문가를 얻으려면 10배의 뇌 용량과 메모리가 필요합니다.
SVE 방식: 당신은 오직 하나의 뇌만 있으면 됩니다. 각 복사본을 위한 아주 작은 숫자 리스트(볼륨 조절기)만 추가하면 됩니다.
결과: 이 논문은 이 방법이 컴퓨터 메모리 사용량을 1% 미만으로 늘린다는 것을 보여줍니다. 이는 마치 10명의 전문가로 구성된 위원회를 고용하면서, 실제로는 한 명의 월급에 아주 작은 팁 정도만 더 지불하는 것과 같습니다.

이 논문의 발견

저자들은 꽃과 반려동물을 인식하는 것부터 복잡한 추론 질문에 답하는 것까지 다양한 작업에서 이 모델을 테스트했습니다.

효과가 있음: "볼륨 조절기" 방식은 10명의 전체 위원회를 고용하는 것만큼이나 불확실성을 포착하는 데 뛰어났습니다.
정확함: 전문가들이 단순히 혼란스러워한 것이 아니라, 단일 전문가를 사용할 때보다 질문에 더 정확하게 답하는 능력이 실제로 향상되었습니다.
확장 가능성: 이 방법은 작은 모델부터 거대 모델(LLaMA-2 70억 파라미터 모델 등)까지 모두 적용 가능했습니다.
빠름: 10개의 별개 거대 뇌를 훈련시킬 필요가 없기 때문에, 엄청난 양의 시간과 에너지를 절약합니다.

결론

이 논문은 강력한 AI 모델을 "겸손하게" 만드는 방법을 소개합니다. 모델이 과하게 자신만만해지는 대신, 새로운 상황에 직면했을 때 "잘 모르겠습니다"라고 말할 수 있게 해줍니다. 이 방법은 한 명의 전문가에게 서로 다른 볼륨 설정을 부여하여 '위원회'를 만드는 방식으로, AI를 안전하고 신뢰할 수 있게 유지하면서도 막대한 비용과 컴퓨팅 자원을 절약합니다.

기술 요약: 특이값 앙상블(Singular Value Ensembles)을 이용한 파운데이션 모델의 불확실성 정량화

1. 문제 정의

파운데이션 모델은 대규모 사전 학습을 통해 다양한 작업에서 놀라운 성능을 달 achievement 했으나, 종종 과도하게 확신에 찬(overconfident) 예측을 하거나 보정되지 않은(uncalibrated) 예측을 내놓는 문제가 있습니다. 의료 진단, 자율 주행, 농업 의사결정 지원과 같은 고위험 영역에서는 모델이 자신의 무지(인식론적 불확실성, epistemic uncertainty)를 스스로 인식하는 능력이 예측 정확도만큼이나 중요합니다. 과도하게 확신에 찬 오진이나 잘못된 위험 평가는 심각한 결과를 초래할 수 있습니다.

인식론적 불확실성을 정량화하는 표준적인 방법은 여러 개의 독립적으로 초기화된 모델들을 학습시키는 딥 앙상블(Deep Ensembles)입니다. 이 방법은 효과적이지만, 계산 및 메모리 비용이 앙상블 멤버의 수( $M$ )에 따라 선형적으로 증가한다는 근본적인 한계가 있습니다. 수십억 개의 파라미터를 가진 파운데이션 모델의 경우, 단 $M=4$ 정도의 적은 앙상블조차도 계산적으로 매우 부담스러워져, 자원이 제한된 실무자나 파라미터 효율적 미세 조정(PEFT)을 사용하는 이들이 원칙적인 불확실성 추정을 수행하는 것을 어렵게 만듭니다.

기존의 암시적 앙상블 방법들(예: MC-Dropout, BatchEnsemble, LoRA-Ensemble)은 오버헤드를 줄이려고 시도하지만, 명시적 앙상블의 보정 성능을 따라잡는 데 어려움을 겪거나 여전히 각 멤버를 위해 상당한 양의 새로운 파라미터를 학습시켜야 합니다.

2. 방법론: 특이값 앙상블 (Singular Value Ensemble, SVE)

저자들은 파운데이션 모델의 지식이 가중치 행렬의 특이 벡터(singular vectors)에 의해 정의되는 선형 부공간(linear subspaces)을 따라 조직되어 있다는 통찰에 기반하여, 파라미터 효율적인 암시적 앙상블 방법인 **특이값 앙상블(SVE)**을 제안합니다.

핵심 가설

이 방법은 사전 학습된 가중치 행렬의 특이 벡터( $U$ 와 $V$ )가 표현 공간 내에서 의미 있고 직교하는 "지식 방향(knowledge directions)"에 대응한다는 가설에 의존합니다. 특이값( $\Sigma$ )은 이러한 방향들의 상대적인 중요도나 강도를 인코딩합니다. 따라서, 공유된 지식 기반(특이 벡터)은 보존하면서 각 방향에 대한 기여도를 멤버별 특이값을 통해 조절함으로써 앙상블을 구축할 수 있습니다.

기술적 구현

SVD 분해: 사전 학습된 모델의 각 타겟 가중치 행렬 $W \in \mathbb{R}^{m \times n}$ 에 대해 특이값 분해(Singular Value Decomposition)를 수행합니다: $W = U\Sigma V^\top$ .
파라미터 동결: 사전 학습된 지식 기반을 보존하기 위해 특이 벡터 $U$ 와 $V$ 를 동결합니다.
멤버별 학습: 새로운 가중치 행렬을 학습하는 대신, 이 방법은 각 앙상블 멤버를 위한 $M$ 개의 특이값 집합 $\{\Sigma^{(m)}\}_{m=1}^M$ 과 멤버별 편향 벡터 $b^{(m)}$ 를 학습합니다.
재구성: 추론 시, 멤버 $m$ 에 대한 가중치 행렬은 $W^{(m)} = U\Sigma^{(m)}V^\top$ 로 재구성됩니다.
다양성 및 초기화: 사전 학습된 구조를 파괴하지 않으면서 다양성을 확보하기 위해, 특이값은 곱셈적 섭동(multiplicative perturbations)으로 초기화됩니다: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$ , 여기서 $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$ 입니다. 공동 학습 중 발생하는 확률적 미니 배치 샘플링은 각 멤버가 공유된 부공간의 서로 다른 조합으로 수렴하도록 유도합니다.

파라미터 효율성

트랜스포머의 은닉 차원이 $d$ 일 때, SVE는 레이어당 멤버당 $6d$ 개의 특이값과 $9d$ 개의 편향 항목만을 추가합니다. 베이스 모델 대비 총 파라미터 오버헤드는 다음과 같습니다:
$\text{Overhead} \approx \frac{5(M-1)}{4d}$
$d=768$ 이고 $M=8$ 인 경우, 오버헤드는 $1\%$ 미만입니다. LLaMA-2-7B( $d=4096$ )와 같은 더 큰 모델의 경우, 오버헤드는 약 $0.2\%$ 로 떨어집니다. 이는 LoRA-Ensemble(rank- $r$ 행렬을 추가함)보다 훨씬 효율적이며, 딥 앙상블보다는 수 차례 더 효율적입니다.

3. 주요 기여

SVE 도입: 사전 학습된 특이 벡터를 공유하면서 멤버별 특이값을 학습함으로써 다양한 앙상블 멤버를 생성하는 새로운 파라미터 효율적 암시적 앙상블 방법을 제시했습니다.
불확실성을 위한 새로운 베이스라인: SVE가 예측 정확도를 유지하면서도 최첨단(SOTA) 수준의 보정 성능을 달성함으로써 불확실성 정량화를 위한 강력한 베이스라인임을 입증했습니다.
광범적인 검증: 22M에서 7B 파라미터 규모의 백본(BERT, LLaMA-2-7B, DINOv1/v2)을 사용하여 자연어 처리(NLP) 및 비전(Vision) 작업 전반에서 검증되었습니다. 결과는 모델 크기와 작업 유형에 대한 일반화 가능성을 보여줍니다.

4. 실험 결과

저자들은 NLP 작업(ARC-Easy, SST-2)과 비전 작업(Flowers102, CIFAR-100, DTD, Oxford Pets, OOD 탐지, CIFAR-100-C 변형)에서 SVE를 평가했습니다.

보정(Calibration): SVE는 딥 앙상블, LoRA-Ensemble, 그리고 베이지안 방법(예: Bayes-LoRA, BLoB)과 비교하여 일관되게 우수하거나 경쟁력 있는 기대 보정 오차(Expected Calibration Error, ECE)를 달성했습니다. 특히 LLaMA-2-7B를 사용한 ARC-Easy에서 SVE( $M=16$ )는 3.8%의 ECE를 기록하여, 딥 앙상블(9.9%)과 LoRA-Ensemble(9.0%)을 크게 앞질렀으며 베이지안 방법의 보정 성능에 근접했습니다.
정확도(Accuracy): SVE는 명시적 앙상블 및 다른 암시적 방법들과 대등한 예측 정확도를 유지합니다. CIFAR-100에서 SVE는 85.6%의 정확도를 달성하여 딥 앙상블(85.4%)과 단일 모델보다 높은 성능을 보였습니다.
강건성(Robustness): 분포 변화(CIFAR-100-C) 및 분포 외(OOD) 탐지(CIFAR-100 $\to$ CIFAR-10) 상황에서 SVE는 훨씬 적은 파라미터를 사용했음에도 불구하고 AUROC 및 AUPRC 측면에서 LoRA-Ensemble 및 딥 앙상블과 대등하거나 이를 상회하는 강력한 강건성을 보여주었습니다.
백본 의존성: SVE의 이점은 사전 학습된 표현의 품질에 따라 달라집니다. 무작위 초기화된 모델에서는 SVE가 저조한 성능을 보였으나, 강력한 백본(DINOv2)을 사용할 때는 모든 베이스라인을 능가하여, 유의미한 특이 벡터 기반이 방법의 성공에 필수적이라는 가설을 입증했습니다.
계산 비용: SVE는 LoRA-Ensemble보다 10배, 딥 앙상블보다 700배 적은 파라미터 및 메모리 오버헤드를 줄입니다. 추론 시간은 LoRA-Ensemble과 유사하며 베이지안 샘플링 방법보다 훨씬 빠릅/니다.

5. 의의 및 주장

본 논문은 SVE가 자원이 제한된 환경에서 원칙적인 불확실성 추정을 민주화한다고 주장합니다. 파운데이션 모델의 선형 부공간 구조를 활용함으로써, SVE는 최소한의 파라미터 오버헤드( $<1\%$ )로 다양한 앙상블 멤버를 생성할 수 있게 합니다.

저자들은 SVE를 다음과 같은 균형 잡힌 접근법으로 포지셔닝합니다:

LoRA-Ensemble과 대등한 정확도를 달성합니다.
복잡한 베이지안 방법과 대등한 보정 성능을 달성합니다.
파라미터 효율적 미세 조정의 계산 효율성을 제공합니다.

이 연구는 파운데이션 모델이 발전함에 따라 그들의 특이 벡터에 인코딩된 "지식 기반"이 점점 더 가치 있어질 것임을 시사합니다. SVE는 이러한 표현을 보존하면서 경량화된 조정을 통해 다양성을 도입함으로써, 전통적인 앙상블이 불가능한 대규모 모델에서도 신뢰할 수 있는 불확실성 추정을 가능하게 합니다.

인정된 한계점:
저자들은 추론 시 여전히 각 멤버당 한 번의 순전파(forward pass)가 필요하므로, FLOPs는 딥 앙상블과 유사하다는 점을 언급했습니다. 또한, SVD를 수행하기 전 역양자화(dequantization)가 필요하기 때문에 양자화된 백본과의 통합이 까다로울 수 있습니다. 마지막으로, SVE는 사전 학습된 기반을 보존하기 때문에 백본에 존재하는 편향이나 가짜 상관관계(spurious correlations)를 그대로 물려받을 수 있습니다.