🤖 machine learning

Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration

이 논문은 대규모 언어 모델을 보정하기 위해 훈련 과정에서 예측 엔트로피를 최대화하는 실용적인 이단계 최적화 프레임워크를 제안하며, 이를 통해 전통적인 사후 온도 스케일링의 도메인 한계를 효과적으로 극복하고 도메인 외 일반화 성능을 향상시킨다.

원저자: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

게시일 2026-08-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 도서관의 모든 책을 다 읽은 아주 똑똑한 학생을 가르치고 있다고 상상해 보세요. 이 학생은 이야기를 쓰고, 수학 문제를 풀고, 인간처럼 대화할 수 있는 인공지능의 한 종류인 거대 언어 모델(LLM)입니다. 하지만 한 가지 문제가 있습니다. 이 학생은 자신의 지식을 판단하는 능력이 형편없다는 점입니다. 자신이 답을 모를 때도 "제 답이 맞을 확률이 99%라고 확신합니다!"라고 말하며 터무니없이 자신만만해하곤 합니다. 현실 세계에서 이는 매우 위험합니다. 만약 의료용 AI가 진단에 대해 99% 확신한다고 말했지만 틀렸다면, 사람들은 다칠 수 있습니다.

이를 해결하기 위해 과학자들은 "온도 스케일링(Temperature Scaling)"이라는 기술을 시도했습니다. AI의 자신감을 스테레오의 볼륨 조절 노브라고 생각해 보세요. 만약 음악 소리가 너무 크고 왜곡되어 있다면(너무 과하게 자신만만하다면), 노브를 돌려 소리를 줄여 더 부드럽고 현실적으로 만드는 것입니다. 이 방법은 단 하나의 노래(특정한 데이터셋 하나)를 들을 때는 잘 작동합니다. 하지만 문제는, 록 음악에 맞춰 설정한 "볼륨 노브" 설정이 재즈 음악에는 맞지 않을 수도 있다는 것입니다. 동일한 설정을 다른 종류의 질문에 적용하면, AI는 여전히 너무 크게 소리 지르거나 혹은 너무 작게 소리를 낼 수 있습니다. 기존 방식은 단 하나의 다이얼로 도시 전체의 라디오를 튜닝하려는 것과 같습니다. 즉, 모든 곳에서 제대로 작동하지 않습니다.

여기서 COLM 2026 컨퍼런스 논문으로 발표된 새로운 연구가 영리한 새로운 아이디어를 제시합니다. 단순히 학생이 공부를 마친 후에 볼륨 노브를 돌리는 대신, 연구자들은 학생이 애초에 어떻게 학습할지를 바꾸기로 결정했습니다. 그들은 CALM(Bilevel Optimization을 통한 거대 모델의 보정)이라는 특별한 훈련법을 만들었습니다.

CALM이 어떻게 작동하는지 간단한 비유를 통해 설명하겠습니다. 코치가 운동선수를 훈련시키는 상황을 상상해 보세요.

기존 방식 (사후 스케일링, Post-Hoc Scaling): 선수가 경주를 하고 나서 지쳤을 때, 코치가 말합니다. "좋아, 다음번에는 조금 더 천천히 달려봐." 코치는 일이 벌어진 후에 속도를 조절하려고 노력합니다. 하지만 지형이 바뀌면(다른 데이터셋이 나타나면), 기존의 조언은 맞지 않게 됩니다.
CALM 방식 (바이레벨 최적화, Bilevel Optimization): 코치는 2단계 훈련 캠프를 설정합니다.
- 1단계 (선수): 선수는 더 빠르고 똑똑해지기 위해 경주를 연습합니다(이것은 모델이 질문에 답하는 법을 배우는 과정입니다).
- 2단계 (코치): 선수가 달리는 동안, 코치는 관찰하며 실시간으로 훈련 규칙을 조정합니다. 코치의 목표는 단순히 선수를 빠르게 만드는 것이 아니라, 선수가 자신이 얼마나 빨리 달리고 있는지 정확히 알게 하는 것입니다. 만약 선수가 너무 자랑을 늘어놓는다면("내가 제일 빨라!"), 코치는 선수가 좀 더 겸손하고 현실적이 되도록 부드럽게 유도합니다.

연구진은 이 "2단계" 시스템으로 모델을 훈련함으로써, AI가 자연스럽게 자신감을 갖되 '과하게' 자신만만해지지 않도록 학습된다는 것을 발견했습니다. 그들은 네 가지 유명한 AI 모델(Llama-3.1, Vicuna, OLMo, Mistral 등)과 두 가지 유형의 테스트(객관식 문제와 개방형 창의적 글쓰기)를 통해 이를 테스트했습니다.

결과는 매우 유망했습니다. AI가 본 적 없는 질문(록 음악을 배운 학생에게 주는 재즈 곡 같은 '도메인 외(out-of-domain)' 테스트)을 받았을 때, CALM은 기존의 "볼륨 노브" 방식보다 훨씬 더 잘 작동했습니다. 기존 방식은 종종 새로운 주제에 대해 AI를 더 혼란스럽게 만들거나 과하게 자신만만하게 만들었습니다. 그러나 CALM은 AI의 자신감을 적절히 제어했습니다. 예를 들어, Mistral-7B라는 모델에서 기존 방식은 AI의 보정 오차를 0.335(매우 과한 자신감)로 남겨두었지만, CALM은 이를 0.0822(훨씬 더 정확함)로 낮추었습니다.

결정적으로, 연구진은 이 방식이 AI를 "멍청하게" 만들지 않는다는 것을 보여주었습니다. 모델들은 여전히 질문에 올바르게 답했습니다. 단지 자신이 얼마나 확신하는지에 대해 거짓말을 하지 않게 되었을 뿐입니다. 이 논문은 이 접근 방식이, 특히 AI가 매번 사람이 수동으로 설정을 조정할 필요 없이 예상치 못한 질문을 처리해야 하는 상황에서 강력한 진전임을 시사합니다. 이는 AI가 어떤 주제를 다루든 상관없이 겸손하고, 정직하며, 신뢰할 수 있도록 가르치는 방법입니다.

기술 요약: 사후 온도 스케일링을 넘어: LLM 보정을 위한 이중 레벨 최적화 (Beyond Post-Hoc Temperature Scaling: Bilevel Optimization for LLM Calibration)

문제 정의

RLHF(인간 피드백 기반 강화 학습) 또는 DPO(직접 선호 최적화)를 통해 정렬된 대규모 언어 모델(LLM)은 종종 과잉 확신(overconfidence)으로 나타나는 불량한 보정(calibration) 문제를 보입니다. 신뢰도는 흔히 신뢰성의 대리 지표로 사용되지만, 고위험 도메인(예: 의료, 법률)에서 잘못 보정된 모델은 잘못된 믿음과 부적절한 의사결정으로 이어질 수 있습니다.

기존의 솔루션은 주로 **사후 온도 스케일링(Post-hoc Temperature Scaling, TS)**에 의존합니다. 이는 검증 세트에서 적합된 단일 스칼라 온도를 사용하여 훈련 후 로짓(logits)을 재조정하는 방식입니다. 그러나 본 논문은 TS가 본질적으로 데이터셋 의존적이라는 결정적인 한계를 지적합니다. 한 도메인에 최적화된 온도는 다른 도메인으로 잘 일반화되지 못하므로, 다양한 작업 전반에서 잘 보정되는 "보편적인" 온도를 찾기가 어렵습니다. 또한, 사후 방식은 모델 파라미터를 고정된 상태로 두기 때문에, 본질적으로 보정에 더 용이한 모델을 학습할 기회를 놓치게 됩니다.

방법론: CALM (이중 레벨 최적화를 통한 대규모 모델의 보정)

저자들은 이중 레벨 최적화 문제로 보정을 재정의하는 훈련 시점의 프레임워크인 CALM을 제안합니다. CALM은 사후 파라미터를 조정하는 대신, 작업 성능을 유지하면서 예측 엔트로피를 최대화하도록 모델 파라미터와 "온도와 유사한" 손실 하이퍼파라미터를 공동으로 최적화합니다.

1. 이중 레벨 공식화 (Bilevel Formulation)

문제는 다음과 같이 구조화됩니다:

하위 레벨 (작업 최적화): 하이퍼파라미터 $\alpha$ 가 주어졌을 때, 훈련 세트 $S_T$ 에 대해 표준 파라미터 손실(교차 엔트로피)을 최소화하도록 모델 파라미터 $\theta$ 를 훈련합니다.
$\theta(\alpha) \in \arg\min_{\theta'} \mathcal{L}_{tr}(\theta'; \alpha)$
상위 레벨 (보정 최적화): $\theta$ 가 하위 레벨 작업에 대해 여전히 최적이라는 제약 조건 하에, 홀드아웃 보정 세트 $S_V$ 에 대한 예측 분포의 엔트로피를 최대화하도록 하이퍼파라미터 $\alpha$ 를 최적화합니다.
$\min_{\alpha} \mathcal{L}_{ent}(\alpha, \theta(\alpha))$

하이퍼파라미터 $\alpha$ 는 온도 스케일링의 개념을 일반화합니다. 단일 스칼라 $\tau$ 대신, CALM은 로짓 이동을 도입하는 $l \in \mathbb{R}^K$ 와 클래스별 온도를 제공하는 $\tau \in \mathbb{R}^K_{>0}$ 를 포함하는 고차원 파라미터 $\alpha = (l, \tau)$ 를 사용합니다. 이를 통해 전역적인 재조정 대신 어휘 단위(per-vocabulary)의 조정을 가능하게 합니다.

2. 목적 함수 (Objective Functions)

상위 레벨 목적 함수: 과도하게 집중된(과잉 확신된) 예측을 억제하기 위해 샤논 엔트로피(Shannon entropy) $H(f_{\alpha, \theta}(\cdot | x))$ 를 최대화합니다. 이는 모델을 과잉 확신에서 과소 확신 방향으로 이동시켜, 신뢰도가 정확도와 일치하는 지점을 찾도록 제어 가능한 방향을 제시합니다.
하위 레벨 제약 조건: 훈련 데이터에 대한 교차 엔트로피를 최소화함으로써 모델의 변별력을 유지합니다.

3. 효율적인 1차 근사 (Efficient First-Order Approximation)

정확한 이중 레벨 최적화는 수십억 개의 파라미터를 가진 LLM에 대해 계산적으로 불가능한 헤시안 역행렬(Hessian inverses)을 포함하는 하이퍼 그래디언트(hypergradient) 계산을 요구합니다. 이를 해결하기 위해 CALM은 **BOME (Bilevel Optimization Made Easy)**에서 영감을 받은 1차 근사를 채택합니다:

문제를 결합 변수 $u = (\alpha, \theta)$ 에 대한 제약 최적화 문제로 재구성합니다.
현재 $\theta$ 로부터 $T$ 번의 내부 그래디언트 단계를 실행하여 대리 모델 $\tilde{\theta}$ 를 생성함으로써 하위 레벨 가치 함수를 근사합니다.
"플러그인 잔차(plug-in residual)" 제약을 구축하고, 명시적인 헤시안 역행렬 계산 없이 1차 미분만을 사용하여 공동 업데이트 방향을 계산합니다.

주요 기여

훈련 시점 관점: 본 논문은 보정 패러다임을 사후 데이터셋 특정 조정에서 훈련 시점 최적화로 전환하여, 다양한 데이터셋 전반에서 보정 조정을 수용할 수 있는 모델을 학습하는 것을 목표로 합니다.
이중 레벨 손실 설계: 엔트로피 기반 목적 함수를 사용하여 상위 레벨에서 온도 유사 하이퍼파라미터를 최적화하고, 하위 레벨에서 모델을 훈련하는 이중 레벨 문제를 공식화했습니다.
엔트로피 최대화: 추가적인 하드 라벨이나 보조 헤드 없이도 정렬된 LLM의 과잉 확신 문제를 완화하기 위해 엔트로피 최대화 상위 레벨 목적 함수를 제안합니다.
확장 가능한 프레임워크: 값비싼 2차 계산을 피하는 효율적인 1차 이중 레벨 최적화 방식(CALM)을 도입하여, 대규모 LLM 미세 조정에 실용적으로 적용할 수 있게 했습니다.

실험 결과

방법론은 네 가지 정렬된 LLM(Llama-3.1-Tulu-8B, Vicuna-7B, OLMo-2-7B, Mistral-7B)을 대상으로 다지선다형 QA(MCQA) 및 개방형 생성 QA에서 평가되었습니다.

도메인 외 (OOD) 일반화

우수한 보정 성능: CALM은 네 가지 모델 중 세 가지 모델에서 OOD 설정 시 최고의 신뢰도 기대 보정 오차(conf-ECE)를 달s성하며, 베이스라인에 비해 오차를 크게 줄였습니다. 예를 들어, Llama-3.1에서 conf-ECE를 0.1784에서 0.1050으로 감소시켰습니다.
정확도 보존: (이중 레벨 제약이 없는 "Iterate" 또는 "Regularization"과 같은) 절제 실험들이 심각한 정확도 붕괴를 겪은 것과 달리, CALM은 높은 작업 정확도를 유지하면서 보정을 개선했습니다.
강건성: 개방형 생성 QA(PopQA와 TriviaQA 간의 교차 도메인 전이)에서 CALM은 가장 낮은 평균 의미론적 ECE(Semantic-ECE, 0.0671)를 달성하여, 미보정 베이스라인 및 강력한 훈련 시점 베이스라인인 CFT(Calibration-Aware Fine-Tuning)보다 뛰어난 성능을 보였습니다.

도메인 내 (ID) 성능

훈련 및 평가 분포가 일치하는 ID 설정에서는 온도 스케일링(TS)이 ECE 측면에서 가장 우수한 성능을 보였습니다(사후 방식으로서 예상된 결과임). 그러나 CALM은 네 가지 모델 모두에서 베이스라인과 비교하여 정확도와 보정을 동시에 개선한 유일한 훈련 기반 방법이었습니다.

절제 연구 (Ablation Studies)

이중 레벨 구조: 이중 레벨 제약(Regularization)이나 결합 항(Iterate)을 제거하면 보정이 악화되거나 상당한 정확도 손실이 발생했습니다. 이는 작업 성능과 보정 사이의 결합이 필수적임을 입증합니다.
파라미터화: 퍼-보카블러리(per-vocabulary) 벡터 파라미터( $d_y, l_y$ )를 사용하는 것이 붕괴된 스칼라 파라미터(학습된 TS)보다 훨씬 우수했습니다. 이는 답변 옵션 간의 비대칭적 미보정을 처리하기 위해 세밀한 조정이 필요함을 강조합니다.

의의 및 주장

본 논문은 CALM이 정렬된 LLM의 과잉 확신 문제에 대한 강건한 훈련 시점 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

일반화: 사후 TS와 달리, CALM은 도메인을 가로질러 일반화되는 보정 메커니즘을 학습함으로써 "데이터셋 의존성" 문제를 해결합니다.
트레이드오프 관리: 단순한 정규화를 통해 보정을 시도할 때 발생하는 유틸리티 붕괴를 피하면서, 우수한 정확도-보정 트레이드오프를 달성합니다.
실용성: 1차 근사를 활용함으로써 이중 레벨 최적화를 현대적 LLM에 실행 가능하게 만들었으며, 이는 "사후 처리로 보정된" 모델이 아닌 "설계 단계부터 보정된" 모델로 가는 경로를 제시합니다.

저자들은 이 방법이 특히 도메인 외(OOD) 설정에서 유리하다고 결론지었습니다. 이 환경에서 대안적인 방법들은 불안정해지거나 상당한 유틸리티 손실을 겪는 반면, CALM은 다양한 실제 시나리오에서 신뢰할 수 있는 LLM을 배포하는 데 있어 실행 가능한 접근 방식을 제공합니다.