GrACE: A Generative Approach to Better Confidence Elicitation and Efficient Test-Time Scaling in Large Language Models

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 의료, 금융, 법률 등 고위험 분야에서 널리 사용되고 있으나, 모델이 자신의 답변에 대해 얼마나 확신하는지 (신뢰도, Confidence) 를 정확히 평가하는 것은 AI 안전을 위해 필수적입니다. 기존 신뢰도 추정 방법들은 다음과 같은 한계를 가지고 있습니다:

• 생성 후 평가 (Post-generation methods): 답변 생성 후 별도의 모델이나 프롬프트를 통해 신뢰도를 평가하는 방식은 지연 시간 (Latency) 을 증가시키고 계산 비용을 과다하게 소모합니다.
• 구술형 신뢰도 (Verbalized confidence): "매우 확실함", "불확실함"과 같은 자연어 표현을 사용하는 방식은 모호하며, LLM 이 과신 (Overconfidence) 하는 경향이 있어 정량화가 어렵고 보정 (Calibration) 이 잘 되지 않습니다.
• 실용성 부족: 기존 방법들은 실시간으로 신뢰도를 제공하거나 테스트 시간 확장 (Test-Time Scaling) 에 효율적으로 적용하기 어렵습니다.

2. 제안 방법론: GrACE (Methodology)

저자들은 **GrACE (Generative Approach to Confidence Elicitation)**를 제안합니다. 이는 LLM 이 생성 과정 중 실시간으로 보정된 신뢰도 점수를 출력할 수 있게 하는 새로운 프레임워크입니다.

• 핵심 메커니즘 (Special Token & Similarity):
  • 어휘집에 특수 토큰 <CNF>를 추가합니다.
  • 모델이 답변을 생성한 후 마지막에 <CNF> 토큰을 생성하도록 학습시킵니다.
  • 신뢰도 점수는 **마지막 은닉 상태 (Last Hidden State)**와 <CNF> 토큰의 임베딩 간의 유사도 (Similarity) 로 계산됩니다. 이는 모델의 내재된 언어 모델링 헤드를 활용하여 추가적인 계산 없이 실시간으로 신뢰도를 도출합니다.
• 보정 목표 설정 (Calibration Target):
  • 단순한 이진 레이블 (정답/오답) 대신, 모델의 초기 불확실한 신뢰도 점수를 기반으로 데이터를 $k$-fold 로 그룹화합니다.
  • 각 그룹 내의 실제 정확도 (Empirical Accuracy) 를 해당 그룹의 신뢰도 목표값 (Target) 으로 설정합니다. 이를 통해 신뢰도 분포가 실제 정확도와 일치하도록 (Calibration) 만듭니다.
• 학습 과정 (Training):
  • MSE Loss: 예측된 신뢰도와 보정 목표값 간의 오차를 최소화합니다.
  • SFT Loss (Supervised Fine-Tuning): 모델의 원래 생성 능력을 유지하기 위해 기존 생성 작업에 대한 지도 학습 손실을 정규화자로 함께 사용합니다.
  • LoRA 적용: 전체 파라미터를 미세 조정하지 않고, LoRA (Low-Rank Adaptation) 와 <CNF> 임베딩만 학습하여 비용 효율성을 극대화합니다.

3. 테스트 시간 확장 (Test-Time Scaling) 적용

GrACE 는 실시간 신뢰도 점수를 활용하여 테스트 시간 확장 (TTS) 전략을 개선합니다:

• GrACE-SC (Self-Consistency): 단순 다수결 투표 대신, 신뢰도 점수를 가중치로 사용하여 더 높은 신뢰도를 가진 답변을 우선시합니다.
• GrACE-ES (Early Stopping): 신뢰도 임계값을 설정하여, 신뢰도가 충분히 높은 샘플이 생성되면 샘플링을 즉시 중단합니다. 이는 불필요한 계산 자원을 절약하면서도 정확도를 유지하거나 향상시킵니다.

4. 주요 기여 (Key Contributions)

1. 새로운 생성형 신뢰도 elicitation: 추가적인 평가 단계나 보조 모델 없이, 생성 단계 내에서 실시간으로 구별력 (Discrimination) 과 보정 (Calibration) 이 모두 우수한 신뢰도 점수를 생성하는 메커니즘을 제안했습니다.
2. 효율적인 TTS 전략: GrACE 의 신뢰도 점수를 활용한 적응형 샘플링 (GrACE-SC, GrACE-ES) 을 통해 TTS 의 효율성과 정확도를 동시에 개선했습니다.
3. 강력한 일반화 성능: 학습된 도메인과 다른 도메인 (Out-of-Domain) 에서도 기존 방법들보다 뛰어난 성능을 보였습니다.

5. 실험 결과 (Results)

• 신뢰도 평가 (Open-ended Generation): TriviaQA 와 SciQ 데이터셋에서 GrACE 는 기존 최첨단 방법 (Apricot 등) 보다 **ECE(기대 보정 오차)**가 2.64.4% 포인트, Brier Score가 1.82.5% 포인트, AUROC가 4.4~5.0% 포인트 더 우수한 성능을 기록했습니다.
• 일반화 능력: 학습된 도메인에서 다른 도메인으로 전이될 때, GrACE 는 성능 저하가 거의 없었으며 (ECE +3.3%), 다른 방법들 (Apricot 등) 이 도메인 변화에 민감하게 반응하는 것과 대조적이었습니다.
• TTS 성능 향상:
  • 정확도: GrACE-SC 는 기존 Self-Consistency 보다 정확도를 평균 1.54% 향상시켰습니다.
  • 효율성: GrACE-ES 는 불필요한 샘플링을 줄여, MathQA 의 경우 약 38.6% 의 쿼리가 첫 번째 샘플에서 신뢰도 임계값을 충족하여 즉시 종료되었습니다.

6. 의의 및 결론 (Significance)

GrACE 는 LLM 의 신뢰도 추정을 위한 실시간성, 정확성, 효율성을 모두 충족하는 실용적인 솔루션을 제공합니다.

• 실용성: 별도의 평가 단계 없이 생성 과정에 통합되어 지연 시간을 최소화합니다.
• 안전성: 의료나 금융과 같은 고위험 분야에서 모델이 "무엇을 알고 있는지, 무엇을 모르는지"를 정량적으로 파악할 수 있게 하여 AI 안전성을 높입니다.
• 확장성: 테스트 시간 확장 (TTS) 기술과 자연스럽게 결합하여, 적은 계산 자원으로 더 높은 성능을 달성할 수 있는 길을 열었습니다.

이 연구는 LLM 이 단순히 답변을 생성하는 것을 넘어, 자신의 답변에 대한 확신을 정교하게 표현하고 이를 활용하여 의사결정 과정을 최적화할 수 있음을 입증했습니다.