기술 요약: 언제 Conformal Risk Control이 LLM 출력을 인증할 수 있는가?

1. 문제 정의

대규모 언어 모델(LLM)은 명명된 개체 인식(NER), JSON 추출, 질의응답(QA), 분류와 같이 출력이 특정 스키마를 준수해야 하며 정답(ground truth)에 따라 평가될 수 있는 구조적 생성(structured generation) 작업에 점점 더 많이 배치되고 있습니다. 그러나 이러한 모델들은 공식적인 신뢰성 보장을 결여하고 있습니다. 표준적인 불확실성 정량화 방법(예: 토큰 확률, 엔트로피 임계값)은 구조적 손실(structured losses)에 대해 종종 미보정(miscalibrated)되어 있으며, 휴리스틱 기반의 기권 정책(abstention policies)은 사용자가 지정한 위험 목표를 7.5~12.5% 비율로 놓치는 경우가 빈번합니다.

본 논문이 다루는 핵심 문제는 **Conformal Risk Control (CRC)**가 LLM의 구조적 출력이 사용자가 정의한 위험 목표 $\alpha$(예: "오류율 $\le 10\%$")를 충족한다고 공식적으로 인증할 수 있는 시점은 언제이며, 어떤 경우에는 사용된 방법론과 관계없이 인증이 이론적으로 불가능한지를 결정하는 것입니다.

2. 방법론

2.1. 문제 설정

저자들은 신뢰 점수 $s(x, \hat{y}) \ge \lambda$일 때 예측값 $\hat{y}$를 출력하고 그렇지 않으면 기권(abstain)하는 선택적 예측기(selective predictor)를 정의합니다. 목표는 다음을 만족하는 $\lambda^*$를 찾는 것입니다:
$$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$$
확률 $\ge 1-\delta$로, 여기서 $R_{task}$는 작업별 리스크(예: NER의 경우 $1 - F_1$, QA의 경우 $1 - \text{Exact Match}$)입니다.

2.2. 인증 계층 구조 (Certification Hierarchy)

본 논문은 $\lambda^*$를 선택하기 위해 사용되는 경계(bounds)의 계층 구조를 분석합니다:

1. Hoeffding Bound: 분산을 무시하는 표준 상한 신뢰 구간(upper confidence bound, UCB)입니다.
2. Empirical Bernstein Bound: 표본 분산 $\hat{\sigma}^2$를 포함하여, 분산이 낮을 때($\hat{\sigma}^2 < 1/4$) 더 타이트한 경계를 제공합니다.
3. e-CRC (Betting-Based): e-value를 이용한 베팅 기반 테스트 프레임워크를 사용하여 부(wealth) 프로세스를 구축합니다. 이는 순차적 베팅을 통해 경험적 분포에 완전히 적응하며, 특히 데이터가 부족한 상황에서 가장 타이트한 경계를 제공합니다.

저자들은 인증된 임계값의 엄격한 순서 관계 $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$를 증명합니다.

2.3. 불가능성 결과 (Feasibility Test)

중심적인 이론적 기여는 기권(abstention)에 대한 폐쇄형 하한(closed-form lower bound)입니다. 저자들은 배포 인구(deployment population)에서의 기본 리스크(base risk) $\mu = E[R]$가 목표치 $\alpha$를 초과하는 경우, 어떠한 분포 불변(distribution-free) 방법이라도 최소한 다음의 비율만큼은 반드시 기권해야 함을 증명합니다:
$$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$$
이는 타당성 테스트 역할을 합니다. 즉, $\mu > \alpha$라면, 상당한 부분의 입력을 거부함으로써만 인증이 가능합니다.

2.4. Adaptive Conformal Inference (ACI)

테스트 분포가 캘리브레이션 세트와 다른 경우(distribution shift)를 해결하기 위해, 본 논문은 ACI를 평가합니다. 이 방법은 관찰된 리스크를 바탕으로 온라인으로 임계값을 업데이트합니다:
$$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$$
이는 분포 변화(shift) 하에서도 점근적 제어(asymptotic control)를 제공하지만, 유한 샘플에 대한 보장은 제공하지 않습니다.

2.5. Score Fusion

저자들은 서로 다른 신호들(예: Self-Consistency, Token Margin, Semantic Entropy)을 결합하여, 분리된 캘리브레이션 데이터를 이용한 로지스틱 회귀를 통해 융합된 신뢰 점수 $\tilde{s}(x)$를 학습하는 방법을 제안합니다. 이 융합 함수가 고정되어 있고 CRC 캘리브레이션 샘플과 독립적이라면, CRC의 유효성 보장이 유지됨을 증명합니다.

3. 주요 기여

1. 불가능성 결과 및 타당성 특성화: 본 논문은 $\mu > \alpha$일 때, 어떤 분포 불변 방법도 $(\mu - \alpha)/(1 - \alpha)$ 이상의 사례를 기권하지 않고서는 출력을 인증할 수 없음을 확립했습니다. 이는 배포 전, 목표한 리스크 달성 가능 여부를 판단할 수 있는 사전 점검 도구를 제공합니다.
2. 인증 계층 구조: 저자들은 $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$의 계층 구조를 확립하고 이를 실증적으로 검증했습니다. 저분산 환경에서는 Hoeffding에서 Bernstein으로 전환할 때 가장 큰 이득(+37% 더 많은 인증된 구성)을 얻는 반면, e-CRC는 데이터가 희소한 상황(예: 20%의 데이터에서 10% 인증 vs Hoeffding의 0%)에서 결정적인 가치를 제공함을 보여줍니다.
3. 변화에 대한 적응 (Adaptation to Shift): 본 연구는 교차 데이터셋 전이(cross-dataset transfer) 하에서의 ACI를 검증하여, 리스크 목표 위반율을 71%(정적 CRC)에서 21%로 감소시킴을 입증했습니다. 잔여 실패는 불가능성 경계가 과도한 기권을 요구한다고 예측하는 지점에서 정확히 발생합니다.
4. 실험적 벤치마크: 6개의 오픈 웨이트 모델(3B–72B 파라미터), 8개의 데이터셋, 4개의 작업, 6개의 비정상성 점수(nonconformity scores)에 대한 포괄적인 평가를 수행했습니다. 연구 결과, 어려운 NER/QA/CLS 구성은 엄격한 $\alpha=0.10$에서 인증이 불가능한 경우가 많지만, $\alpha$를 0.30–0.40으로 완화하면 실질적인 인증이 가능해짐을 발견했습니다(NER 47%, QA 40%, CLS 60%).

4. 결과

로 인한 미보정(Miscalibration):* LLM은 구조적 작업에 대해 심각한 미보정 현상을 보입니다. 평균 신뢰도는 높지만(74–97%), 실제 리스크는 매우 다양하게 나타납니다(JSON의 경우 3%에서 NQ Open QA의 경우 80%까지).

• 타당성 한계 (Feasibility Limits): $\alpha=0.10$일 때, NER/QA/CLS의 인증률은 $\mu \gg \alpha$이기 때문에 거의 제로에 가깝습니다. 예를 들어, NQ Open QA는 $\mu \approx 0.80$이므로, 10%의 리스크 목표를 달고하려면 $\ge 78\%$의 기권이 필요합니다.
• 경계 성능 (Bound Performance):
  • Hoeffding: 8.7%의 구성을 인증합니다.
  • Bernstein: 11.9%를 인증합니다 (Hoeffding 대비 +37% 이득).
  • e-CRC: 12.2%를 인증하며, 저데이터 환경에서 가장 큰 이점을 보입니다.
  • 모든 방법은 인증된 구성들 사이에서 위반율을 거의 제로 수준으로 유지합니다.
• 모델 스케일링 (Model Scaling): 모델 크기가 커질수록 기본 리스크 $\mu$가 감소합니다. CoNLL NER의 경우, $\mu$는 3B 모델의 0.42에서 72B 모델의 0.24로 떨어지며, 이는 14B 모델은 실패하는 $\alpha=0.25$ 수준에서도 72B 모델은 인증을 가능하게 합니다.
• 점수 융합 (Score Fusion): 캘리브레이션된 융합은 89%의 구성에서 AUROC를 개선하며, 개별 점수가 약한 분류 및 NER 작업에서 가장 큰 이득을 얻습니다.

5. 의의 및 주장

본 논문은 단순히 새로운 컨포멀 프리미티브(conformal primitive)를 제시하는 것이 아니라, **배포를 위한 특성화(deployment-facing characterization)**를 제공한다고 주장합니다. 이 논문의 주요 의의는 실무자의 질문을 "어떤 경계가 가장 타이트한가?"에서 "인증이 가능한가?"로 전환시킨 데 있습니다.

• 타당성 우선 (Feasibility First): 불가능성 경계는 실무자가 어떤 CRC 절차를 실행하기 전에 최소 요구 기권량을 계산할 수 있게 해줍니다. 만약 요구되는 기권량이 수용 불가능하다면, 본 논문은 모델을 확장하거나, 리스크 목표 $\alpha$를 완화하거나, 혹은 대량의 기권을 수용할 것을 권장합니다.
• 실용적 레시피: 저자들은 3단계 배포 프레임워크를 제안합니다:
  1. 타당성 확인: $\mu$를 계산합니다. 만약 $\mu > \alpha$라면, 기권 하한선을 계산합니다.
  2. 경계 및 점수 선택: Bernstein 또는 e-CRC를 사용하고(Hoeffding은 절대 사용 금지), 점수 융합이나 Self-Consistency를 활용합니다.
  3. 변화 완화: 테스트 분포가 캘리브레이션과 다를 수 있다면 ACI를 배포합니다.
• 현실적인 기대치: 본 연구는 어렵고 복잡한 작업(높은 $\mu$)과 엄격한 목표(낮은 $\alpha$)의 경우, 인증이 통계적 방법론이 아닌 모델의 기본 성능에 의해 근본적으로 제한된다는 점을 명확히 합니다. $\alpha$를 현실적인 수준(예: 0.30–0.40)으로 완화하는 것이 많은 구조적 작업에서 인증을 실용적으로 만듭니다.

결론적으로, CRC가 공식적인 보장을 제공하긴 하지만, 그 효용성은 기본 리스크와 목표 리스크 사이의 근본적인 트레이드오프에 의해 제한되며, 이는 어떤 통계적 경계로도 극복할 수 없는 제약 조건임을 밝히고 있습니다.