기술 요약: 약속 하의 일관성 (Coherence Under Commitment, CUC)

문제 정의

지식 집약적 도메인에 배치된 대규모 언어 모델(LLM)은 결정적인 실패 모드인 **공허한 일관성(vacuous coherence)**을 보일 수 있습니다. 표준 평가 지표는 논리적 일관성(예: 부정 일관성, 즉 모델이 어떤 진술과 그 부정을 동시에 긍정하지 않는 것)을 우선시합니다. 그러나 모델은 어떠한 결정적인 판단도 내리지 않고 체계적으로 **기권(abstaining)**함으로써 이러한 일관성 제약을 사소하게 충족할 수 있습니다. 함의(entailment)나 반박(refutation)에 대한 확언을 유보함으로써, 모델은 논리적 모순은 제로로 유지하면서도 추론 효용성은 제로로 만듭니다.

고위험 환경(예: 임상 진단, 과학적 추론)에서 이러한 "안전한" 행동은 표준 평가 하에서는 진정한 신뢰성과 구별되지 않습니다. 질문의 90%에 답변하기를 거부하는 모델은 "일관적"으로 보이지만 운영 측면에서는 무용지물입니다. 현재의 평가 패러드임은 일관성을 고립시켜 측정하며, 실행 가능한 추론에 필요한 **인식적 약속(epistemic commitment)**을 무시하기 때문에 이를 감지하지 못합니다.

방법론: 약속 하의 일관성 (CUC)

저자들은 논리적 일관성과 인식적 결단력을 공동으로 측정하기 위해 설계된 이중 쿼리 평가 패러다임인 **약속 하의 일관성 (CUC)**을 제안합니다.

1. 이중 쿼리 유도 프로토콜

단일 쿼리 대신, CUC는 모든 전제 $P$와 가설 $\phi$에 대해 대칭적인 쿼리 쌍을 구성합니다:

• $Q_\phi$: "$\phi$는 $P$로부터 논리적으로 함의되는가?"
• $Q_{\neg\phi}$: "$\neg\phi$는 $P$로부터 논리적으로 함의되는가?"

샘플링 분산과 디코딩 아티팩트를 제거하기 위해, 프로토콜은 모델의 로짓(logits)에서 이진 응답(YES/NO)에 대한 정규화된 로그 확률을 직접 추출하는 **결정론적 유도(deterministic elicitation)**를 사용합니다:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{YES}|Q_\phi))}{\exp(\log P(\text{YES}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
이를 통해 가설과 그 부정에 대한 긍정적 응답의 확률 질량을 산출합니다.

2. 핵심 지표

프레임워크는 $\mathcal{P}(\phi)$와 $\mathcal{P}(\neg\phi)$로부터 파생된 두 가지 주요 지표를 정의합니다:

• 약속 점수 (Commitment Score, $c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  이는 결정적인 결과에 할당된 총 확률 질량을 정량화합니다. 낮은 점수는 모델이 해당 쿼리를 사실상 미지(unknown) 상태로 취급하고 있음을 나타내며, 이는 일관성 여부와 상관없이 발생합니다.

• 부정-일관성 위반 (Negation-Coherence Violation, $v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  이는 모델이 상호 배타적인 결과에 단위 확률 질량을 초과하여 할당하는 정도를 측정합니다. 값이 0보다 크면 논리적 비일관성(동시 과잉 약속)을 의미합니다.

핵심 통찰: 논문은 대수적 항등식 $v_{neg} = \max(0, c - 1)$을 확립합니다. 이는 $c(\phi) \leq 1$인 모든 모델이 추론 품질과 관계없이 자동으로 위반율 0을 달성함을 시사합니다. 따라서 낮은 위반율은 낮은 약속의 결과물일 수 있습니다.

3. 3방향 결정 프레임워크

이 지표들을 실행하기 위해, 저자들은 임계값 $\tau$(신뢰도)와 $\delta$(차이)를 사용하는 결정 규칙을 정의합니다:

• TRUE: $\mathcal{P}(\phi) \geq \tau$ 이고 $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$ 인 경우.
• FALSE: $\mathcal{P}(\neg\phi) \geq \tau$ 이고 $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$ 인 경우.
• UNCERTAIN: 그렇지 않은 경우.

이를 통해 모델이 정밀하지만 기권하는 모델과, 결단력 있지만 모순적인 모델을 구분하여 커버리지(Coverage)(비-UNCERTAIN 예측의 비율)와 **조건부 정확도($Acc_{cov}$)**를 보고할 수 있게 합니다.

실험 설정

• 데이터셋: FOLIO v0.0(형식적으로 검증된 부정이 포함된 204개 사례) 및 LOGIQA v2(규칙 기반 부정이 포함된 304개 사례)에서 평가되었습니다.
• 모델: 네 가지 오픈 웨이트 모델(1.1B–3B 파라미터): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, Qwen2.5-3B.
• 프로토콜: YES/NO 토큰에 대한 결정론적 로그 확률 추출.

주요 결과

1. 일관성-약속 프런티어 (The Coherence-Commitment Frontier)

실험 결과, 날카롭고 경험적으로 견고한 트레이드오프 프런티어가 드러났습니다. 어떤 모델도 높은 커버리지와 낮은 위반율을 동시에 달성하지 못했습니다.

• 체계적 기권 (Qwen2.5-3B): 가장 낮은 위반율($E[v_{neg}] = 0.025$)을 달성하여, 일관성 전용 지표 하에서는 "최선"인 것처럼 보입니다. 그러나 약속 점수는 $0.115$이며 **커버리지는 7.4%**에 불과하여, 92% 이상의 사례에 대해 예측을 유보합니다.
• 체계적 과잉 약속 (TinyLlama-1.1B): 79.4%의 커버리지를 달성하지만, 모순된 결과에 확률 질량을 할당하여 **100%**의 사례에서 확률 공리를 위반합니다 ($E[v_{neg}] = 0.698$).
• 중간 단계 모델: Phi-2와 Qwen2.5-1.5B는 중간 위치를 차지하며, 기권과 모순 사이에서 다양한 양상을 보입니다.

2. 표준 평가의 실패

• 정확도 맹목성 (Accuracy Blindness): 표준 3방향 정확도 점수는 모델 간에 거의 동일하게 나타나(0.343에서 0.441 사이), 기권과 과잉 약속이라는 정반대의 실패 모드를 가려버립니다.
• 일관성 전용 함정 (Coherence-Only Trap): 일관성 전만 평가를 수행하면 Qwen2.5-3B를 가장 우수한 모델로 순위 매기게 되는데(다음 최선 모델보다 위반율이 6.6배 낮음), 이는 실질적인 추론을 거의 제공하지 않는 모델에게 잘못된 보상을 주는 것입니다.
• 교정 환상 (Calibration Illusion): 약속된 작은 부분 집합에서도 모델들은 낮은 교정 성능(높은 기대 교정 오차)을 보입니다. Qwen2.5-3B의 겉보기 교정 성능은 공격적인 필터링(가장 쉬운 7%의 사례만 선택)에 의한 착시입니다.

3. 스케일링 효과

Qwen2.5를 1.5B에서 3B 파라미터로 스케일링한 결과, 정확도의 변화는 미미한 반면 약속은 83% 감소하고 커버리지는 23.5포인트 하락했습니다. 더 큰 모델은 더 정밀하게 추론하는 법을 배우는 대신, 헤징(기권)하는 법을 학습했습니다. 이는 표준 지표에서 일관성의 개선으로 오해될 수 있는 행동입니다.

의의 및 주장

본 논문은 논리적 추론의 평가가 "모델이 일관적인가?"를 묻는 것에서 "모델이 유용하게 일관적인가?"를 묻는 것으로 전환되어야 한다고 주장합니다.

1. 공허한 일관성은 사각지대이다: 표준 지표는 올바르게 추론하는 모델과 단순히 답변을 거부하는 모델을 구분할 수 없습니다. CUC는 약속을 요구함으로써 이를 폭로합니다.
2. 프런티어는 불가피하다: 일관성과 약속 사이에는 근본적인 긴장이 존재합니다. 한 차원을 최적화하는 모델은 종종 다른 차원을 저하시킵니다.
3. 양식 불가지론 (Modality Agnosticism): 텍스트로 구현되었으나, 본 프레임워크는 이미지와 텍스트에 대해 상보적인 쿼리를 던질 수 있는 멀티모달 설정(예: VQA, 로보틱스)에도 이론적으로 적용 가능합니다.
4. 방법론적 필요성: 저자들은 일관성뿐만 아니라 약속을 함께 보고하는 것이 기권이 실제 운영 비용을 초래할 수 있는 고위험 배치 상황에서 필수적이라고 주장합니다. CUC는 모델이 침묵함으로써 "일관적"인 것처럼 보이는 현상을 방지하기 위한 최초의 원칙적인 프레임워크를 제공합니다.

결론적으로, 본 논문은 CUC와 같은 지표 없이는, 실무자들이 신뢰할 수 있는 것처럼 보이지만 기능적으로는 무력한 모델을 배치할 위험이 있다고 경고합니다.