기술 요약: LLM 신뢰도 측정 지표로서의 교차 문맥 일관성 (Cross-Contextual Consistency)

문제 정의

대규모 언어 모델(LLM)은 강력한 블랙박스 시스템으로 작동하기 때문에, 그 출력이 안정적인 내부적 신념을 반영하는지 아니면 표면적인 패턴 매칭에 불과한지를 판단하기 어렵다. LLM은 다양한 작업에서 뛰어난 성능을 보여주지만, 논리적 일관성을 유지하는 데는 자주 실패한다. 예로는 "역전 저주(reversal curse)"(논리적으로 함축된 사실을 연상하지 못하는 현상)와 "문맥 하이재킹(context hijacking)"(의미적으로 중립적인 문맥이 추가되었을 때 답이 변하는 현상)이 있다. 기존의 평가 방법들은 다음과 같은 상당한 한계를 지닌다:

• 내부 신호 방법: 토큰 수준의 확률이나 은닉 상태를 사용하는 방식은 폐쇄형 모델(closed-source models)에는 적용할 수 없으며, 개방형 응답(open-ended responses) 처리에 어려움이 있다.
• 자기 보고식 확신(Self-Reported Confidence): 모델은 종종 과잉 확신을 보이며, 틀린 답에 대해서도 높은 확신 점수를 제공한다.
• 자기 일관성(Self-Consistency) 및 패러프레이징(Paraphrasing): 이러한 방법들은 모델이 여러 번 생성하는 동안 동일한 오답에 갇히거나, 패러프레이징 과정에서 의미론적 표류(semantic drift)가 발생하여 신뢰도 추정치가 부풀려지는 등의 기계적 실패를 겪을 수 있다.

따라서 외부 지식, 모델 파라미터, 또는 자기 보고식 측정치에 의존하지 않고 모델의 신뢰도를 평가할 수 있는 원칙적인 블랙박스 접근법이 필요하다.

방법론: 교차 문맥 일관성 (Cross-Contextual Consistency, C3)

본 논문은 **교차 문맥 일관성(C3)**을 제안한다. 이는 신뢰할 수 있는 답변이라면 동일한 과업이 주제적으로 정렬되되 내용적으로는 중립적인 문맥적 변형 하에서도 안정적으로 유지되어야 한다는 행동적 특성이다.

구체화 (Operationalization)

1. 변형 전략 (Perturbation Strategy): 주어진 쿼리 $x$에 대해, 저자들은 문맥적 변형 집합 $E = \{\epsilon_1, \dots, \epsilon_n\}$을 샘플링한다. 이 변형들은 원래의 쿼리 앞에 접두사로 붙여 $x' = [\epsilon; x]$를 생성한다.
   • 제약 조건: 변형은 주제 정렬(도메인 내 유지), 내용 중립성(답변을 드러내거나, 지지하거나, 반박하지 않음), 비사소성(단순히 질문을 재진술하는 것이 아닌 유의미한 변화 도입)을 충족해야 한다.
2. 분포 비교 (Distributional Comparison): 이 방법은 모델 생성을 확률적 과정으로 취급한다. 원래의 프롬프트로부터 출력($Y \sim P(Y|x)$)을 샘플링하고, 변형된 프롬프트로부터 출력($Y_E \sim P^E(Y|x)$)을 샘플링한다.
3. 지표 정의: C3는 원래 출력 분포와 변형된 출력 분포 사이의 정규화된 역거리로 정의된다:
   $$C3(x; E) = 1 - \tilde{D}(P(Y|x), P^E(Y|x))$$
   여기서 $\tilde{D}$는 $[0, 1]$로 정규화된 과업 적응형 거리 함수이다. 주요 구현에서 저자들은 고정된 형식과 개방형 생성 모두를 비교할 수 있게 해주는 **최대 평균 편차(Maximum Mean Discrepancy, MMD)**를 거리 지표로 사용한다.
4. 해석: C3 점수가 높을수록 문맥적 변형 하에서도 모델의 출력 분포가 안정적임을 의미하며(높은 신뢰도), 점수가 낮을수록 문맥 취약성(낮은 신뢰도)을 나타낸다.

주요 기여

1. 저평가된 속성의 식별: 본 논문은 C3를 LLM 신뢰도의 행동적 지표로 식별하며, 잘 뒷받침된 답변은 교차 검증(문맥적 변형) 하에서도 안정적이어야 한다고 상정한다.
2. 운영 프레임워크: 저자들은 C3를 객관식, 단답형, 장문형 사실성, 그리고 코드 생성 작업에 적용 가능한 블랙박스 평가 프로토콜로 구체화하였다.
3. 실증적 검증: 6개의 벤치마크에 걸쳐 16개 모델을 대상으로 한 실험을 통해, C3가 정확도 및 사실성과 일치하며, 벤치마크 포화(saturation)에 대한 강력한 진단 도구 역할을 하고, 전통적인 정확도 지표에 대한 보완적 평가 축을 제공함을 입증하였다. (참고: MMLU 고등학교 통계 벤치마크에 국한된 사례 연구에는 추가로 10개 모델이 포함되었다.)

실험 결과

저자들은 SVAMP, MMLU 고등학교 통계, CommonsenseQA, SimpleQA, FActScore, HumanEval의 6개 벤치마크에 대해 C3를 베이스라인(자기 일관성, 패러프레이징 일관성, 자기 보고식 확신, FActScore)과 비교 평가하였다.

• 우수한 캘리브레이션 (Superior Calibration): C3는 모델의 "신뢰도"를 진실성과 일치시키는 데 있어 일관되게 베이스라인보다 우수한 성능을 보였다. 예를 들어, SVAMP(수학적 추론)에서 C3는 자기 일관성(0.861) 대비 0.917의 AUROC를 달성했다. SimpleQA(사실성)에서 C3는 0.823의 AUROC를 기록하여 자기 일관성(0.792)과 자기 보고식 확신(0.490)을 크게 앞질렀다.
• 사실성 탐지: C3는 사실성 관련 오류를 효과적으로 탐지했다. 저자들은 C3와 FActScore 사이의 스피어만 서열 상관계수가 0.624임을 관찰하였는데, 이는 모델의 내부 상태가 지식의 경계에 대한 잠재적 표현을 포함하고 있음을 시사한다. 환각(hallucination)된 사실은 변형 하에서 크게 변화하는 저확률 영역에 위치하는 경향이 있다.
• 장문 생성 (Long-Form Generation): C3는 기존의 많은 방법이 실패하는 개방형 작업(HumanEval, FActScore)에서도 효과적으로 확장되었으며, 외부 실행 환경을 요구하지 않고도 강력한 캘리브레이션(예: HumanEval에서 0.110 ECE)을 달ach했다.
• 벤치마크 진단: 인스턴스 수준의 성능을 C3와 함께 도식화함으로써, 저자들은 네 가지 뚜렷한 영역을 식별했다:
  • 숙달됨 (High Perf, High C3): 안정적이고 정확한 이해.
  • 취약함 (High Perf, Low C3): 표면적 패턴 매칭이나 데이터 오염에 의해 유도된 높은 정확도; 변형 하에서 모델이 실패함.
  • 편향됨 (Low Perf, High C3): 강한 잘못된 사전 지식이나 오해로 인해 일관되게 틀림.
  • 미학습 (Low Perf, Low C3): 진정한 지식의 공백.
    이 분석을 통해 HumanEval과 같은 벤치마크는 "취약성"(과적합) 징후를 보이는 반면, SimpleQA는 주로 "미학습" 영역에 머물러 있음을 밝혔다.

의의 및 주장

본 논문은 C3가 전통적인 벤치마크가 포화되거나 오염되었을 때에도 유효한 정보를 제공하는 보완적 평가 축이라고 주장한다. 명시적으로 정답 여부를 테스트하는 방법과 달리, C3는 생성 과정의 안정성을 측정한다. 저자들은 다음과 같이 주장한다:

• 안정성으로서의 신뢰도: 모델의 응답은 논리적 및 의미적으로 동등한 문맥에 대해 견고해야 한다. 만약 프레이밍(framing)이 달라짐에 따라 출력이 크게 변한다면, 모델의 신뢰도는 훼손된다.
• 블랙박스 유용성: C3는 모델 파라미터에 대한 접근을 요구하지 않아 폐쇄형 모델에도 적용 가능하며, 종종 잘못 보정되는 자기 보고식 확신에 의존하지 않는다.
• 진단 능력: C3는 암기나 편향에 의한 "취약한" 성능과 진정한 이해를 구분하는 데 도움을 주며, 표준 정확도 기반 평가가 놓치는 답변의 취약성을 드러내는 실용적인 방법을 제공한다.

저자들은 C3가 강력한 진단 도구이긴 하지만, 모델이 일관적이면서도 동시에 틀릴 수 있으므로 이를 진실성을 보장하는 수단으로 간주해서는 안 된다고 결론지었다. 이는 인간의 감독을 대체하기보다는 문맥에 취약한 생성을 식별하기 위한 보조 도구로 의도되었다.