기술적 요약: LLM 에서 유도된 신념의 검증

문제 제기

대규모 언어 모델 (LLM) 은 의료 진단과 같은 고위험 분야에서 점점 더 많이 배포되고 있으며, 이러한 분야에서는 알려지지 않은 결과에 대한 확률적 신념을 형성하는 의사결정이 요구됩니다. 연구자들이 LLM 에게 구두로 확률을 출력하도록 프롬프트할 수 있지만 (예: "질병 X 의 확률은 80% 입니다"), 이러한 출력이 실제로 모델의 의사결정을 이끄는 일관된 내부 신념을 반영하는지는 여전히 불분명합니다. 모델은 미세 조정의 산물이거나 선호도 최적화로 인해 구두 확률이 왜곡되어 기본 의사결정 논리는 변경되지 않은 채, 의사결정 과정과 단절된 확률을 구술할 수 있습니다. 기존 연구는 보정 (보고된 확률의 정확성) 에 초점을 맞추고 있지만, 보고된 신념이 모델의 행동을 지배하는 *충분 통계량 (sufficient statistics)*인지 여부는 다루지 않습니다. 핵심적인 과제는 모델의 효용 함수에 대한 강력한 가정을 하거나 내부 표현에 접근할 필요 없이, 블랙박스 방식으로 유도된 신념이 모델의 의사결정에 대한 의미 있는 설명인지 검증하는 것입니다.

방법론

저자들은 유도된 신념과 관찰된 의사결정 간의 일관성을 테스트하기 위한 의사결정 이론적 프레임워크를 제안합니다. 이 프레임워크는 "거의 합리적 (near-rational)" 의사결정자를 가정하며, 이를 **교란된 효용 극대화자 (perturbed utility maximizer)**로 공식화합니다. 이 유형의 에이전트는 엄격하게 볼록한 정규화 항 (예: 엔트로피) 을 subject 로 기대 효용을 극대화하며, 확률적 선택과 관찰되지 않은 효용 구성 요소를 허용합니다. 이는 엄격한 기대 효용 극대화보다 더 일반적인 접근법입니다.

이 프레임워크는 이러한 공식화에서 도출된 두 가지 경험적으로 검증 가능한 조건에 의존합니다:

1. 조건부 독립성 (신념 충분성):

   • 가설: 에이전트의 행동이 오직 주관적 신념 $P_S(\theta|x)$에 의해 주도된다면, 이 신념을 조건으로 삼을 때 행동 $A$는 실제 결과 $\theta$와 독립적이 되어야 합니다. 형식적으로, $A \perp \theta \mid P_S(\theta|x)$입니다.
   • 검증: 저자들은 비모수적 k-최근접 이웃 조건부 상호 정보 (CMI) 검사를 사용하여 귀무가설 $I(A; \theta \mid p) = 0$을 테스트합니다. 또한, 유도된 신념 $p$를 이미 조건으로 삼은 모델에 행동 $A$를 추가했을 때 실제 결과의 예측력이 얼마나 개선되는지 측정합니다. 행동이 유의미한 추가 예측력을 제공한다면, 그 신념은 충분 통계량이 아닙니다.

2. 순환적 단조성 (행동 유도 신념):

   • 가설: 교란된 효용 극대화자의 경우, 유도된 신념에서 선택 확률로의 매핑은 기대 효용 지수에 대해 순환적으로 단조로워야 합니다. 이진 상태 설정에서는 유도된 양의 상태 확률이 증가함에 따라 해당 상태에서 더 가치 있는 행동을 선택할 확률도 단조롭게 증가해야 함을 의미합니다.
   • 검증: 저자들은 유도된 확률을 구간 (bin) 으로 나누고 각 구간 내의 선택 비율을 추정합니다. 그리고 구간 간 엄격한 단조성을 만족하는 효용 차이 벡터 $d$를 찾기 위해 **부호 마진 선형 계획법 (SignedLP)**을 수립합니다. 양의 통계량 $\hat{\gamma}$는 엄격한 단조성을 나타내고, 음의 값은 위반을 나타냅니다.

이 프레임워크는 실제 기록과 전문가가 구축한 베이지안 네트워크 데이터셋을 사용하여 네 가지 의료 진단 작업 (구조적 심장 질환, 당뇨병, 소아 발열, 영아 울음) 에 적용되었습니다. 이 연구는 오염을 방지하기 위해 별도의 컨텍스트 창에서 신념과 의사결정을 유도함으로써 GPT-5 변형, DeepSeek-R1, Llama-4 등 여러 LLM 계열을 평가했습니다.

주요 기여

• 블랙박스 검증을 위한 공식 프레임워크: 이 논문은 유도된 LLM 신념이 행동과 일관된지 테스트하는 최초의 공식적인 의사결정 이론적 조건을 제시합니다. 특히 이러한 테스트는 에이전트의 효용 함수에 무관하며, 교란된 효용 극대화의 구조에만 의존합니다.
• 필요 및 충분 조건: 저자들은 (명제 5) 조건부 독립성과 순환적 단조성이 유도된 신념을 실제 주관적 확률로 가진 교란된 효용 극대화자에 의해 합리화될 수 있는 관찰된 신념 및 행동 분포에 대해 공동으로 필요충분조건임을 증명합니다.
• 경험적 검증 프로토콜: 이 연구는 이러한 이론적 조건을 CMI 와 SignedLP 와 같은 실제 통계 검정으로 운영화하여 임의의 블랙박스 LLM 에 적용할 수 있도록 했습니다.
• 일관성 유형의 구분: 이 연구는 의사결정 이론적 일관성 (행동을 이끄는 신념) 과 확률론적 일관성 (반복 기대의 법칙과 같은 공리 준수) 을 구분하며, 이들이 별개의 속성임을 보여줍니다.

결과

• 불완전한 충분성: 모든 모델과 데이터셋에 걸쳐 조건부 독립성 검사는 귀무가설을 기각했습니다. 유도된 신념은 충분 통계량이 아니며, 모델의 행동에는 구술된 확률에 포착되지 않은 실제 결과에 대한 잔여 정보가 포함되어 있습니다. 이는 모델이 "말하는 것보다 더 많이 알고 있거나", 의사결정에 관련된 정보가 유도된 신념에 완전히 전달되지 않았음을 시사합니다.
• 단조성 유지 (대부분): 순환적 단조성 검사는 대부분의 모델 - 데이터셋 조합에서 유도된 신념과 행동 간의 관계가 단조적임을 보여줍니다. 구체적으로, 16 개 조합 중 9 개는 엄격한 단조성 (양의 $\hat{\gamma}$) 을 보였으며, 단 하나 (Fever–Llama) 만 위반을 보였습니다. 이는 신념이 완벽하게 충분하지는 않지만, 일반적으로 의사결정을 올바른 방향으로 이끈다는 것을 나타냅니다.
• 모델 및 도메인 변동성:
  • 최강 모델: 가장 강력한 모델 (예: DeepSeek-R1, GPT-High) 은 신념과 행동 간의 차이가 가장 작아, 일관된 신념을 가진 에이전트와 관측적으로 더 가깝습니다.
  • 도메인 효과: 당뇨병 데이터셋은 가장 약한 단조성을 보였으며, 어떤 모델도 엄격한 양의 마진을 보이지 않았습니다.
• 보정은 충분성을 해결하지 못함: 유도된 신념에 등적 보정 (isotonic calibration) 을 적용하면 주변 보정은 개선되었으나 조건부 독립성은 회복되지 않았습니다. 이는 충분성 실패가 단순한 보정 문제가 아니라 구조적임을 확인시켜 줍니다.
• 내적 일관성: 반복 기대의 법칙 (LIE) 을 사용한 테스트는 확률론적 일관성 (확률 공리 준수) 이 반드시 의사결정 이론적 일관성과 일치하지 않음을 드러냈습니다. 의사결정 일관성 테스트에서 잘 수행된 모델이 반드시 확률론적 일관성 테스트에서도 잘 수행된 것은 아닙니다.

중요성 및 주장

이 논문은 LLM 에서 유도된 확률이 의사결정 관련 정보에 대한 불완전하지만 행동적으로 정보적인 요약이라고 주장합니다. 저자들은 모델이 완벽하게 일관된 신념을 가진 것처럼 행동하지는 않는다는 점 (충분성 실패로 입증됨) 을 인정하면서도, 최첨단 모델의 경우 이러한 편차가 상대적으로 작다고 주장합니다.

이 연구의 중요성은 LLM 의 구두 신뢰도가 의사결정에 대한 신뢰할 수 있는 설명인지 검증할 수 있는 원칙적인 블랙박스 방법을 제공한다는 데 있습니다. 이는 의료와 같은 고위험 환경에서의 안전성과 투명성에 중요합니다. 저자들은 그들의 테스트가 철학적 의미에서 모델이 "진짜" 신념을 가졌음을 증명하는 것이 아니라, 해당 신념을 가진 합리적 에이전트와 관측적으로 구별 불가능함을 보여준다고 강조합니다. 따라서 이 논문은 유도된 신념이 모델 신념을 충실히 반영한다고 가정하기보다는 경험적으로 검증되어야 한다고 결론 내리며, 개발자가 실패 모드 (예: 의료 에이전트의 과신과 비용 인식 문제 구분) 를 이해할 수 있는 진단 도구를 제공합니다.