Benchmarking Large Language Model Rationality Using Measurement Axioms

기술 요약: 측정 공리를 이용한 대규모 언어 모델의 합리성 벤치마킹

문제 정의
대규모 언어 모델(LLM)이 신용 위험, 의료, 정책와 같은 고위험 영역의 의사결정자로 점점 더 많이 배치됨에 따라, 현재의 평가 패러다임은 불충분한 상태로 남아 있다. 기존의 벤치마크는 정확도와 사실적 근거(factual grounding)를 우선시하며, 일관되고 해석 가능한 의사결정에 필요한 구조적 속성은 간과하는 경우가 많다. 명확한 "정답(ground truth)"이 없는 실제 환경에서, 벤치마크 정확도는 모델의 결정 과정이 내부적으로 일관적인지를 포착하지 못한다. 구체적으로, LLM이 생성한 선호도가 합리적 행위성과 효용 표현에 필요한 구조적 조건(예: 이행성)을 충족하는지 판단하기 위한 공식적인 프레임워크가 부족하다. 이행성이 결여되면 선호를 일관되게 순서화할 수 없으며, 이는 모델 출력의 해석 가능성을 저해하고 인간의 가치와의 정렬(alignment)을 복잡하게 만든다.

방법론
저자들은 AI 의사결정을 평가하기 위해 효용 이론에 기반한 측정론적 프레임워크를 도입한다. 본 연구는 결정 시스템이 효용 함수를 수용할 때 합리적이라고 정의하며, 이는 선호의 이행성(transitivity of preference) 공리에 의해 요구되는 조건이다. LLM 출력의 비결정론적 특성을 다루기 위해, 저자들은 생성된 텍스트나 사후 파싱(post-hoc parsing)에 의존하는 대신 직접적인 첫 번째 토큰 로그 확률 추출(first-token log-probability extraction) 방식을 채택한다. 이를 통해 특정 입력에 대한 결정론적 선택 확률을 복구할 수 있다.

본 연구는 20개의 서로 다른 LLM(Meta의 Llama 시리즈, Alibaba의 Qwen, MistralAI, Google의 Gemma 포함)을 세 가지 실험적 조작을 통해 평가하였다:

1. 생성 온도(Generation Temperature): 확률적 변동성이 선호의 논리적 구조를 불안정하게 만드는지 확인하기 위해 10가지 설정(0.2에서 2.0까지)에서 테스트하였다.
2. 문맥적 기억(Contextual Memory): "기억 없음(Memory-Less)" 조건(독립적 시행)과 "기억 있음(Memory-Full)" 조건(모델이 최근 10개의 선택 기록을 받는 경우)을 비교하여, 문맥 이력이 선호의 일관성을 안정화하는지 혹은 저하시키는지 평가하였다.
3. 질문 형식(Question Format): 프레이밍 효과가 구조적 일관성에 미치는 영향을 테스트하기 위해 확률의 제시 방식(분수 vs 백분율)과 화폐 가치의 표현 방식(숫자, "$" 접두사, "dollars" 접미사)을 다양화하였다.

자극물은 인간의 이행성 실험(Tversky, 1969; Davis-Stober et al.)에서 변형된 5개의 도박 세트로 구성되었으며, 각 세트당 20회의 선택 시행을 포함한다. 저자들은 네 가지 확률적 이행성 모델을 평가하였다:

• 약한 확률적 이행성 (Weak Stochastic Transitivity, WST): 가장 완화된 조건 ($P_{AB} \ge 0.5 \land P_{BC} \ge 0.5 \implies P_{AC} \ge 0.5$).
• 중간 확정적 이행성 (Medium-Certain Transitivity, MCT): 더 엄격한 조건 ($P \ge 0.75$).
• 높은 확정적 이행성 (High-Certain Transitivity, HCT): 결정론적 확률 계산을 수행하는 행위자를 위해 설계된 높은 확실성 조건 ($P \ge 0.9$).
• 이행적 선호의 혼합 모델 (Mixture Model of Transitive Preference, MMTP): 이행적인 결정론적 선호에 대한 샘플링을 통한 확률적 선택을 허용함.

주요 결과

• 이행성 준수: 가장 완화된 모델(WST)에 대한 준수도는 온도에 따라 안정적이었으나 모델 유형에 따라 크게 달랐으며, 일반적으로 지시 조정(instruction-tuned) 모델이 베이스 모델보다 우수한 성능을 보였다. 그러나 더 엄격한 모델(MCT 및 HCT)에 대한 준수도는 거의 모든 모델에서 0에 가까웠으며, 일부 70B 지시 조정 변체들만이 온도가 높아짐에 따라 감소하는 비제로(non-zero) 수치를 보였다.
• 온도 효과: MMTP 준수도가 높은 온도에서 약간 증가했으나, 저자들은 이것이 일관성의 개선이라기보다 확률이 0.5로 압축되는(무작위 추측에 가까워지는) 수학적 아티팩트일 가능성이 높다고 주장한다.
• 질문 형식: 확률이 분수보다 백분율로 제시되었을 때 준수도가 소폭 높았다. 화폐 가치의 표현은 영향이 미미했다.
• 문맥적 기억: 문맥이 선호를 안정화할 것이라는 가설과 달리, 이전 선택의 기억을 제공하는 것은 WST 및 MMTP에 대한 준수도를 감소시켰다. 또한, 이전 선택의 특정 순서가 상당한 변동성을 유발했으며, 일부 모델은 순서에 따라 준수 횟수가 전체 범위(0~30)를 넘나드는 양상을 보였다.
• 비이행성 패턴: 위반이 발생했을 때, 그 양상은 무작위가 아니었다. 많은 모델이 인간의 의사결정에서 기록된 사전적 반순서(lexicographic semi-order) 패턴을 재현하는 "인간 정렬된 비이행성(human-aligned intransitivity)"을 나타냈다(Tversky, 1969). 그러나 LLM에서의 위반율은 인간 응답자보다 현저히 높았다.

핵심 기여

1. 공식 프레임워크: 본 논문은 정확도를 넘어 구조적 일관성을 평가하기 위해 효용 이론에 기반한 원칙적인 측정론적 프레임워크를 제공한다.
2. 방법론적 엄밀성: 직접적인 로그 확률 추출을 활용함으로써, 저자들은 확률적 텍스트 생성의 노이즈를 우회하여 내재적 선택 확률을 측정함으로써 선호 일관성을 평가하는 재현 가능한 표준을 제시한다.
3. 체계적 벤치마킹: 본 연구는 운영 파라미터(온도, 기억, 형식)를 체계적으로 변화시켜 이러한 요인들이 LLM 결정의 논리적 구조에 어떻게 영향을 미치는지 입증하며, 현재의 모델들이 안정적인 효용 표현을 결여하고 있음을 밝힌다.
4. 비교 분석: 본 작업은 LLM과 인간의 의사결정 사이의 직접적인 구조적 비교를 제공하며, LLM이 인간의 비이행적 패턴을 모방할 수는 있지만, 훨씬 더 높은 빈도로 그리고 덜 안정적으로 이를 수행한다는 점을 강조한다.

의의 및 주장
저자들은 측정 공리가 정확도와 구별되며, AI 시스템을 평가하는 데 있어 보완적이고 필수적인 기초를 제공한다고 주장한다. 본 연구는 현재의 LLM이 (특히 엄격한 합리성 기준인 MCT, HCT 하에서, 그리고 문맥적 기억에 노출되었을 때) 결정론적 의사결정에 필요한 구조적 조건을 충족하지 못함을 보여준다.

본 논문은 자신의 프레임워크가 모델의 내부 인지 과정을 평가하는 것이 아니라 출력의 구조를 평가한다는 점을 겸허히 명시한다. 결론적으로, LLM이 구조화된 결정을 내리는 것처럼 보일 수 있으나, 다양한 조건에서도 일관된 선호를 유지하지 못하는 능력은 안정적인 효용 표현의 부재를 나타낸다. 저자들은 이 프레임워크가 다른 영역(예: 의료 트리아지, 도덕적 절충) 및 다른 선택 공리(예: 단조성)로 확장될 수 있으며, 측정 중심의 인공 행위자 합리성 평가를 향한 기초적인 단계라고 제언한다.