기술 요약: LLM 의사결정에서의 피상적 신념 (Superficial Beliefs)

문제 제기

본 논문은 대규모 언어 모델(LLM)이 체계적인 기저 의사결정 구조를 보유하고 있는지, 아니면 단순히 신념의 언어를 모사하는 것인지에 대해 조사한다. 구체적으로, 본 연구는 LLM의 외적 행동(선택)과 명시적 자기 보고(진술된 이유) 사이의 간극을 다룬다. 저자들은 다음과 같은 질문을 던진다: LLM은 이진 결정 설정에서 속성에 대한 안정적인 신념 유사 우선순위를 보이는가? 만약 그렇다면, 이러한 우선순위는 직접적인 언어적 유도를 통해 접근 가능한가?

슈비츠게벨(Schwitzgebel, 2025)의 "피상주의적(superficialist)" 관점에 기초하여, 본 논문은 신념 귀속이 내부 아키텍처보다는 행동의 안정적인 패턴에 의존해야 한다고 가정한다. 핵심 가설은 LLM의 선택은 "약한 형태의 피상적 신념"을 뒷받지할 만큼 체계적일 수 있지만, 모델이 제공하는 명시적 이유는 실제 선택을 이끄는 동인(driver)을 불완전하게 추적할 수 있다는 것이다.

방법론

벤치마크 설계

저자들은 다음과 같은 구성 요소를 가진 이진 의사결정용 합성 벤치마크를 구축하였다:

• 구조: 4개의 등급 속성(낮음, 중간, 높음)으로 정의된 두 가지 옵션(프로필)으로 구성된 400개의 훈련 문제와 100개의 테스트 소스 문제.
• 테마: 기본 속성은 세 가지 주요 테마(약물, 정책, 소프트웨어)와 두 가지 제어 테마(하나의 속성을 무관한 것으로 대체: 패키징 대칭성 또는 라벨 테두리 두께)에 걸쳐 구현된다.
• 목표: 각 테마에는 특정 최적화 목표가 포함된다 (예: "5년 전체 환자 결과 최적화").
• 변형: 속성 순서에 대한 강건성을 테스트하기 위해 각 문제는 네 가지 프롬프트 순서 변형으로 렌더링된다.
• 샘플링: 일관성을 측정하기 위해 각 프롬프트는 세 번 샘플링된다.

실험 설정

본 연구는 두 가지 설정(비사고(Non-Thinking, NT) 및 사고(Thinking, T))에 걸쳐 네 가지 모델 제품군(GPT-5-mini, GPT-5-nano, Qwen3-14B, Ministral-3-14B)을 평가한다.

세 가지 별도의 평가 스트림이 비교된다:

1. 직접 보고 (Direct Report): 모델에게 옵션을 선택하고 그 선택에 대한 가장 중요한 속성 하나를 진술하도록 유도한다.
2. 점수 기반 판별 (Score-Based Judge): 모델에게 네 가지 속성에 대해 $[0, 1]$ 사이의 결정성 점수를 할당하도록 유도한다. 이 점수들은 속성 차이 방향에 따라 부호가 지정되며, 선택과 "동인"(가장 큰 절대적 부호 기여도를 가진 속성)을 추론하기 위해 합산(signed-sum)된다.
3. 행동 모델 (Behavioural Model): 훈련 세트의 선택들에 대해 이항 로지스틱 회귀를 적합시킨다. 이 모델은 가시적인 속성 차이를 예측 변수로 사용하여 전역 가중치($\beta$)를 학습한다. 테스트 세트에서 이 모델은 선택을 예측하고 "드러난 동인"(모델의 실제 관찰된 선택에 가장 강력하게 기여하는 속성)을 식별한다.

평가 지표

주된 비교 대상은 명시적으로 유도된 동인(직접 보고 및 점수 기반 판별로부터 추출됨)과 행동적으로 추론된 동인(로지스틱 회귀로부터 추출됨)이다. 일치도는 두 수준에서 측정된다:

• 선택 수준: 유도된 방법이 행동 모델과 동일한 옵션을 예측하는가?
• 속성 수준: 유도된 방법이 행동 모델과 동일한 "동인" 속성을 식별하는가?

주요 기여

1. 합성 벤치마크: 의사결정 구조를 의미론적 노이즈로부터 분리하기 위해 등급 속성, 다중 테마 및 제어 변형을 포함하는 통제된 이진 결정 벤치마크를 도입하였다.
2. 운영 방법론: 행동 모델링을 통해 국소적 결정 우선순위를 재구성하고, 이를 명시적 유도 방식(직접 보고 및 점수 기반 판별)과 비교하는 프레임워크를 제시하였다.
3. 실증적 발견: LLM의 선택은 매우 예측 가능하고 구조적이지만, 모델이 제공하는 명시적 이유는 행동적으로 추론된 동인과 부분적으로만 일치한다는 것을 체계적으로 입증하였다.

결과

선택 예측

행동 모델은 모든 테마와 모델에서 홀드아웃(held-out) 선택을 높은 정확도로 예측한다.

• 총체적 정확도: 행동 모델의 예측된 선택와 모델의 관찰된 선택 사이의 일치도는 80.4%이다.
• 점수 기반 판별: 모델의 선택 대상과 71.7%의 일치도를 보인다.
• 제어 테마: 무관한 속성이 드물게 선택됨(<2%)으로써, 모델이 무작위로 선택하는 것이 아니라 의미론적으로 유의미한 구조에 반응하고 있음을 확인하였다.

속성 회복 (핵심 발견)

선택과 진술된 이유 사이에는 유의미한 해리가 존재한다:

• 직접 보고: 모델이 명명한 속성이 행동 모델의 드러난 동인과 일치하는 경우는 **61.0%**뿐이다.
• 점수 기반 판별: 드러난 동인과 61.3% 일치한다.
• 결론: 두 가지 명시적 방법 모두 결정 구조에 대한 부분적인 접근만을 제공한다. 모델이 진술하는 "가장 중요한 속성"은 종종 모델의 선택을 수학적으로 구동하는 속성과 일치하지 않는다.

강건성 및 섭동 (Robustness and Perturbation)

• 재현성: 점수 기반 판별은 직접 보고보다 프롬프트 변형에 대해 더 높은 재현성을 보이지만, 행동적 동인을 더 정확하게 회복하지는 못한다.
• 개입 분석: 표적 차폐(속성을 제거하거나 중립화함)는 행동 모델에서 높게 평가된 속성이 선택과 진술된 속성 모두에 더 큰 변화를 일으킨다는 것을 보여준다. 이는 행동 모델이 모델의 실제 결정 과정에 유의미한 구조를 회복하고 있음을 확인시켜 주지만, 모델 스스로가 이를 명시적으로 설명할 수는 없음을 시사한다.

의의 및 주장

본 논문은 LLM에 대한 **"약한, 결정-국소적 형태의 피상적 신념(weak, decision-local form of superficial belief)"**을 주장한다.

1. 구조적이지만 불투명함: LLM의 결정은 임의적이지 않으며, 속성에 대한 체계적이고 확률적인 국소 구조를 보여주어 정확한 예측을 가능하게 한다. 그러나 이 구조는 모델 자신의 명시적 추론에 완전히 투명하게 공개되지 않는다.
2. 자기 보고의 한계: 명시적 유도(직접 보고 및 점수 기반 판별 모두)는 기저의 결정 동인을 완전히 회복하는 데 실패한다. 모델은 특정 우선순위에 의해 유도되는 것처럼 행동하지만, 이러한 우선순위에 대한 언어적 접근은 제한적이고 불완전하다.
3. 신념에 대한 완만한 주장: 저자들은 LLM이 철학적 의미에서의 "완전히 명시된 신념"을 가지고 있다고 주장하지 않는다. 대신, 증거는 행동이 안정적인 패턴을 보여줌으로써 (피상적 신념의 귀속을 정당화하는) 관점을 지지하지만, 더 강한 주장에 필요한 내부적 일관성이나 자기 인식을 결여하고 있음을 보여준다.
4. 재현성 vs 정렬: 본 연구는 출력의 높은 재현성(예: 점수 기반 판별을 통한)이 반드시 기저의 결정 구조와 더 밀접하게 정렬됨을 의미하는 것은 아님을 강조한다.

결론적으로, 본 논문은 LLM이 안정적인 행동적 성향으로서의 "피상적 신념"을 보여주지만, 이는 그들이 생성하는 명시적 근거와는 구별되는 것이며, 이는 현재의 LLM 아키텍처에서 '행함(doing)'과 '말함(saying)' 사이의 간극을 시사한다고 밝힌다.