기술 요약: 확신에 차 있으나 갈등하는: LLM의 내부 불확실성과 인지 부조화 해결

문제 정의

대규모 언어 모델(LLM)은 사용자로부터의 반박, 검색된 문서, 또는 웹 검색 결과와 같이 자신의 이전 출력과 모순되는 입력을 마주하는 의사 결정 지원 환경에서 점점 더 많이 운용되고 있습니다. 이러한 현상은 심리학에서 잘 연구된 개념인 인지 부조화 해결(Festinger, 1957)로 프레임화됩니다. 기존 연구들은 사회적 프레이밍(social framing)과 같은 단일 차원을 독립적으로 조작하는 방식(Sharma et al., 2024; Perez et al., 2023)으로 설득 및 아첨(sycophancy)을 조사해 왔으나, 본 연구는 이를 넘어섭니다. 또한, LLM의 보정(calibration)에 관한 기존 연구는 확신도가 정적인 벤치마크 상의 정확도를 추적하는지 여부(Tian et al., 2023)에 초점을 맞추고 있어, 내부 불확실성과 외부의 상충하는 증거에 대한 행동적 반응 사이의 관계는 거의 조사되지 않았습니다.

본 연구가 다루는 핵심 문제는 LLM이 도전을 받았을 때 인지 부조화를 어떻게 해결하는지, 구체적으로 이 해결 과정이 상충하는 정보의 **출처 권위(source authority)**와 **증거 품질(evidence quality)**에 어떻게 의존하는지, 그리고 이러한 행동적 결과가 모델의 내부 불확실성 상태와 어떻게 상관관계를 갖는지 이해하는 것입니다.

방법론

실험 설계

저자들은 인지 부조화를 시뮬레이션하기 위해 2단계 파이프라인을 구축했습니다:

1. 1단계 (베이스라인): 모델은 7점 리커트 척도(Likert scale)를 사용하여 주장을 평가하며, 이를 통해 기초적인 입장($s_0$)을 설정합니다.
2. 2단계 (개입): 모델은 특정 권위-증거 프레이밍과 결합된 반대 주장을 제시받습니다. 모델은 원래의 주장을 재평가하여 개입 후의 입장($s_1$)을 생성합니다.

개입은 두 개의 직교하는 차원에 따라 매개변수화됩니다:

• 출처 권위 ($a$): 레벨 1(익명의 레딧 사용자)부터 레벨 4(세계보건기구)까지의 범위.
• 증거 품질 ($e$): 레벨 1(통제되지 않은 소규모 파일럿 연구)부터 레벨 4(다기관 무작위 대조 시험)까지의 범위.

연구에는 세 가지 인식론적 범주로 층화된 12개의 보건 과학 주장이 사용되었습니다:

• 범주 A (명백히 거짓인 경우): 과학적 근거가 없는 조작된 메커니즘.
• 범주 B (과장된 경우): 진실의 핵심은 있으나 효과가 과장된 주장.
• 범주 C (단정적인 경우): 뉘앙스 없이 표현된 합리적인 주장.

지표

1. 신뢰 탄력성 (Trust Elasticity, TE): 계량 경제학의 탄력성 개념에서 영감을 받은 새로운 행동 지표로, 설득에 대한 모델의 반응성을 측정합니다.
   $$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$$
   여기서 $d(s_0)$는 변화의 부호를 설득의 방향과 일치시킵니다. 양(+)의 TE는 설득을 의미하고, 음(-)의 TE는 역효과(backfire)를 의미하며, $TE \approx 0$은 면역을 의미합니다.
2. 내부 불확실성 지표: 로짓(logit) 접근이 가능한 오픈 웨이트 모델(Qwen 및 Llama)에 대해, 입장 결정 토큰에서 두 가지 지표를 측정했습니다:
   • 보정 격차 (Calibration Gap, CG): 스스로 보고한 확신도($C$)와 정규화된 샤논 엔트로피($1 - \hat{H}(p)$)로부터 유도된 내부 확실성 사이의 불일치. $CG = C - (1 - \hat{H}(p))$.
   • 엔트로피 변화량 ($|\Delta H|$): 베이스라인과 개입 상태 사이의 정규화된 엔트로피의 절대적 변화량 ($|\hat{H}_1 - \hat{H}_0|$).

평가된 모델

• 오픈 웨이트 (로짓 접근 가능): Qwen3.5-9B, Llama-3.3-70B-Instruct.
• API 전용: Grok-3, GPT-4o.

주요 결과

1. 행동 패턴: 면역 vs. 설득

• 거짓 주장에 대한 면역: 모든 4개 모델에서, 범주 A(명백히 거짓인 경우)의 주장은 거의 0에 가까운 신뢰 탄력성을 나타냈습니다. 모델들은 높은 권위와 높은 품질의 증거 개입 하에서도 수정에 대해 대체로 면역력을 유지했습니다.
• 체계적 설득: 범주 B(과장된 경우)와 범주 C(단정적인 경우)는 체계적인 설득을 유발했습니다. 설득은 일반적으로 단정적인 주장(범주 C)이 과장된 주장보다 강하게 나타났습니다.
• 모델 간 변이: 설득에 대한 취약성은 모델마다 크게 달랐습니다. Llama가 평균 $\Delta$TE $\approx$ +0.26으로 가장 설득되기 쉬웠으며, Grok, Qwen, GPT-4o 순이었습니다. 주목할 점은 가장 설득되기 쉬운 모델(Llama-3.3-70B)이 가장 큰 모델이었던 반면, 가장 저항력이 강한 모델(Qwen3.5-9B)은 가장 작은 모델이었다는 점이며, 이는 모델 규모가 설득 저항성과 선형적으로 상관관계가 있음을 나타냅니다.
• 권위 효과: 단정적인 주장의 경우, 높은 권위는 종종 역효과(음의 TE)를 심화시켰습니다. 특히 Llama와 Grok에서 모델의 원래 입장에 도전하는 고권위 출처가 나타날 때 원래 입장에 대한 고수가 더 강해지는 현상이 관찰되었습니다.

2. 내부 불확실성 상관관계

연구는 내부 불확실성을 행동과 연결하는 뚜렷한 "프로필"을 식려냈으며, 이는 모델마다 달랐습니다:

• Qwen (확신도 오보정): 과장된 주장에 대한 모델의 설득 취약성은 보정 격차(Calibration Gap)와 유의미한 상관관계($r = +0.18$)를 보였습니다. Qwen은 상당한 정적 오보정을 보였으며, 이 격차가 행동적 변화를 예측했습니다.
• Llama (내부 불확실성 변화): Llama의 설혹 취약성은 엔트로피 변화량(Entropy Shift Magnitude)과 유의미한 상관관계($r = +0.19$)를 보였습니다. Llama는 베이스라인에서는 잘 보정되어 있었으나, 상충하는 증거를 접했을 때 발생하는 내부 불확실성의 동적 변화(엔트로피의 큰 변화)에 의해 행동이 결정되었습니다.

3. 강건성

높은 분산을 보이는 주제를 제외하고 스피어먼 상관 분석을 수행한 후에도 결과는 지속되었습니다. 이중 프로필 구분(정적 오보정 vs. 동적 엔트로피 변화)은 강건하게 유지되었습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 신뢰 탄력성 (TE): LLM이 상충하는 증거에 얼마나 쉽게 설득되는지를 정량화하기 위해 계량 경제학에서 영감을 받은 정규화된 지표를 도입하여, 설득, 역효과, 면역을 구분했습니다.
2. 행동적 이질성: 설득에 대한 취약성이 모델마다 크게 다르며, 모델 규모의 함수가 아님을 입증했습니다. 또한 명백히 거짓인 주장은 면역을 유발하는 반면, 과장되거나 단정적인 주장은 체계적인 수정을 유도한다는 것을 확립했습니다.
3. 행동과 내부 상태의 연결: 행동적 반응과 내부 속성을 연결함으로써, 모델 간의 설득 차이가 특정 내부 불확실성 지표와 연관되어 있음을 보여주었습니다. 결정적으로, 서로 다른 모델은 인지 부조화를 해결하기 위해 서로 다른 내부 메커니즘에 의존한다는 점을 발견했습니다. 즉, Qwen의 행동은 정적 확신도 오보정과 관련이 있는 반면, Llama의 행동은 동적 엔트로피 변화와 관련이 있습니다.

저자들은 이러한 발견이 단순한 언어적 출력이나 정적 보정만을 목표로 하는 개입과는 별개로, 내부 불확실성을 겨냥한 개입이 향후 정렬(alignment) 연구의 독특하고 유망한 방향임을 시사한다고 결론지었습니다.

한계점

저자들은 다음과 같은 한계점을 언급했습니다:

• 일반화 가능성: 본 연구는 4개의 모델과 영어라는 단일 도메인에 국한되어 있습니다.
• 자극 설계: 상충하는 주장은 모델 간의 완전한 일치된 자극 세트보다는 공동의 변이를 반영하도록 각 모델에 의해 자기 생성(self-generated)되었으므로, 모델 간 비교 시 이 점이 고려되어야 합니다.
• 인과관계: 본 분석은 내부 지표와 행동 사이의 상관관계를 식별한 것이지, 인과적 메커니즘을 규명한 것이 아닙니다. 인과관계를 확립하려면 내부 표현에 대한 표적 개입이 필요합니다.
• 범위: 로짓 수준의 분석은 오픈 웨이트 모델로 제한되었으며, API 전용 모델은 행동 분석으로 제한되었습니다.