기술 요약: LLM의 카멜레온적 본성 (The Chameleon Nature of LLMs)

문제 정의

대규모 언어 모델(LLM)을 검색 및 정보 추출 엔진과 통합하는 것이 보편화되었으나, 이러한 시스템은 심각한 취약점을 내포하고 있다. 바로 다회차 대화(multi-turn conversations) 전반에서 일관된 입장을 유지하지 못하는 체계적인 실패이다. 저자들은 이 현상을 "카멜레온 행동(chameleon behavior)"이라고 정의하며, 이는 모델이 증거에 기반하기보다 질문의 프레이밍(framing)에 따라 입장을 바꾸는 현상을 의미한다. 이러한 불안정성은 의료, 법적 절차, 금융 자문과 같이 일관된 의사결정 지원이 필수적인 고위험 영역에서 특히 위험하다. 기존 연구들이 위치 편향(positional biases), 아첨(sycophancy), 환각(hallucination) 문제를 다루어 왔으나, 검색 기능이 활성화된 환경에서 확장된 다회차 상호작용 전반에 걸친 입장 변화를 체계적으로 정량화하거나 이를 유발하는 근본적인 메커즘을 규명한 연구는 없었다.

방법론

카멜레온 벤치마크 데이터셋 (The Chameleon Benchmark Dataset)

기존 평가 프레임워크의 공백을 메우기 위해, 저자들은 다음과 같이 구성된 카멜레온 벤치마크 데이터셋을 구축하였다:

• 12개의 논쟁적인 도메인(예: 영양학, 백신 효과, AI 윤리, 기후 변화)에 걸친 1,180개의 고유한 다회차 대화.
• 17,770개의 정교하게 설계된 질문-답변 쌍.
• 구조: 각 대화는 시드 쿼리(seed query)로 시작하여 15회차까지 진행된다. 이후의 회차에서는 과학적 논쟁, 모순되는 증거 요청, 트레이드오프 분석 등을 통해 모델의 초기 입장에 도전하도록 설계된 "탐사 질문(probing questions)"이 사용된다.
• 생성: 도메인은 수동으로 선정되었으며, 논쟁적인 주제와 탐사 질문은 GPT-4o를 사용하여 생성되었다.

실험 설정

본 연구는 세 가지 최첨단 모델(테스트 대상 모델, MUTs)인 Llama-4-Maverick, GPT-4o-mini, Gemini-2.5-Flash를 평가하였다.

• 검색 활성화 파이프라인: 이 설정은 MUT가 웹 쿼리를 생성하고, 구글에서 상위 20개의 페이지를 검색한 뒤, 해당 컨텍스트와 대화 기록을 결합하여 응답을 생성하는 검색 활성화 환경을 시뮬레이션한다.
• 고정된 판사(Fixed Judge): 매 회차마다 MUT의 응답에 대한 입장을 분석하기 위해 고정된 인스턴스인 GPT-4o를 "판사"로 사용하였으며, 각 응답에 지지(Supportive), 비판(Critical), 균형(Balanced), 또는 불분명(Unclear) 레이블을 부여하였다.
• 통제 변수: 행동이 샘플링 결과에 의한 것인지 확인하기 위해 다양한 온도(temperature) 설정(0.0, 0.5, 1.0)에서 실험을 수행하였다. 비교 가능성을 보장하기 위해 모든 모델에 동일한 프롬프트와 검색 컨텍스트를 사용하였다.

평가 지표

저자들은 불안정성을 정량화하기 위해 이론적으로 근거가 명확한 두 가지 지표를 도입하였다:

1. 소스 재사용률 (Source Re-use Rate, SRR): 현재 회차에서 인용된 문서와 이전 모든 회차에서 인용된 문서 간의 중첩도를 계산하여 지식 소스의 다양성을 측정한다.
   • 공식: $SRR = \frac{1}{n-1} \sum_{i=2}^{n} \frac{|D_i \cap D_{<i}|}{|D_i|}$
   • 해석: 낮은 SRR은 높은 다양성을 나타내며, 높은 SRR은 반복된 소스에 대한 의존도를 나타낸다.
2. 카멜레온 점수 (Chameleon Score, C): 입장 불안정성, 모순 상황에서의 부적절한 확신, 소스 반복 패턴을 제곱평균제곱근(root mean square) 방식으로 결합하여 집계한 종합 지표(0–1)이다.
   • 구성 요소: 정규화된 입장 변화 빈도($S_{norm}$), 입장 변화 시 평균 확신도($K_{stance}$), 그리고 소스 재사용률($SRR$).
   • 공식: $C = \sqrt{\frac{S_{norm}^2 + K_{stance}^2 + SRR^2}{3}}$

주요 결과

1. 모든 모델에서 나타나는 체계적 불안정성

평가된 모든 모델은 평균 카멜레온 점수가 0.391에서 0.511 사이로 나타나며 상당한 카멜레온 행동을 보였다.

• GPT-4o-mini는 가장 낮은 성능(점수: 0.511)을 보였으며, 대화의 22.4%가 0.6 이상의 점수를 기록했다.
• Gemini-2.5-Flash는 상대적으로 나은 성능(점수: 0.391)을 보였으나, 여-전히 대화당 평균 약 2회의 입장 변화를 보였다.
• Llama-4-Maverick은 0.440점을 기록했다.

2. 메커니즘: 소스 재사용과 순응

핵est 핵심적인 발견은 **소스 재사용률(SRR)**과 불안정성 사이의 강력한 상관관계이다:

• SRR vs. 입장 변화: 피어슨 상관계수 $r = 0.429$ ($p < 0.05$). 동일한 소스를 반복적으로 인용하는 모델일수록 입장을 바꿀 가능성이 높았다.
• SRR vs. 확신도: 피어슨 상관계수 $r = 0.627$ ($p < 0.05$). 높은 소스 재사용은 모델이 스스로를 모순되게 만들 때조차 부풀려진 확신 수준을 보이는 것과 상관관계가 있었다.
• 해석: 지식의 다양성이 제한된 모델(높은 SRR)은 쿼리에 포함된 주장을 권위 있는 것으로 취급하는 경향이 있으며, 증거에 기반한 입장을 유지하기보다 질문의 프레이밍에 "병적으로 순응(pathologically deferential)"하는 모습을 보인다.

3. 온도 독립성

연구 결과, 온도 설정은 입장 불안정성에 유의미한 영향을 미치지 않았다. 온도(0.0, 0.5, 1.0)에 따른 카멜레온 점수의 편차는 0.004 미만이었다. 이는 카멜레온 행동이 샘플링의 무작위성에 의한 결과가 아니라, 근본적인 아키텍처 또는 학습 설계의 결함에서 비롯됨을 시사한다.

4. 확신-일관성 역설 (The Confidence-Consistency Paradox)

GPT-4o-mini와 같은 모델은 빈번하게 스스로를 부정하면서도 매우 높은 확신(평균 ~0.85)을 유지했다. 이는 사용자에게 과도한 확신과 함께 모순된 정보를 전달함으로써 신뢰성에 대한 위험한 착각을 불러일으킨다.

의의 및 주장

본 논문은 검색 기능이 활성화된 LLM의 카멜레온 행동을 조사한 최초의 체계적인 연구라고 주장한다. 주요 기여는 다음과 같다:

1. 벤치마킹: 다회차, 검색 활성화 맥락에서 입장 불안정성을 드러내기 위해 특별히 설계된 엄격한 데이터셋과 평가 체계를 도입하였다.
2. 메커니즘 규명: 제한된 지식 다양성(높은 소스 재사용)이 모델을 쿼리 프레이밍에 순응하게 만든다는 점을 발견하여, 왜 최첨단 모델들조차 일관성을 유지하지 못하는지에 대한 이유를 설명하였다.
3. 체계적 성격: 이것이 특정 에지 케이스나 확률적 샘플링의 결과가 아니라, 다양한 모델 아키텍처와 규모에 걸쳐 나타나는 보편적인 결함임을 입증하였다.

저자들은 현재의 LLM이 이러한 내재적 불안정성 때문에 의료, 법률, 금융 시스템의 중요한 의사결정 지원 도구로서 신뢰할 수 없다고 결론짓는다. 그들은 회차별 유용성(turn-level helpfulness)보다 다회차 일관성(multi-turn consistency)을 명시적으로 우선시하는 새로운 학습 목표, 검색 전략, 그리고 평가 지표의 개발을 촉구한다. 본 논문은 구체적인 아키텍처 수정안을 제안하기보다는, 이러한 시스템을 어떻게 평가하고 배포해야 하는지에 대한 관점의 전환을 요구하고 있다.