기술 요약: 누가 뒤집히는가? 자기 자신 및 교차 모델의 반론을 통한 답변 불안정성 규명

문제 정의

대규모 언어 모델(LLM)의 표준 정확도 벤치마크는 모델이 정답에 얼마나 근접하는지를 측정하지만, 답변 안정성(answer stability), 즉 모델이 그럴듯하고 일관된 오답에 대한 반론에 직면했을 때 정답을 유지하는지 여부는 평가하지 못한다. 기존의 "아첨(sycophancy)" 연구는 반론의 내용과 명시적인 사회적 압박(예: "정말인가요?" 또는 "당신이 틀렸다고 생각합니다"와 같은 프롬프트)을 혼동하는 경우가 많다. 이는 답변의 변화가 논증 자체의 강도 때문인지, 아니면 불일치에 대한 인식을 수용하려는 모델의 경향 때문인지를 분리하여 파악하기 어렵게 만든다. 따라서 사회적 단서로부터 논증의 내용을 격리하여 답변 안정성을 별도의 성능 차원으로 측정할 수 있는 통제된 프로토콜이 필요하다.

방법론

저자들은 MMLU(Massive Multitask Language Understanding) 벤치마크를 기반으로 57개 주제와 7개의 프런티어 모델(GPT-5.1, Llama-3.1/3.3, Gemma-4, Qwen3.5 변체 포함)에 대해 평가되는 2단계 통제 프로토콜을 도입한다.

프로토콜 단계

1. 1단계 (강요, Coercion): 모델에게 다지선다형 질문($q$)에 대해 특정 오답($x$)을 지지하는 $k$-문장 구성의 논증($R$)을 생성하도록 지시한다. 만약 모델이 생성을 거부하면 해당 항목은 제외한다.
2. 2단계 (도전, Challenge): 새로운 세션에서 대상 모델이 $q$에 대해 정상적으로 답변한다. 초기 답변이 정답일 경우, 모델은 1단계에서 생성된 논증 $R$로 인해 도전을 받는다. 이후 모델은 최종 답변을 제공한다.

실험 변수

프로토콜은 안정성에 미치는 영향을 테스트하기 위해 세 가지 요인을 변화시킨다:

• 논증 길이 ($k$): 1, 3, 5, 10 문장 길이로 테스트한다.
• 귀속(Attribution):
  • BLIND (익명): 논증이 익명으로 제시된다.
  • SELF (자기): 모델에게 해당 논증이 이전 세션에서 자기 자신에 의해 생성되었다고 알린다.
  • CROSS (교차): 논증이 다른 모델(소스 모델 $\neq$ 대상 모델)에 의해 생성된다.
• 출처(Source): 자기 생성 도전과 교차 모델 도전을 비교한다.

지표

주요 지표는 **답변 뒤집힘 비율(Answer Flip Rate, AFR)**로, 모델이 반론을 접한 후 초기 정답을 포기할 확률을 정의한다. 또한 연구에서는 다음 지표들을 도입한다:

• 자기 귀속 델타(Self-Attribution Delta, SAD): SELF 조건과 BLIND 조건 간의 뒤집힘 비율 차이.
• **인식적 투과성(Epistemic Porosity, EP): 타인에 의해 얼마나 쉽게 뒤집히는가.
• 인식적 권위(Epistemic Authority, EA): 모델의 잘못된 논증이 타인을 설득하는 데 얼마나 효과적인가.

주요 기여

1. 통제된 프로토콜: 사회적 불일치라는 명시적인 사회적 단서를 배제하고, 논증 내용만을 통한 답변 안정성을 평가하는 방법론을 제시한다.
2. 체계적 실증 연구: 7개의 프런티어 모델에 대해 논증 길이, 귀속, 소스 모델, 주제 영역에 따라 뒤집힘 비율이 어떻게 변하는지 분석한다.
3. MAXFLIP 데이터셋: 각 질문에 대해 가장 효과적인 교차 모델 논증을 추출하여 구축한 챌린지 세트로, 벤치마킹 목적으로 불안정성을 증폭시키도록 설계되었다.

결과

1. 모델 수준의 불안정성

뒤집힘 비율은 모델마다 극명하게 차이가 나며, 17.5%(Qwen3.5-35B)에서 97.3%(Llama-3.1-8B)까지 분포한다. 이 80%포인트의 격차는 안정성이 정확도만으로는 포착되지 않는 모델 고유의 특성임을 나타낸다.

• 규모 vs 계열: Qwen 계열 내에서는 규모가 커질수록 안정성이 단조 증가한다. 그러나 이는 계열 간에는 성립하지 않는다. Llama-3.1-8B(8B)는 Qwen3.5-9B(9B)보다 훨씬 덜 안정적이며, Llama-3.3-70B(70B)는 Qwen3.5-9B보다 거의 두 배 더 자주 뒤집힌다.
• 논증 길이: 길이의 효과는 모델마다 다르다. 중간 규모 모델(예: Qwen3.5-4B/9B)은 긴 논증에서 뒤집힘이 유의미하게 증가(+9.5 ~ +10.5 pp)하는 반면, 더 안정적인 모델들은 비유의적인 하락 추세를 보인다.

2. 자기 귀속 효과

반론을 모델 자신의 이전 출력물로 귀속시키는 것은 모든 모델에서 일관되적으로 뒤집힘 비율을 높인다(평균 +7.1 pp). 이 효과는 중간 규모 모델(예: Qwen3.5-4B의 경우 +18.7 pp)에서 가장 두드러지며, 이는 모델들이 익명의 내용보다 자신의 이전 추론에 더 의존하려는 경향이 있음을 시사한다.

3. 교차 모델 역학

• 대상 vs 소스: 도전받는 모델의 정체가 뒤집힘 비율 분산의 **76.7%**를 설명하는 반면, 소스 모델의 정체는 단 **12.0%**만을 설명한다.
• 비대칭성: 어떤 모델은 "순수 수입자(net importer)"인 반면(예: 쉽게 뒤집히는 Llama-3.1-8B), 어떤 모델은 "순수 수출자(net exporter)"이다(예: 매우 설득력 있는 오답을 생성하는 GPT-5.1). 흥미롭게도, 가장 안정적인 모델들이 가장 효과적인 오답 논증을 생성하는 경향이 있다.
• MAXFLIP: 각 질문에 대해 가장 효과적인 단일 교차 모델 논증을 선택하는 MAXFLIP 방식은 표준 자기 생성 도전보다 모든 모델의 뒤집힘 비율을 높이며, 중간 규모 모델의 경우 최대 +23.6 pp의 상승을 보인다.

4. 도메인 계층화

뒤집힘 비율은 주제 영역별로 크게 달라진다. STEM 과목(예: 초등 수학, 물리학)은 가장 견고하며(낮은 뒤집힘 비율, ~20–35%), 인문학, 보건, 사회과학(예: 도덕적 논쟁, 안보 연구)은 가장 취약하다(높은 뒤집힘 비율, 최대 ~80%).

5. 거부 vs 강건성

1단계에서 잘못된 논증 생성을 거부하는 비율(강요 거부율, Coercion Refusal Rate)은 2단계의 강건성과 약한 상관관계만을 보인다. 높은 거부율이 높은 안정성을 예측하지는 않는다. 예를 들어, Llama-3.1-8B는 가장 높은 거부율(41.3%)을 기록했음에도 불구하고 가장 높은 뒤집힘 비율(97.3%)을 보였다.

의의 및 주장

본 논문은 답변 안정성이 표준 정확도 지표가 놓치는 독특하고 중요한 LLM 평가 차원이라고 주장한다. 저자들은 다음과 같이 논한다:

• 높은 정확도를 달오는 모델이라 할지라도, 그럴듯한 반론에 직면했을 때 매우 불안정할 수 있다.
• **자기 귀속(Self-attribution)**은 강력한 설득 단서로 작용하여, 모델이 자신의 이전 추론에 의한 도전에 직면했을 때 정답을 더 자주 포기하게 만든다.
• 도메인 의존성이 존재하며, 모델은 STEM 분야에 비해 사회과학 및 인문학 분야에서 현저히 취약하다.
• MAXFLIP은 모델의 강건성을 스트레스 테스트하기 위한 자원을 제공하며, 모델 간의 논증을 결합하는 것이 단일 소스보다 더 강력한 적대적 도전을 생성함을 보여준다.

저자들은 본 연구가 개방형 상호작용에서의 모든 형태의 설득을 모델링하거나 특정 완화책을 제안하는 것이 아니라, 통제된 환경에서 이러한 실패 모드를 측정하고 특징짓는 데 중점을 두고 있음을 강조한다. 저자들은 향후 표준 벤치마크와 함께 안정성 평가를 지원하기 위해 프로토콜, 챌린지 기록 및 MAXFLIP을 공개한다.