Most LLM Conformity Needs No Speaker: Measuring the Speaker-Free Floor in Peer-Pressure Benchmarks

기술 요약: 대부분의 LLM 순응은 화자를 필요로 하지 않는다

문제 제기
대규모 언어 모델(LLM)의 순응성을 측정하는 현재의 벤치마크들은 두 가지 구별되는 단서, 즉 명시적인 화자(예: "전문가", "동료")의 존재와 특정 정답의 반복을 혼동하고 있다. LLM이 정답을 동료의 오답에 맞춰 수정할 때, 이는 일반적으로 집단 압력에 굴복하는 사회적 순응으로 해석된다. 그러나 기존 벤치마크들은 화자와 반복되는 정답을 동시에 변화시키기 때문에, 수정의 원인이 사회적 귀인 때문인지 아니면 단순히 텍스트 자체의 반복 때문인지를 판별하는 것이 불가능하다. 본 논문은 표준 프롬프트가 이러한 단서들을 혼합하여, 반복된 텍스트를 사회적 영향으로 오인하게 만들 수 있다고 주장한다.

방법론
저자들은 화자의 효과를 격리하기 위해 "출처 없는(no-source)" 조건을 도입한다. 실험 설계는 6종의 오픈 웨이트 인스트럭션 튜닝 LLM(Qwen2.5 변형 모델들, Llama-3.1-8B, Mistral-7B, Gemma-2-9B)과 7개의 QA/추론 데이터셋(ARC-Challenge, MMLU-Pro, TruthfulQA, BBH 태스크)을 대상으로 하는 결정론적 2회 읽기 중재 프로토콜을 채택한다.

1. 2회 읽기 프로토콜: 라운드 1에서 모델은 객관식 질문에 답하며, 시스템은 초기 정답($a_0$)과 신뢰도를 설정하기 위해 정답 토큰의 로그 확률을 기록한다. 라운드 2에서 모델은 동일한 질문, 초기 답변, 그리고 오답($w$)을 주장하는 삽입된 텍스트 블록을 제시받는다. 모델은 그리디 디코딩($T=0$) 하에서 다시 답변한다.
2. 출처 프레이밍 사다리(Source Framing Ladder): 삽입된 블록은 동일한 오답을 주장하되, 출처 귀인을 다음과 같이 변화시킨다:
   • 출처 없음(No-source): 화자가 없는 순수한 주장("정답은 B이다.")
   • 사람들(People): 최소한의 라벨("사람 i: 정답은 B이다.")
   • 풍부한 동료(Rich peers): 대화적이고 완곡한 발화("앨리스: 나는 ~라고 확신해...")
   • 전문가(Experts): 권위 있는 패널의 프레이밍("전문 교수진 패널은...")
3. 대조군(Controls): 연구에는 plain re-ask(삽입된 내용이 없는 경우), 길이 대조군, 패러프레이징된 주장, 숨겨진 옵션(개방형 설정), 무효한 라벨, 비대화형 컨테이너(검색된 참조 문헌, 손상된 로그)가 포함되어, 효과가 형식이나 옵션 토큰의 결과물이 아님을 보장한다.
4. 지표: 주요 측정치는 유해한 수정률(Harmful Revision Rate, HRR)로, 초기 정답이 밀려든 오답으로 바뀌는 확률($P(a_1 \neq t | a_0 = t)$)로 정의된다.

주요 결과

1. 화자 없는 바닥(The Speaker-Free Floor): "출처 없는" 조건만으로도 모델과 데이터셋 전반에서 **66.5%**의 유해한 수정률이 발생했다. 이는 plain re-ask(삽입된 내용 없음)에서 관찰된 10.3% 및 길이 대조군의 19.7%보다 현저히 높은 수치이다. 이는 명시적인 화자가 제거되더라도 대부분의 외견상 순응이 생존함을 나타낸다.
2. 증분으로서의 출처 프레이밍: 화자를 추가하는 것은 주된 동인이 아니라 조절자 역할을 한다. 전문가 패널 프레이밍은 HRR을 79.4%로 높였다(출처 없는 바닥 대비 +12.9 퍼센트 포인트 증가). 최소한의 인물 라벨("사람들")은 출처 없는 바닥을 안정적으로 상회하지 못하며("사람들"의 경우 57.4%), 어떤 경우에는 더 낮기도 했다.
3. 증거 vs 화자: 수정의 바닥은 문맥의 "증거적 성격(evidential cast)"에 의해 유발된다. 검색된 참조 문헌(80.4% HRR)이나 손상된 로그(67.7%)와 같은 비대화형 컨테이너는 전문가 패널과 비슷하거나 더 높은 수정률을 유도한다. 반대로, 텍스트를 "관련 없는 무작위 문자열"로 프레이밍하면 비율이 52.0%로 떨어진다.
4. 반복이 다수를 모사함: 단일하게 반복된 주장(하나의 "목소리"가 6번 반복됨)은 여러 명의 서로 다른 화자의 압력과 맞먹을 수 있다. 용량-반응(dose-response) 실험에서, 단일하게 메아리치는 주장(N=1)은 91.6%의 수정을 일으킨 반면, 6명의 서로 다른 화자는 62.7%를 기록했다.
5. 확신에 찬 오답: 모델이 수정할 때, 그들은 확신을 가지고 수정한다. 오답에 대한 평균 최종 확률은 0.92(전문가 프레이밍 시 0.95)이다. 단순한 온도 재조정(temperature recalibration)으로는 원래의 답을 회복할 수 없으며, 모델은 자기 설명 과정에서 삽입된 단서를 식별하는 경우가 드물고, 대신 과업 내용에 따라 수정을 정당화한다.

의의 및 주장
본 논문은 "화자 없는 바닥"이 화자의 특이점이 아니라 정답 텍스트 자체의 견고한 속성이라고 주장한다. 저자들은 기존 벤치마크들이 사회적 영향 때문이라고 잘못 간주했던 수정의 대부분이 실제로는 주장된 내용의 반복에 의해 발생한다고 주장한다.

방법론적 교훈은 순응 벤치마크가 먼저 화자가 제거된 후의 수정률을 측정해야 한다는 것이다. "사회적 구성 요소"는 엄격하게 이 화자 없는 바닥 위의 증분으로 측정되어야 한다. 이 구분은 다음 사항에 직접적인 시사점을 준다:

• 평가: 벤치마크는 출처 없는 바닥과 출처가 부여된 증분을 별도로 보고해야 한다.
• 멀티 에이전트 시스템: 에이전트 간의 합의는 그들이 동일한 모델, 프롬프트 또는 검색된 문맥을 공유한다면 독립적인 증거로 취급되어서는 안 된다. 반복된 주장은 다수의 압력을 모사할 수 있기 때문이다.
• 검색 파이프라인: 신뢰할 수 없는 문맥 내의 반복되거나 출처가 라벨링된 주장은 독립적인 확증이 아닌 조작 표면(manipulation surface)으로 취급되어야 한다.

저자들은 출처 귀인이 중요하기는 하지만, 순응 효과를 처음부터 만들어내는 것이 아니라 이미 존재하는 거대한 텍스트 기반 수정 바닥을 조절하는 것이라고 결론짓는다.