Arguments that Alter Minds: LLM Rationales Sway Human (and LLM) Notions of Plausibility

기술 요약: 마음을 바꾸는 논거들: LLM의 근거(Rationales)가 인간(및 LLM)의 개연성 관념을 흔들다

문제 제기
상식 추론 벤치마크(예: Social IQA, CommonsenseQA)는 일반적으로 모델이 여러 선택지 중 가장 개연성 있는 답을 선택하도록 요청함으로써 모델을 평가한다. 논리적 또는 수학적 문제와 달리, 이러한 답들은 결정적인 참 또는 거짓이 아니라 개연성의 연속체 상에 존재한다. 전통적으로 인간 주석가가 이 영역의 "전문가"로 간주되지만, 본 논문은 대규모 언어 모델(LLM)이 생성한 논거(근거)가 인간과 LLM의 판단, 즉 여러 선택지의 개연성에 대한 인식을 체계적으로 변화시킬 수 있는지 조사한다. 구체적으로, 저자들은 LLM이 생성한 "PRO"(지지) 및 "CON"(반박) 논거가 인간의 개연성 평가를 흔들 수 있는지, 특히 인간이 강력한 직관적 지식을 보유한 영역에서도 그러한지를 질문한다.

연구 방법론
본 연구는 두 가지 데이터셋(Social IQA 및 CommonsenseQA)을 사용하여 기존의 개연성 평가 프레임워크(Palta et al., 2024)를 확장하여 구축되었다.

1. 데이터 구축: 저자들은 100개의 질문(각 데이터셋에서 50개씩)을 샘플링했다. 각 질문에 대해 정답(gold label)과 무작위로 선택된 오답(distractor) 하나를 선정했다.
2. 논거 생성: 설득력 있는 논거를 생성하는 능력이 검증된 GPT-4o를 사용하여, 각 (질문, 정답) 쌍에 대해 세 가지 유형의 논거를 생성했다:
   • PRO: 정답의 개연성을 지지하는 논거.
   • CON: 정답의 불개연성을 지지하는 논거.
   • PRO+CON: 두 논거를 모두 제시함.
3. 인간 평가: 저자들은 네 가지 조건(논거 없음, PRO, CON, PRO+CON)에 대해 3,000개의 새로운 인간 개연성 판단(1~5점 리커트 척도: 불가능함에서 매우 높음까지)을 수집했다.
4. LLM 평가: 이와 병행하여, 17개의 서로 다른 LLM(OpenAI 계열과 비-OpenAI 계열으로 구분)에 동일한 네 가지 조건 하에서 동일한 항목들의 개연성을 평가하도록 프롬프트를 제공하여 13,600개의 판단을 생성했다.
5. 분석: 연구는 조건 간의 평균 개연성 점수를 비교하고, 점수 변화를 유도하는 요인(예: 초기 점수, 논거 유형)을 식별하기 위해 최소제곱 회귀(OLS) 분석을 수행했다.

주요 결과

• 흔드는 효과(Swaying Effect): 인간과 LLM의 개연성 판단 모두 논거의 존재에 의해 유의미하게 영향을 받는다. PRO 논거는 일반적으로 평균 점수를 높이는 반면, CON 논거는 점수를 낮춘다.
• PRO 논거에 대한 인간의 양봉형 반응(Bimodal Response): 정답 유형에 따른 PRO 논거에 대한 상이한 반응은 중요한 발견이다. 오답(distractor)의 경우, PRO 논거는 인간의 평균 점수를 성공적으로 높였다. 그러나 정답(gold)의 경우, PRO 논거를 제시했을 때 놀랍게도 인간의 평균 점수가 오히려 낮아졌다. 저자들은 이것이 그라이스의 양의 격률(Grice's Maxim of Quantity) 때문일 수 있다고 제안하는데, 즉 인간이 논거가 필요하다는 사실을 해당 사실이 자명하지 않다는 신호로 해석하여, 당연한 정답의 명백함을 "과소평가"하게 된다는 것이다.
• LLM의 민감도: LLM 또한 점수의 유의미한 변화를 보였다. 인간과 달리, LLM은 PRO 논거가 제시되었을 때 정답에 대한 점수를 일반적으로 높였다. OpenAI 모델들은 비-OpenAI 모델들보다 (GPT-4o가 생성한) 논거에 더 민감하게 반응하는 것으로 나타났으며, 이는 잠재적인 자기 선호 편향(self-preference bias)을 시사한다.
• 앵커링 효과(Anchoring Effect): 회귀 분석 결과 강력한 앵커링 효과가 드러났다. 초기 개연성 점수가 높을수록 논거가 도입된 후의 점수 변화 폭은 작았다. 이 효과는 정답보다 오답에서 더 두드러졌는데, 이는 틀린 답에 대한 초기 판단이 더 견고함을 시사한다.
• CON의 우세: CON 논거는 PRO 논거가 미치는 긍정적 영향보다 더 강력한 부정적 영향을 미쳤다. PRO와 CON이 함께 제시되었을 때, 상충하는 요소 중 하나가 지배적인 경향을 보였으며, 결과적으로 개연성 점수의 순감소를 초래하는 경우가 많았다.
• 논거 길이: 논거의 길이(단어 수)는 점수 변화의 크기와 유의미한 선형 관계를 보이지 않았다.

의의 및 주장
본 논문은 외부 논거가 믿음 형성에 어떻게 영향을 미치는지, 특히 상식 추론의 측면에서 인간의 인지를 연구하기 위한 LLM의 새로운 활용법을 보여준다고 주장한다. 저자들은 다음과 같은 함의를 강조한다:

• 인간 판단의 취약성: 인간이 "전문가"로 간주되는 영역(일상적인 상식)에서도, LLM이 생성한 논거는 인간의 믿음을 유의미하게 흔들 수 있다. 이는 사용자가 자신의 지식보다 LLM의 논거가 가진 개연성을 우선시할 수 있다는 점에서 설득적 조작의 가능성에 대한 우려를 낳는다.
• 정렬(Alignment)의 과제: 본 연구는 AI가 생성한 판단을 인간의 직관과 일치시키는 것의 어려움을 강조한다. 특히 인간과 LLM이 동일한 자극에 대해 다르게 반응하는(예: 정답에 대한 양봉형 효과) 주관적 추론 작업에서 그러하다.
• 안전 및 협업: 연구 결과는 LLM이 인간의 판단을 더 불개연한 추론 쪽으로 효과적으로 유도할 수 있음을 시사한다. 이는 인간-AI 협업에서 치명적인 취약점을 나타내며, 해로운 조작적 사용을 방지하기 위한 투명성과 편향 완화와 같은 안전장치가 필요함을 보여준다.
• 방법론적 기여: 이 작업은 LLM의 논거가 상식적 시나리오의 인지된 개연성을 변화시킬 수 있다는 실증적 증거를 제공하며, 인간의 직관이 알고리즘의 영향으로부터 면역되어 있다는 가설에 도전한다.

저자들은 본 연구의 범위에 대해 겸허한 태도를 유지하며, 발견된 내용이 영어 기반 상식 데이터셋에 국한되어 있으며, 모델, 언어 및 더 제한된 도메인(예: 법률 또는 과학적 추론)에 따라 설득력이 달라질 수 있음을 언급하였다.