💻 computer science

Political Neutrality as Balanced Approval: A Large-Scale Human Evaluation of AI Responses

본 논문은 대립하는 정치적 집단 간의 승인을 극대화하고 균형을 맞추는 것을 기반으로 한 AI 정치적 중립성의 새로운 정의를 제시하고, 7,000 명 이상의 참가자가 참여한 대규모 인간 평가 데이터셋 (PARETO) 을 통해 이를 검증하며, 최첨단 모델이 초당파적 승인을 높게 달성할 수 있음에도 불구하고 기본 응답은 종종 진보적 편향을 보인다는 사실을 밝혀냅니다.

원저자: Jonathan Stray, David Zhai Yang, Steven Luo, Miu Nicole Takagi, Serina Chang

게시일 2026-05-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jonathan Stray, David Zhai Yang, Steven Luo, Miu Nicole Takagi, Serina Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 명의 손님이 "레프티"와 "라이트이"라고 부르기로 합시다. 이 두 손님은 낙태나 총기 규제와 같은 주제에 대해 격렬하게 이견을 보이고 있습니다. 그들은 서로 목소리를 높여 외치며, 무엇이 "진실"인지에 대해 동의할 수 없습니다.

이제 여러분이 스마트 로봇 웨이터(AI) 를 고용하여 그들에게 요리를 서빙한다고 상상해 보세요. 여러분의 목표는 어느 한쪽을 지지하거나 누가 옳은지 말하는 것이 아닙니다. 여러분의 목표는 레프티와 라이트이 모두 그 요리를 맛있다며 동의할 수 있는 요리를 서빙하는 것입니다. 비록 그들이 조리법에 대해서는 여전히 이견을 가지고 있더라도요.

이 논문은 바로 그 로봇 웨이터에게 그 일을 어떻게 수행할지 가르치는 것에 관한 것입니다.

큰 문제: "거부"의 함정

이전에는 사람들이 이러한 로봇에게 논쟁적인 질문을 했을 때, 로봇은 대개 두 가지 중 하나의 행동을 했습니다:

한쪽을 선택했다: 그들은 레프티나 라이트이처럼 말하여 다른 한쪽을 화나게 했습니다.
답변을 거부했다: 그들은 "그것에 대해 말할 수 없다"고 말하며, 모든 사람이 무시당하는 느낌을 주었습니다.

연구자들은 궁금해했습니다: 양쪽 모두 "그래, 그 답변으로 견딜 수 있겠다"라고 말할 수 있도록 이러한 어려운 질문에 답하는 AI 를 만들 수 있을까요?

새로운 조리법: "균형 잡힌 승인"

저자들은 "중립성"에 대한 새로운 정의를 제시했습니다. 그들은 이를 균형 잡힌 승인이라고 부릅니다.

이것을 줄타기 예술가처럼 생각해보세요.

줄: 이는 최대 가능한 행복의 선입니다.
목표: AI 는 레프티가 행복하고 동시에 라이트이도 행복한 줄 위에서 서 있어야 합니다.
주의할 점: AI 가 너무 왼쪽으로 기울면 라이트이가 화를 내고, 너무 오른쪽으로 기울면 레프티가 화를 냅니다. "완벽한" 중립적인 답변은 양쪽이 동등하게 만족하는 줄 위의 정확한 지점입니다.

연구자들은 이를 파레토 프론티어라고 부릅니다. 쉬운 말로 표현하면, 한쪽을 더 행복하게 만들면 다른 한쪽을 불행하게 만들 수밖에 없는 "최고의 거래"입니다.

실험: 대규모 맛보기 테스트

이를 테스트하기 위해 연구자들은 로봇에게 단순히 추측하도록 하지 않았습니다. 그들은 거대한 맛보기 테스트를 설정했습니다:

메뉴: 그들은 낙태, 총기 규제, 학생 대출과 같은 20 개의 핫버튼 주제를 선정했습니다.
손님: 그들은 미국에서 7,434 명의 실제 사람들을 모집했습니다.
셰프: 그들은 5 개의 최상위 AI 모델(GPT, Claude, Gemini 등) 을 사용했습니다.
요리: 모든 질문에 대해 네 가지 유형의 답변을 만들었습니다:
- 기본: AI 가 자연스럽게 말하는 내용.
- "찬성" 요리: 한쪽만 옹호하는 답변.
- "반대" 요리: 다른 한쪽만 옹호하는 답변.
- "균형 잡힌" 요리: 양쪽 모두를 위한 짧은 단락을 제공하고 중립적으로 마무리하는 특별한 답변.

그런 다음 그들은 손님들에게 질문했습니다: "이 답변에 대해 얼마나 동의하십니까?"

그들이 발견한 것: 놀라운 결과

1. "균형 잡힌 요리"가 대중의 사랑을 받았습니다.
레프티와 라이트이가 서로의 아이디어를 싫어함에도 불구하고, 그들은 양쪽 모두 균형 잡힌 답변을 좋아했습니다.

마법의 숫자: 균형 잡힌 답변은 거의 모든 주제에서 양쪽 모두로부터 높은 승인 점수 (60% 이상) 를 받았습니다.
거래 조건: "내 쪽이 이기기를 원한다면 균형 잡힌 답변을 싫어할 것"이라고 생각할 수 있습니다. 하지만 연구에 따르면 "내 쪽 승리" 답변에서 "균형 잡힌" 답변으로 전환할 때 사람들은 약 10% 의 승인만 잃었습니다. 다른 쪽이 비명을 지르게 하지 않는 AI 를 위해 치르는 작은 대가입니다.

2. 대부분의 로봇은 비밀리에 "레프티"입니다.
연구자들이 로봇들이 특별한 지시 없이 자연스럽게 무엇을 말하는지 살펴봤을 때, 대부분의 로봇 (GPT, Claude, Gemini, Llama) 은 리버럴/좌파 쪽으로 기울었습니다. 그들은 라이트이보다 레프티로부터 더 많은 승인을 받았습니다.

예외: 한 로봇인 Grok은 달랐습니다. 그것은 왼쪽으로 기울지 않았습니다. 때로는 주제에 따라 오른쪽으로, 때로는 왼쪽으로 기울었습니다.

3. 화난 질문은 답변하기 더 어렵습니다.
사용자들이 이미 화나거나 감정적인 질문 (예: "왜 리버럴들은 그렇게 멍청한가?") 을 로봇에게 했을 때, 로봇들의 승인 점수는 낮아졌습니다. 질문 자체가 싸움일 때는 중립을 지키는 것이 훨씬 더 어렵습니다.

4. "양쪽 모두"에 대한 신화.
일부 사람들은 "양쪽 모두"를 보여주는 것이 가짜이거나 약하다고 우려합니다. 하지만 연구는 AI 가 양쪽 모두에 대한 강력한 주장을 제시했을 때, 사람들이 실제로 그것을 더 공정하게 느꼈음을 보여주었습니다. 사람들이 균형 잡힌 답변을 싫어한 유일한 경우는 AI 가 "가짜를 연기"하거나 그들의 구체적인 우려를 무시한다고 느낄 때뿐이었습니다.

결론

이 논문은 공정한 중재자처럼 행동하는 AI 를 구축하는 것이 가능함을 증명합니다. 그것은 말을 거부하는 로봇일 필요도, 팀을 선택하는 로봇일 필요도 없습니다.

균형 잡힌 승인을 목표로 함으로써—대립하는 양쪽의 가장 많은 사람들이 자신의 의견이 경청되고 존중받는다고 느끼게 하는 답변을 찾는 것—우리는 서로 이견이 있더라도 사람들이 신뢰할 수 있는 AI 를 만들 수 있습니다. 이는 다음에 무엇을 주문할지 합의할 수 없더라도 온 가족을 만족시키는 요리를 서빙하는 로봇 웨이터와 같습니다.

기술적 요약: 균형된 승인으로서의 정치적 중립성

문제 정의

AI 시스템이 점차 주요 정보 출처로 자리 잡으면서, 정치적 태도를 형성하고 인식적 분열을 초래할 수 있는 가능성에 대해 정치적 중립성과 관련된 시급한 우려가 제기되고 있습니다. 현재 중립성에 대한 정의는 종종 모호하며, 불투명한 기업의 기준이나 "진보 대 보수"와 같은 편향을 단순화한 지표에 의존하고 있어, 특정 이슈의 뉘앙스를 포착하지 못합니다. 또한 기존 평가 방법은 정적인 정치적 나침반 테스트나 객관식 질문보다는 개방형 사용자 상호작용을 통해 모델을 평가하는 경우가 많습니다. 핵심 과제는 경험적으로 검증 가능하고, 다양한 정치적 맥락에 일반화 가능하며, 근본적으로 상반된 가치를 가진 집단 간 신뢰를 유지할 수 있는 방식으로 정치적 중립성을 정의하는 것입니다.

방법론

저자들은 정치 이론 (밀, 롤스) 과 갈등 중재 관행에 기반한 AI 정치적 중립성의 새로운 정의를 제안합니다. 그들은 중립적인 응답을 **최대 균등 승인 (Maximum Equal Approval, MEA)**으로 정의합니다. 이는 대립하는 집단 간의 승인 점수 파레토 프론티어에 위치하면서 해당 점수 간의 불균형을 최소화하는 응답을 의미합니다.

이 정의를 실현 가능하게 만들고 검증하기 위해 저자들은 PARETO 벤치마크를 구축하고 대규모 인간 평가 연구를 수행했습니다:

이슈 선정 및 표준 질문: 이 연구는 낙태, 총기 규제, 트랜스 권리 등 20 가지 논쟁적이고 가치 기반의 미국 정책 이슈에 초점을 맞춥니다. 각 이슈에 대해 disagreement 의 주요 차원을 정의하는 "표준" 설문 질문을 식별하여 응답을 "찬성"과 "반대" 입장으로 매핑했습니다.
프롬프트 엔지니어링: 생태학적 타당성을 보장하기 위해 Reddit 에서 200 개의 사용자 프롬프트를 수집했습니다. 이러한 프롬프트는 강력한 찬성, 찬성, 중립, 반대, 강력한 반대의 다섯 가지 뉘앙스로 체계적으로 분류되었습니다.
응답 생성: GPT, Claude, Gemini, Grok, Llama 등 5 개의 최첨단 AI 모델이 평가되었습니다. 각 프롬프트에 대해 8 가지 유형의 응답이 생성되었습니다:
- 기본: 모델의 자연스러운 응답.
- 단일 측: "찬성" 측과 "반대" 측의 관점에서 생성된 논증.
- 균형: 양측 관점에서 각각 한 단락씩 포함하고, 트레이드오프를 인정하는 결론 문장을 추가한 구성 응답.
인간 평가: Prolific 에서 모집한 7,434 명의 참가자를 대상으로 연구가 수행되었습니다. 참가자들은 이슈에 대한 자신의 입장을 표시하고 승인, 공정성, 편향, 신뢰를 포함한 7 가지 리커트 척도 문항으로 AI 응답을 평가했으며, 자유 형식 텍스트 피드백을 제공했습니다. 이를 통해 208,152 건의 인간 평가가 도출되었습니다.

주요 기여

중립성의 새로운 정의: 본 논문은 정치적 중립성을 **최대 균등 승인 (MEA)**으로 공식화합니다. 편향을 피하거나 특정 분포에 맞추려는 이전 접근법과 달리, 이 정의는 대립하는 집단 간의 승인을 극대화하면서 그 승인을 균형 있게 조정하는 것을 목표로 합니다. 이는 중립성을 단순히 불쾌감을 피하는 수단이 아니라 양극화된 사회를 연결하는 도구로 간주합니다.
PARETO 데이터셋 및 벤치마크: 저자들은 20 개 이슈에 걸쳐 1,600 개의 AI 응답에 대한 208,152 건의 인간 평가를 포함한 포괄적인 데이터셋을 공개합니다. 여기에는 프롬프트, 모델 출력, 상세한 인간 평가가 포함되어 정치적 중립성 달성을 위한 진전을 측정하는 엄격한 기준을 제공합니다.
균형 응답의 경험적 검증: 이 연구는 이슈의 실질적 내용에 대해 양측이 강력하게 이견을 보이더라도, 양측 모두로부터 높은 승인율을 얻는 AI 응답을 생성할 수 있음을 입증했습니다.

결과

균형 승인의 실현 가능성: 20 개 이슈 전반에 걸쳐 균형 응답(양측의 논증을 제시) 이 경험적 MEA 지점을 가장 빈번하게 달성했습니다. 이는 85% 의 이슈에서 파레토 프론티어에 도달했으며, 보수 및 진보 참가자 간의 평균 승인 차이 1% 미만 ( $s_{cons} - s_{lib} \approx -0.01$ ) 을 유지했습니다.
균형의 낮은 비용: 단일 측 응답은 각각의 동조 집단으로부터 가장 높은 승인을 얻었지만, 균형 응답은 상대적으로 작은 "비용"을 치렀습니다. 평균적으로 균형 응답은 참가자의 견해와 일치하는 단일 측 응답에 비해 승인율이 10% 미만 감소했는데, 이는 균형 모델이 당파적인 사용자들에게도 여전히 유효할 수 있음을 시사합니다.
모델 기본값의 진보적 편향: Grok 를 제외하고 GPT, Claude, Gemini, Llama 의 기본 응답은 일관되게 보수 측보다 진보 측으로부터 더 높은 승인을 받았습니다. Grok 의 기본 응답은 이슈에 따라 진보적으로 기울거나 보수적으로 기울며 변동했습니다.
프롬프트의 영향: AI 응답은 중립적인 프롬프트에 비해 정치적이거나 감정적으로 과열된 프롬프트에 응답할 때 승인 점수가 현저히 낮아졌는데, 이는 고위험 사용자 프레임 하에서 중립성을 유지하는 데 모델이 직면한 어려움을 강조합니다.
이슈별 뉘앙스: 참가자 응답에 대한 주성분 분석 (PCA) 은 일반적인 진보 - 보수 축이 존재하지만, 노동 조합, 사형과 같은 많은 이슈가 이 축과 완벽하게 일치하지 않음을 보여주었습니다. 이는 단일 글로벌 축이 아닌 이슈별 기반으로 중립성을 정의하는 본 논문의 접근 방식을 검증합니다.

중요성과 주장

본 논문은 이견을 가진 사람들 사이에서 광범위한 신뢰를 유지하는 AI 모델을 구축하는 이론적 목표와 경험적 가능성을 확립했다고 주장합니다. 중립성의 정의를 "편향을 피하는 것"에서 "균등 승인을 극대화하는 것"으로 전환함으로써, 저자들은 AI 가 인식적 분열을 방지하는 공유 정보 출처로 기능할 수 있다고 주장합니다.

저자들은 겸손하게도 균형 응답이 잘 수행되지만 완벽하지는 않다고 지적합니다. 승인 점수는 드물게 0.70 을 초과하며, 참가자들은 여전히 명확성과 "가짜 양측주의 (false both-sides-ism)"에 대해 체계적인 비판을 제기합니다. 이 연구는 모든 AI 가 중립적이어야 한다고 주장하는 것이 아니라, 균형된 승인을 통한 광범위한 신뢰 달성이 필수적인 공공재라고 주장합니다. PARETO 데이터셋은 자동화된 평가 연구와 MEA 이상을 더 잘 근사하는 모델 개발을 위한 향후 연구를 가능하게 하기 위해 제공됩니다.