💬 NLP

What Do People Actually Want From AI? Mapping Preference Plurality

75개국에 걸친 1,500개의 개방형 응답을 분석함으로써, 본 논문은 "진실성"과 같이 널리 갈망되는 특성조차 서로 다른 사용자들에 의해 상이하고 종종 양립 불가능한 방식으로 정의된다는 사실에서 입증되듯, RLHF와 같은 현재의 AI 정렬 방식이 인간 선호도의 심오한 다원성과 맥락적 뉘앙스를 포착하는 데 실패하고 있음을 밝혀낸다.

원저자: Julia Sepúlveda Coelho, Scott A. Hale

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Julia Sepúlveda Coelho, Scott A. Hale

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 전 세계 모든 사람에게 완벽한 맛을 선사할 거대한 케이크 하나를 굽는다고 상상해 보세요. 당신은 75개국 1,500명의 사람들에게 각자의 조각에 무엇을 담고 싶은지 물었습니다. 그러자 산더미 같은 답변들이 돌아왔습니다. 어떤 이들은 달콤한 것을 원했고, 어떤 이들은 매콤한 것을 원했으며, 어떤 이들은 꽃 모양이기를 바랐고, 또 다른 이들은 로봇 모양이기를 바랐습니다.

이제, 제빵사(AI 기업)가 이 개별적인 의견들을 무시하기로 결정했다고 상상해 보세요. 대신 그들은 "다수결"을 통해 모든 상충하는 욕구들을 하나의 단일한 맛 프로필로 버무려 거대한 케이크 하나를 굽습니다. 그들은 이것을 "정렬(alignment)"이라 부릅니다. 즉, AI가 인간의 가치와 일치하도록 만드는 과정입니다.

이 논문, **"사람들은 실제로 AI로부터 무엇을 원하는가? 선호의 다원성 매핑(What Do People Actually Want From AI? Mapping Preference Plurality)"**은 이러한 "하나의 사이즈로 모두를 맞추려는(one-size-fits-all)" 방식의 케이크가 재앙이 될 것이라고 주장합니다. 저자인 줄리아 세풀베다 코엘료(Julia Sepulveda Coelho)와 스콧 A. 헤일(Scott A. Hale)은 사람들이 실제로 무엇을 원하는지 알아보기 위해 실제 열린 대화 내용을 조사했으며, 현재의 AI 케이크를 굽는 방식이 근본적으로 잘못되었다는 것을 발견했습니다.

그들의 연구 결과를 쉬운 비유를 통해 정리하면 다음과 같습니다.

1. "진실"의 함정: 모두가 원하지만, 정작 그것이 무엇인지에 대해서는 아무도 동의하지 않는다

사람들이 가장 많이 요구한 것은 **"진실성(Truthfulness)"**이었습니다. 응답자의 약 절반이 "AI가 진실을 말하기를 원한다"라고 답했습니다.

논문의 발견: "진실"이라는 단어는 카멜레온과 같습니다. 어떤 이들에게 진실은 "교과서에 나온 사실을 알려주는 것"을 의미합니다. 다른 이들에게는 "설령 인기가 없는 의견이라 할지라도 모든 측면의 논쟁을 보여주는 것"을 의미합니다. 또 다른 이들에게는 "저널리스트처럼 출처를 밝히는 것"을, 또 다른 이들에게는 단순히 "편향이 없는 것"을 의미합니다.
비유: 모든 사람이 "신선한 과일"을 원한다고 합의했다고 가정해 봅시다. 하지만 "그것이 무엇을 의미하는지" 묻는다면, 한 사람은 사과를 원하고, 다른 사람은 망고를 원하며, 세 번째 사람은 과일 샐러드를 원할 수 있습니다. 만약 제빵사가 어떤 과일인지 묻지도 않고 레시피에 그냥 "과일"이라고만 적는다면, 그 결과물은 엉망이 될 것입니다. 논문은 AI 기업들이 "진실"을 단일하고 단순한 지침으로 취급하기 때문에, 사람들이 무엇을 진실이라고 간주하는지에 대한 정의가 완전히 다르다는 사실을 놓치고 있다고 주장합니다.

2. "인간성"에 대한 논쟁: 누군가는 친구를 원하고, 누군가는 도구를 원한다

AI가 인간처럼 행동해야 하는지에 대해서는 큰 논쟁이 있었습니다.

분열: 약 33%의 사람들은 "안 됩니다! 인간처럼 행동하지 마세요. 나는 명확하고 로봇 같은 도구를 원합니다"라고 말했습니다. 반면 57%는 "네! 따뜻하고 친절하며 공감 능력이 있어야 합니다. 차가운 기계처럼 들리지 마세요"라고 답했습니다.
비유: 이는 그룹에게 투어 가이드가 농담을 던지는 수다스럽고 친절한 현지인이 되길 원하는지, 아니면 길만 가리키는 조용하고 효율적인 로봇이 되길 원하는지 묻는 것과 같습니다. 현재의 AI "제빵사"는 이 두 가지를 동시에 하려고 노력하며, 그 결과 종종 가식적이거나, 기괴하거나, 혹은 지나치게 아첨하는(상대방에게 잘 보이기 위해 무조건 동조하는) 느낌을 줍니다.

3. "가드레일" 문제: 안전인가, 검열인가

사람들은 AI가 얼마나 "통제"되거나 제한되어야 하는지에 대해서도 의견이 갈렸습니다 해로운 내용이나 불쾌한 내용을 말하지 못하도록 엄격한 가드레일을 원하는 사람들이 있는가 하면, 이러한 가드레일이 그저 "검열"일 뿐이며, 설령 논란이 될지라도 불편한 진실을 말할 수 있어야 한다고 느끼는 사람들도 있었습니다.

비유: 도서관을 상상해 보세요. 한 그룹은 "나쁜 아이디어"가 담긴 책을 빌려가지 못하게 막는 사서를 원합니다. 다른 그룹은 위험한 책이라도 읽을 수 있도록 사서가 전혀 없는 도서관을 원합니다. 논문은 AI 기업들이 이러한 견해들을 평균화할 때, 결국 누군가에게는 지나치게 조심스럽고, 다른 누군가에게는 위험할 정도로 제한적인 시스템을 만들게 된다는 것을 발견했습니다.

4. "평균"은 거짓이다

저자들이 식별한 가장 큰 문제는 **RLHF(인간 피드백 기반 강화 학습)**라고 불리는 현재의 AI 훈련 방식입니다.

현재 작동 방식: AI에게 두 가지 답변(A와 B)을 보여주고 인간이 승자를 선택합니다. AI는 그 "평균적인" 승자를 선택하는 법을 배웁니다.
결함: 논문은 인간의 가치를 평균 낼 수 없다고 주장합니다. 만약 50%의 사람들이 "소수 의견"을 원하고 50%가 "안전"을 원한다면, 그 평균은 완벽한 균형이 아니라, 그 누구도 만족시키지 못하는 모호하고 혼란스러운 신호가 됩니다.
결과: AI가 환각(hallucination, 사실이 아닌 것을 지어내는 것)을 일으키거나 지나치게 조심스러워지는 이유는 시스템이 고장 나서가 아니라, 주어진 지침 자체가 상충하는 욕구들의 혼란스러운 혼합물이기 때문입니다. 저자들은 이를 **"인식론적 폭력(epistemic violence)"**이라고 부릅니다. 즉, 사람들의 독특하고 복잡한 관점을 하나의 단순한 상자에 강제로 밀어 넣음으로써, 사람들이 실제로 중요하게 생각하는 미묘한 차이를 지워버린다는 뜻입니다.

5. 맥락이 중요하다 ("상황에 따라 다르다"는 요소)

사람들은 자주 이렇게 말했습니다. "친절하게 행동하되, 내가 심층적인 법률 분석을 요청할 때는 제외해 줘", 또는 "엄격하게 행동하되, 내가 이야기를 하고 있을 때는 제외해 줘".

문제: 현재의 AI 훈련 방식은 이진법적인 스위치(On/Off)와 같습니다. 이들은 인간 맥락의 "디머 스위치(밝기 조절 스위치)"를 이해하는 데 어려움을 겪습니다. 규칙이 "기본적으로" 적용되어야 하지만 "요청 시"에는 꺼져야 한다는 것을 쉽게 학습하지 못합니다.

결론

이 논문은 기술 산업이 정치적이고 문화적인 문제를 수학적인 문제로 해결하려 하고 있다고 결론짓습니다. 그들은 모두를 대변하는 "보편적인" AI를 만들려고 노력하지만, 그 과정에서 자신들이 대표한다고 주장하는 바로 그 다양성을 침묵시키고 있습니다.

요약하자면: 우리는 소수의 대표성이 부족한 집단에게 단일한 규칙에 대해 투표하게 함으로써 글로벌 AI를 구축하려 하고 있습니다. 그 결과, 현실 세계에는 존재하지 않는 "중간 지점"을 선택하도록 강요받은 탓에, 그 누구의 의도도 진정으로 이해하지 못하는 AI가 만들어지고 있습니다. 저자들은 이제 하나의 완벽한 AI를 모두를 위해 만드는 것을 멈추고, 서로 다른 집단이 각자의 가치에 맞는 자신들만의 버전을 가질 수 있는 방법을 고민해야 한다고 제안합니다.

기술 요약: 사람들은 실제로 AI에게 무엇을 원하는가? 선호의 다원성 매핑

문제 제기

현재의 대규모 언어 모델(LLM) 정렬(alignment)은 인간의 선호도를 집계하여 모델이 "인간의 가치"에 따라 행동하도록 훈련하는 과정인 인간 피드백 기반 강화 학습(RLHF)에 크게 의존하고 있다. 저자들은 이 패러다임이 근본적인 한계를 지니고 있다고 주장한다. 즉, 상충하는 선호도를 단일한 보상 신호로 집계하고, 대표성이 부족한 표본(흔히 WEIRD 인구 통계)에 의존하며, 뉘앙스, 맥락, 그리고 인간 의도의 인식론적 다양성을 포착하지 못하는 이진 쌍체 비교를 활용한다는 점이다. 결과적으로, 단일한 "정렬된" 모델을 추구하는 업계의 노력은 상황적이고 논쟁적인 다원적 가치를 하나의 형태로 평면화하여, 소수 의견이 거짓된 합의 속에 흡수되는 "인식론적 폭력(epistemic violence)"을 초래할 위험이 있다. 핵심 문제는 현재의 방식이 깊은 도덕적 헌신과 표면적인 선호 사이의 구분을 하지 못하며, 공유된 가치(예: "진실성")에 대한 서로 다른 정의나 사용자 욕구의 맥락적 성격(예: "기본적으로" 대 "요청 시에만")을 포착할 수 없다는 것이다.

방법론

본 연구는 75개국 1,500명의 영어 사용 크라우드워커를 대상으로 한 설문 조사인 PRISM 데이터셋을 분석하기 위해 혼합 방법론을 활용한다. 이 데이터셋은 일반적인 정렬 연구보다 더 높은 인구 통계적 다양성을 제공하며, 영국과 미국의 인구 조사 대표 표본을 포함한다.

데이터 수집: 참가자들은 AI가 일관되게 보여주어야 할 특성, 자질 또는 특징을 설명하고, 어떤 행동을 피해야 하는지, 그리고 맥락에 따라 행동이 어떻게 변해야 하는지를 포함하는 개방형 프롬프트에 응답하였다.
질적 코딩: 저자들은 하이브리드 인간-LLM 코딩 전략을 채택하였다.
- 코드북: 슈바르츠의 기본 가치 이론(ValueCompass 프레임워크를 통해)을 바탕으로, 저자들은 인간 유사성(Human Likeness), 관계 추구(Relationship Seeking), *사회적 질서(Social Order, 가드레일)*와 같이 AI와 관련된 특정 범주를 포함하도록 코드북을 조정하였다.
- 과정: 연구자가 귀납적 접근 방식을 확립하기 위해 400개의 응답을 개방 코딩하였다. 이후 전체 데이터셋의 코딩을 돕기 위해 LLM을 사용하였으며, 검증을 위해 두 번째 인간 주석가가 10%의 샘플을 독립적으로 코딩하였다. 주석자 간 일치도(Cohen's $\kappa$ )는 약 0.49~0.55로 보통 수준이었으며, 이는 가치 주석의 내재적 주관성을 반영한다.
- 점수 산정: 응답은 각 가치 차원에 대해 긍정(1), 혼합/불분명(0), 부정(-1)으로 코딩되었다.
양적 분석: 저자들은 가장 빈번하고, 논쟁적이며, 기피되는 가치의 인구 통계학적 예측 변수(성별, 교육 수준, 문화 지역 등)를 식별하기 위해 탐색적 LASSO 로지스틱 회귀 분석에 이어 OLS 회귀 분석을 실시하였다.
사실 확인(Fact-Checking): 데이터셋의 무작위 샘-50개의 사용자-AI 대화를 분석하여, 명시된 선호도와 실제 사용자 상호작용 및 모델 출력의 사실적 정확도를 비교하였다.

주요 기여

선호의 다원성에 대한 실증적 증거: 본 연구는 "진실성"(응답자의 49%가 요청)과 같이 높은 총체적 수요를 가진 가치조차 근본적으로 상이한 인식론적 정의를 숨기고 있음을 입증한다. 일부 사용자는 출처가 명시된 사실을 요구하는 반면, 다른 이들은 전문가의 합의를, 또 다른 이들은 소수적이거나 비주류적인 견해의 포함을 요구한다.
논쟁적인 가치의 식별: 연구는 단순히 다양한 것을 넘어 적극적으로 경합하는 가치들을 식별한다. 인간 유사성(인간 행동 모사)과 사회적 질서(AI 가드레일/안전 필터)는 양극화되어 있으며, 상당수의 응답자가 이러한 특성을 "기괴함", "검열", 또는 "내용이 희석됨"이라며 명시적으로 거부한다.
이진 집계에 대한 비판: 논문은 이진 선호 모델(RLHF)이 맥락적 구분(예: "요청되지 않는 한 인간처럼 행동하지 마라")을 포착하지 못하며, 이러한 신호를 단일한 보상 모델으로 집계하는 것이 필연적으로 뉘앙스와 소수자의 선호를 희생시킨다는 증거를 제공한다.
인구 통계학적 상관관계: 연구는 특정 인구 통계가 가치 선호와 어떻게 상관되는지 매핑한다. 예를 들어, 남성 응답자는 *도움이 됨, 우정 및 사랑(Helpful, Friendship & Love)*이나 *공손함(Politeness)*을 요청할 가능성이 낮았다. 또한 대학원 학위 소지자는 진실성과 *신중함(Prudence)*을 요청할 가능성이 높았으나 우정을 요청할 가능성은 낮았다.

결과

가치의 빈도: 진실성이 가장 많이 요청된 가치(49%)였으며, 그 뒤를 도움이 됨/우정/사랑(23%), 유용성(Utility)(22%), 공손함(22%)이 이었다. 9가지 가치(예: 부(Wealth), 내적 조화(Inner Harmony))는 참여자에 의해 전혀 요청되지 않았다.
상이한 정의: 질적 분석은 "진실성"이 단일한 개념이 아님을 드러냈다. 이는 "중립적인" 사실에 대한 요구부터 "다양한 세계관" 또는 "비주류 의견"에 대한 요구까지 범위가 넓다.
논쟁 점수: 인간 유사성과 사회적 질서는 높은 논쟁 점수를 보였다. 인간 유사성을 언급한 이들의 57%는 이를 원했지만, 33%는 이를 거부했다. 마찬가지로 65%가 사회적 질서(가드레일)를 원했으나, 23%는 이를 검열이라며 거부했다.
기피되는 특성: 영향력 있음(Influential)(사용자의 의견에 영향을 미치려는 AI)은 사용자 주체성과 중립성을 우선시하는 18%의 응답자에 의해 가장 기피되는 특성으로 나타났다.
현실 vs. 선호: 대화 분석에서 사용자들은 모델 출력의 환각(hallucination)을 감지하지 못하는 경우가 많았으며, 어떤 경우에는 자신의 기존 편향이나 기대에 부합하는 사실적으로 틀린 답변을 선호하기도 했다. 이는 명시된 선호와 실제 행동 사이에 간극이 있음을 시사한다.
인구 통계학적 패턴:
- 성별: 남성은 도움이 됨/우정/사랑 및 공손함을 요청할 가능성이 유의미하게 낮았다.
- 교육: 고등 교육은 진실성, 신중함, 다양성에 대한 요청과 상관관계가 있었으나, 우정에 대한 요청은 낮았다.
- 문화: 라틴 아메리카 응답자들은 진실성을 요청할 가능성이 낮았고, 게르만계 유럽인들은 신중함을 요청할 가능성이 높았으며, 노르딕 및 중동부 유럽인들은 *맞춤화(Customisation)*를 요청할 가능성이 높았다.

의의 및 주장

본 논문은 단일하게 정렬된 LLM을 추구하는 현재의 산업 표준이 "합의의 환상" 위에 구축되어 있다고 주장한다. 상황적이고 논쟁적인 선호도를 단일한 보상 모델로 평면화함으로써, 정렬 관행은 의도치 않게 효용을 불공정하게 배분하고 소수 의견에 대한 "알고리즘적 삭제(algorithmic erasure)"를 수행할 수 있다.

저자들은 다음과 같이 주장한다:

정렬은 정치적이다: AI 가치를 정의하는 과정은 기술적 최적화 문제가 아니라 "사적이고 책임지지 않는 주권"이 개입되는 정치적 문제이다.
현재의 방식은 실패한다: 자금력이 풍부한 모델에서도 환각 현상과 아첨(sycophancy)이 지속되는 것은 RLHF가 특히 불확실성과 진실에 관한 실제 사용자 선호를 식별하는 데 실패하고 있음을 시사한다.
다원성의 필요성: 연구 결과는 모든 사용자를 단일한 "보편적" 가치 체계로 강제하기보다는, 서로 다른 사용자 가치 체계를 반영하도록 모델을 적응시키는 개인화(personalization)로의 전환을 지지한다.
거버넌스 개혁: 저자들은 정렬에 있어 절차적 공정성을 촉구하며, "도움이 되고, 정직하고, 해롭지 않음(helpful, honest, and harmless)"이라는 "빈 기표(empty signifiers)"에서 벗어나 더 넓은 범위의 이해관계자를 포함하는 투명하고 개방적이며 참여적인 방법을 옹호한다.

결론적으로, 본 논문은 인간 가치의 복잡성과 논쟁성을 인식하는 것이 단순히 수학적 평균을 최적화하는 것이 아니라 인간 의도의 다원성을 존중하는 AI 시스템을 개발하기 위한 전제 조건임을 강조한다.