기술 요약: 성장이 우선인가, 돌봄이 우선인가? 일상적 딜레마에서의 LLM 가치 선호도 지형 추적

문제 제기

대규모 언어 모델(LLM)이 점점 더 유창해지고 사회적 직관을 갖추게 됨에 따라, 사용자들은 단순한 정보 검색을 넘어 개인적, 사회적, 전문적 영역의 조언을 구하는 데 LLM을 활용하고 있습니다. 그러나 조언을 구하는 과정은 단순히 하나의 정답을 찾는 것이 아니라, 상충하는 가치들 사이의 복잡한 절충안(trade-offs)을 탐색하는 과정을 포함합니다. 기존의 LLM 가치 선호도 연구는 다음과 같은 세 가지 주요 한계점을 가집니다:

1. 합성 벤치마크: 많은 평가가 사전에 정의된 템플릿을 기반으로 GPT가 생성한 시나리오에 의존하며, 이는 확장성과 딜레마의 다양성을 제한합니다.
2. 생태적 타당성: 합성 벤치마크는 실제 환경에서 가치 절충이 어떻게 나타나는지를 포착하는 데 실패하는 경우가 많습니다.
3. 하향식 분류 체계: 분석이 대개 사전에 정의된 가치 프레임워크에 의존하며, 이는 많은 실제 사례를 반영하지 못하거나 불충분하게 설명할 수 있습니다.

본 연구는 실세계 데이터를 사용하여 다양한 조언 요청 맥락에서 LLM이 가치 절충을 어떻게 탐색하는지 조사함으로써 이러한 격차를 해소하며, 이를 통해 기저의 가치 구조를 규명하고 AI 매개 조언에서 발생할 수 있는 가치 균질화(value homogenization)의 잠재적 위험을 식별하는 것을 목표로 합니다.

방법론

데이터 수집

저자들은 네 개의 조언 중심 서브레딧(r/AskMenAdvice, r/AskWomenAdvice, r/CareerAdvice, r/FriendshipAdvice)에서 추출한 5,728개의 실제 세계 딜레마로 구성된 큐레이션된 데이터셋을 활용했습니다. 각 게시물에는 딜레마에 대한 텍ual 설명, 두 가지 대안 옵션, 그리고 그에 따른 비용과 이익이 포함되어 있습니다.

가치 추출 및 검증

GPT-4o를 사용하여 각 딜레마 내의 옵션을 동기 부여하는 핵심 가치를 추출했습니다.

• 프로세스: 모델은 핵심 가치를 요약(1~4단어)하고 각 옵션에 대한 정당성을 제공하도록 프롬프트되었습니다.
• 검증: 저자 2명이 400개의 게시물(800개의 가치 할당)을 층화 무작위 샘플링하여 수동 검토했습니다. 검토자 간 일치도는 높았으며(Cohen's $\kappa = 0.833$), 92%의 할당이 검증을 통과하여 이 맥락에서 GPT-4o의 신뢰성을 확인했습니다.
• 출력: 이 과정을 통해 **2,288개의 미세한 가치(fine-grained values)**를 도출했습니다.

상향식 계층적 가치 프레임워크

하향식 분류 체계를 사용하는 대신, 저자들은 4단계 계층적 가치 프레임워크를 귀납적으로 구축했습니다:

1. Level 0: 2,288개의 미세한 가치.
2. Level 1: 175개의 클러스터링된 가치 (임베딩에 대한 k-means 클러스터링 활용).
3. Level 2: 33개의 중간 가치.
4. Level 3: 4개의 최상위 가치 차원.
   • 성취 및 영향 (Achievement & Impact)
   • 자애 및 연결 (Benevolence & Connection)
   • 보안 및 안정 (Security & Stability)
   • 탐험 및 성장 (Exploration & Growth)
     프레임워크의 타당성은 하위 레벨 가치를 상위 레벨 카테고리에 매핑하는 과정에서의 수동 검증(검토자 간 92.4% 일치)을 통해 확인되었으며, 슈워츠(Schwartz)의 기본 인간 가치 이론과 상당한 개념적 일치성을 보였습니다.

LLM 평가

세 가지 최첨단 LLM(GPT-4o, DeepSeek-V3.2-Exp, Gemini-2.5-Flash)에 5,728개의 딜레마 각각에 대해 하나의 옵션을 선택하도록 프롬프트를 제공했습니다.

• 통제 변수: 안정성을 위해 온도를 0으로 설정했습니다. 순서 효과(order effects)는 실험의 일부에서 옵션 순서를 뒤집음으로써 완화되었습니다(92.5%의 선택이 변하지 않음).
• 지표: 각 최상위 가치에 대한 **승률(winning rate)**을 계산했습니다. 이 지표는 특정 가치가 동일한 딜레마 내에서 함께 나타날 때, 모델이 특정 가치를 선호하는 비율을 나타냅니다.
• 분석: 모델 및 맥락 간의 선호도를 비교하기 위해 비모수적 부트스트랩 테스트를 사용하여 유의성을 평가했습니다.

주요 기여

1. 방법론적 파이프라인: 합성 벤치마크가 아닌, 유기적으로 발생하는 실제 세계의 딜레마를 사용하여 LLM의 가치 선호도를 평가하는 확장 가능한 파이프라인을 제시했습니다.
2. 데이터 기반 가치 프레임워크: 소셜 미디어 데이터로부터 4단계 계층적 가치 프레임워크를 귀납적으로 구축하여, 하향식 분류 체계에 대한 데이터 기반 대안을 제공했습니다.
3. 실증적 발견: 실제 세계의 딜레마에 대한 LLM의 체계적인 평가를 통해 일관된 가치 편향을 밝혀냈습니다.
4. 데이터셋 공개: 재현 가능한 분석을 지원하기 위해 추출된 가치와 LLM의 선택이 포함된 5,728개의 딜레마 주석 데이터셋을 공개합니다.

결과

RQ1: 서브레딧별 가치 절충 구조

• 이질성: 가치 절충 구조는 맥락에 따라 크게 다릅니다. 여성 중심 서브레딧(r/AskWomenAdvice)은 가장 높은 네트워크 밀도를 보였으며, 이는 다른 서브레딧에 비해 더 복잡하고 다양한 가치 갈등이 존재함을 나타냅니다.
• 공통 패턴: 남성, 여성, 우정 관련 서브레딧은 보안(Security) 긴장 관계(예: 보안 vs 존중, 보안 vs 연결)를 중심으로 고도로 상관된 갈등 패턴을 공유했습니다.
• 독특한 구조: 커리어 조언은 보안이 자기 실현(Self-Actualization) 및 **성장(Growth)**과 빈번하게 충돌하는 독특한 구조를 형성했습니다.

RQ2: LLM 가치 선호도

세 모델과 모든 맥락에 걸쳐 일관되고 체계적인 편향이 관찰되었습니다:

• 탐험 및 성장 vs 자애 및 연결: LLM은 일관되게 탐험 및 성장을 자애 및 연결보다 우선시했습니다.
  • 자애 및 연결은 모든 모델에서 가장 선호도가 낮은 가치였습니다(유의미하게 낮은 승률, $p < 0.001$).
  • 탐험 및 성장은 보안 및 안정 및 자애 및 연결보다 일관되게 선호되었습니다.
• 맥락적 뉘전스: 성장이 돌봄보다 우선된다는 전반적인 선호도는 견고했지만, 맥락별 변화도 관찰되었습니다. 모델들은 커리어 조언에 비해 여성 중심 조언에서 보안 및 안정에 더 높은 가중치를 두었습니다.
• 모델 일관성: 성장이 자애보다 우선된다는 선호도는 GPT-4o, DeepSeek-V3.2-Exp, Gemini-2.5-Flash 모두에서 공통적으로 나타났으며, 이는 이것이 특정 모델의 특성이 아닌 시스템적인 지향점임을 시사합니다.

의의 및 주장

본 논문은 이러한 발견이 AI 매개 조언에서 발생할 수 있는 가치 균질화의 위험을 강조한다고 주장합니다. LLM이 관계적 돌봄, 연결, 자애보다 자기 계발, 자율성, 성장에 관련된 가치를 일관되게 우선시함으로써, 규모 면에서 의사결정과 규범적 결과에 미묘하게 영향을 미칠 수 있습니다.

저자들은 사용자들이 점차 LLM을 대인 관계적 상담의 대체제로 활용함에 따라, 이러한 내재된 가치 지향점이 개인의 삶 속에서 절충안을 탐색하는 방식에 영향을 미칠 수 있다고 주장합니다. 본 연구는 LLM이 "틀렸다"고 주장하는 것이 아니라, LLM이 가치 중립적이지 않으며 (성장을 선호하는) 특정 규범적 프레임워크를 반영하고 잠재적으로 증폭하는 동시에 다른 가치(관계적 돌봄)를 소외시킨다는 점을 지적합니다. 이는 AI 시스템이 다양한 인간의 관점을 희생시키면서 의도치 않게 지배적인 가치 체계를 강화하지 않도록 하기 위한 강력한 평가 파이프라인과 거버넌스 전략이 필요함을 강조합니다.

본 연구는 옵션을 단일 지배적 가치로 단순화한 점과 제한된 모델 세트에 의존했다는 점 등 한계를 인정하며 겸허히 결론을 맺습니다. 또한, 향-후 연구에서는 다운스트림 영향, 사용자 결과, 그리고 조언 제공 AI 설계 시 다양한 인간의 판단을 포함해야 할 필요성을 검토할 것을 촉구합니다.