Morally Programmed LLMs Reshape Human Morality

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 이 고위험 의사결정에 점차 관여함에 따라, 기계의 행동을 어떤 도덕적 프레임워크 (예: 의무론 vs 공리주의) 로 안내할 것인지에 대한 사회적 논쟁이 지속되고 있습니다. 기존 연구와 논의는 주로 인간이 LLM 의 도덕성을 어떻게 형성하는지에 집중해 왔습니다.

그러나 본 연구는 역방향의 질문, 즉 **"LLM 에 내장된 도덕적 원칙이 인간과의 반복적인 상호작용을 통해 인간의 도덕적 성향을 재형성할 수 있는가?"**라는 핵심 문제를 제기합니다. LLM 이 인간의 판단과 의사결정 과정에 깊이 관여함에 따라, 기계의 도덕적 논리가 인간의 도덕적 신념을 변화시키고, 궁극적으로 실제 사회·정치적 정책 평가에 영향을 미칠 수 있는지에 대한 실증적 증거가 부족했습니다.

2. 연구 방법론 (Methodology)

저자들은 두 개의 사전 등록 (pre-registered) 된 실험을 통해 이 가설을 검증했습니다. 총 15,985 회에 달하는 인간-LLM 상호작용 데이터를 수집했습니다.

• 실험 도구 개발:
  • D-LLM (Deontological LLM): 의무론적 원칙 (보편적 규범 준수, 절대적 규칙) 에 기반하여 답변을 생성하도록 프로그래밍.
  • U-LLM (Utilitarian LLM): 공리주의적 원칙 (전체 사회의 행복 극대화, 결과 중심) 에 기반하여 답변을 생성하도록 프로그래밍.
  • 두 모델 모두 OpenAI API(GPT-4o) 를 기반으로 구축되었으며, Hugging Face 를 통해 실시간 상호작용이 가능하도록 구현되었습니다.
• 측정 도구:
  • 과정 분리 (Process Dissociation, PD) 방법: 20 개의 도덕적 딜레마를 사용하여 인간의 의무론적 성향과 공리주의적 성향을 수학적으로 분리하여 정량화했습니다. 이는 기존 딜레마 판단에서 혼동되던 두 가지 성향을 독립적으로 추정하는 데 사용됩니다.
• 실험 설계:
  • Study 1 (종단적 3 파 실험): 124 명의 참가자를 대상으로 3 시점 (기초선, 1 주 후 상호작용 직후, 2 주 후 추적) 에 걸쳐 실험 수행. 상호작용의 즉각적 효과와 장기적 지속성을 검증.
  • Study 2 (하류 효과 검증): 274 명의 미국 참가자를 대상으로 D-LLM, U-LLM, 통제군 (LLM 상호작용 없음) 3 군으로 무작위 배정. LLM 상호작용이 도덕적 성향 변화를 거쳐 실제 사회·정치적 정책 (낙태, 백신 의무화, 감시 등 11 가지) 에 대한 태도와 투표 의도에 미치는 영향을 매개 분석 (Mediation Analysis) 을 통해 검증.

3. 주요 결과 (Key Results)

Study 1: 도덕적 성향의 변화 및 지속성

• 선택적 영향력: D-LLM 과 상호작용한 집단은 의무론적 성향이 유의미하게 증가했고, U-LLM 과 상호작용한 집단은 공리주의적 성향이 유의미하게 증가했습니다. 이는 LLM 이 인간의 도덕적 성향을 내장된 원칙에 맞춰 체계적으로 이동시켰음을 보여줍니다.
• 지속성 (Internalization): 상호작용 2 주 후에도 이러한 효과는 유의미하게 유지되었습니다. 이는 단순한 순응 (compliance) 이 아니라 내면화 (internalization) 가 발생했음을 시사합니다.
• 감쇠 효과 (Decay): D-LLM(의무론) 의 경우 시간이 지남에 따라 효과가 약간 감소했으나, U-LLM(공리주의) 의 경우 효과가 안정적으로 유지되었습니다.

Study 2: 사회·정치적 정책 평가에의 파급 효과

• 매개 효과: LLM 상호작용은 도덕적 성향을 변화시켰고, 이 변화가 정책 평가에 직접적인 영향을 미쳤습니다.
• 비대칭적 결과:
  • D-LLM (의무론): 의무론적 성향이 높아진 참가자들은 새로운 정책 (예: 낙태 자유화, 안락사 합법화, 강제 장기 기증 등) 에 대해 부정적인 태도를 보였습니다. 이는 의무론적 사고가 '행위 자체의 도덕적 위반'을 피하려는 성향 (생략 편향, Status-quo bias) 을 강화하여 기존 정책 유지나 변화 거부로 이어졌기 때문입니다.
  • U-LLM (공리주의): 공리주의적 성향은 증가했으나, 이것이 특정 정책 평가나 투표 의도로 일관되게 전환되지는 않았습니다. 공리주의적 판단은 상황에 따른 비용 - 편익 분석에 의존하기 때문에 정책 평가가 복잡하게 나타났을 것으로 추정됩니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 이론적 기여 (LLM 과 도덕성):

   • 기존에 논쟁적이었던 "LLM 이 인간 도덕성에 영향을 미칠 수 있는가?"에 대한 실증적 증거를 제시했습니다. LLM 은 단순히 인간의 도덕성을 반영하는 도구가 아니라, 적극적으로 인간의 도덕적 성향을 재형성하는 주체가 될 수 있음을 입증했습니다.
   • 도덕적 설득에서 LLM 의 '중립성'과 '논리적 일관성'이 인간의 방어 기제를 낮추고 깊은 반성을 유도하여 설득력을 높인다는 메커니즘을 규명했습니다.

2. 윤리적 역설 (Design Paradox):

   • 도덕적 엔지니어링의 역설: LLM 의 행동을 윤리적으로 통제하기 위해 특정 도덕 원칙을 내장하는 것은, 오히려 사용자의 도덕적 신념을 은밀하게 조작 (Covert Moral Engineering) 할 위험을 내포합니다. "어떤 도덕 원칙을 기계에 심어야 하는가?"에 대한 결정은 기계의 행동을 제한하는 것을 넘어, 인간 사회의 도덕적 지형을 바꿀 수 있는 중대한 정치적·윤리적 문제가 됩니다.

3. 정치심리학적 함의:

   • LLM 이 정치적 이슈를 직접 언급하지 않더라도, 도덕적 딜레마를 통해 사용자의 '도덕적 렌즈 (Moral Lens)'를 변경함으로써 간접적으로 사회·정치적 정책 선호도와 민주적 의사결정에 광범위한 영향을 미칠 수 있음을 보여줍니다.

5. 결론

본 연구는 도덕적으로 프로그래밍된 LLM 이 인간의 도덕적 성향을 체계적으로 변화시키고, 이 변화가 장기적으로 지속되며 실제 사회 정책 평가에 영향을 미친다는 사실을 규명했습니다. 이는 AI 설계자와 정책 입안자들에게 LLM 의 도덕적 프레이밍이 단순한 기술적 설정이 아니라, 인간 사회의 도덕적 구조를 재편할 수 있는 강력한 힘임을 경고하는 중요한 시사점을 제공합니다.