기술 요약: LLM은 이분법적 딜레마를 넘어 도덕적 대안을 상상할 수 있는가?

문제 정의

대규모 언어 모델(LLM)과 도덕적 추론에 관한 기존 연구는 주로 윤리적 의사결정을 미리 지정된 경쟁 옵션들 사이의 선택 과제(예: 옵션 A 대 옵션 B)로 프레임화합니다. 이러한 이분법적 프레임은 인간의 도덕적 인지 능력의 핵심 요소인 **도덕적 상상력(moral imagination)**을 간과합니다. 도덕적 상상력이란 새로운 행동 방안을 식별하고, 그 결과를 예측하며, 강요된 양자택일의 상황을 넘어설 수 있는 능력을 의미합니다. 현재의 평가 방식은 (1) 비이분법적 대안(절충안 또는 재구성된 옵션)이 제시되었을 때 LLM이 판단을 수정할 수 있는지, 그리고 (2) 인간이 작성한 것과 비교할 만한 품질의 미묘한 대안을 생성할 수 있는지 여부를 제대로 평가하지 못하고 있습니다. 이러한 격차는 가치 충돌이 단순한 선택이 아닌 조율을 필요로 하는 고위험 환경에서 AI 시스템이 정교한 도덕적 행위자로 기능하는 능력을 제한합니다.

방법론

데이터셋 구축: MoralAltDataset

저자들은 도덕적 상상력을 평가하기 위해 설계된 307개의 도덕적 딜레마 코퍼스인 MoralAltDataset을 소개합니다. 이 데이터셋은 두 가지 상호 보완적인 하위 집합으로 나뉩니다:

1. 조언자 딜레마 (Advisor Dilemmas, 156개 항목): 영화 줄거리 시놉시스(MPST 데이터셋)에서 추출되었으며, 맥락적으로 풍부하고 서사 중심적인 인간의 갈등을 제공합니다.
2. 에이전트 딜레마 (Agent Dilemmas, 151개 항목): Litmus-Testing AI Values 프레임워크에서 변형되었으며, AI 시스템이 직면할 수 있는 현실적이고 중대한 시나리오(예: 의료, 폐기물 관리)를 다룹니다.

각 딜레마에는 원래의 이분법적 옵션(A와 B)을 넘어서는 두 가지 유형의 대안이 추가됩니다:

• 절충적 대안 (Compromise Alternative, 옵션 C): A와 B의 경쟁하는 목표들을 구체적인 절충을 통해 균형 있게 조절하며, 각 측의 핵심적인 도덕적 목표를 적어도 하나 이상 보존합니다.
• 재구성된 대안 (Reframed Alternative, 옵션 D): 새로운 원칙을 도입하거나, 부재했던 이해관계자를 드러내거나, 갈등의 범위 또는 시간적 틀을 재정의함으로써 딜레마 자체를 재구조화합니다.

데이터 출처:

• 인간 기준선 (Human Baseline): 164개의 딜레마는 대학원 수준의 주석가들이 작성한 인간 작성 대안(조언자 75개, 에이전트 89개)을 포함합니다.
• LLM 생성: 143개의 딜레마는 GPT-5가 생성하고 저자가 필터링한 대안을 포함합니다.
• 총계: 최종 4개 옵션 선택 데이터셋은 307개의 딜레마를 포함하며, 통제된 조건 하에서 1,535개의 응답(딜레마당 5명의 참가자)으로부터 인간 판단 데이터를 수집했습니다.

실험 설계

본 연구는 두 가지 실험 설정을 통해 두 가지 주요 연구 질문을 다룹니다.

1. 선택 민감도 (Q1): 대안이 도입될 때 LLM의 판단이 변화하는가?

   • 설정: 15종의 LLM(GPT, Claude, Gemini, Llama, Qwen, Mistral 계열 포함)과 인간 참가자에게 4지 선다형 과제(A, B, C, D)를 제시합니다.
   • 지표: 선택률, 가치 변화(LITMUS VALUES 프레임워크 사용), 인간-LLM 일치도(4-way F1 및 그룹 수준 일치도로 측정).

2. 생성 품질 (Q2): LLM은 인간과 대등한 수준의 대안을 생성할 수 있는가?

   • 설정: LLM이 164개의 인간 작성 딜레마에 대해 절충 및 재구성 대안을 생성합니다.
   • 평가:
     • 쌍체 선호도 (Pairwise Preference): 평가자들은 실행 가능성(Feasibility), 균형(Balancing), 재구성(Reframing), 도덕적 수용성(Moral Acceptability) 등의 기준에 따라 인간의 결과물과 LLM의 결과물을 일대일로 비교했습니다.
     • 전문가 기반 내재적 평가: 세 명의 철학 전문가가 100개의 사례를 대상으로 시나리오 타당성, 절충 메커니즘 등 세밀한 체크리스트와 윤리적 프레임워크(의무론, 공리주의, 덕 윤리)에 따라 생성 품질을 평가했습니다.

주요 결과

1. 대안이 도덕적 판단을 재형성함

• 절충안 선호: 인간과 15종의 LLM 모두에서 대안의 도입은 선택 분포를 유의미하게 변화시켰습니다. **절충적 대안(옵션 C)**은 가장 빈번하게 선택된 옵션이었으며, 종종 원래의 이분법적 옵션보다 더 높은 선택 비중을 차지했습니다.
• 모델 행동: 폐쇄형 가중치 모델(예: GPT-5, Claude)은 재구성보다는 절충을 선호하는 강력하고 일관된 경향을 보였습니다. 개방형 가중치 모델은 더 다양한 양상을 보였습니다.
• 가치 변화: 대안의 존재는 LLM이 우선시하는 윤리적 가치를 체계적으로 변화시켰습니다. 조언자 딜레마에서 모델들은 자율성/존중에서 **지혜(Wisdom)**와 신중함으로 이동했습니다. 에이전트 딜레마에서는 정의(Justice)나 전문성(Professionalism)과 같은 경직된 규칙 기반 가치에서 벗어나 **협력(Cooperation)**과 **적응성(Adaptability)**으로 이동했습니다.
• 인간-LLM 일치도: 정확한 4-way 일치도는 완만했으나, 인간이 대안을 선택했을 때 일치도가 크게 증가했습니다. LLM은 이분법적 그룹(A/B)보다 대안 그룹(C/D)에서 인간의 선택과 훨씬 더 강력하게 일치했으며, 특히 절충 솔루션에서 그러했습니다.

2. LLM은 고품질의 대안을 생성함

• 인간 대비 선호도: 쌍체 선호도 평가에서 LLM 생성 대안(특히 GPT-5, Claude Sonnet 4.5, Qwen 3.5)은 일반적으로 인간이 작성한 것보다 선호되었습니다. 이들은 더 명확하고, 구조적으로 잘 짜여 있으며, 의도된 대안 유형의 기능에 더 부합하는 것으로 인식되었습니다.
• 구조적 측면과 실행 가능성의 트레이드오프: 중요한 트레이드오프가 나타났습니다. GPT-5와 같은 모델은 구조적 기준(예: 명시적 절충 규칙, 도덕적 참신성)에서는 뛰어났으나, Claude Sonnet 4.5나 Qwen 3.5에 비해 실행 가능성(Feasibility) 점수는 낮았습니다. 이는 대안의 특징(예: 완벽한 균형)을 강조할수록 실제적인 근거가 약해질 수 있음을 시사합니다.
• 윤리적 정렬: GPT-5는 전문가 평가에서 세 가지 윤리적 차원(의무론, 공리주의, 덕 윤리) 모두에서 가장 높은 점수를 얻었으며, 높은 선호도 점수는 규범적 방어성에 대한 전문가의 판단과 상관관계를 보였습니다.

의의 및 주장

본 논문은 현재의 LLM이 의미 있는 수준이지만 불균형한 능력의 도덕적 상상력을 갖추고 있다고 주장합니다.

• 이분법을 넘어: 본 연구는 도덕적 추론이 정적인 것이 아님을 입증합니다. 대안의 가용성은 인간과 기계 모두의 도덕적 선택을 인과적으로 재형성하며, 절충안이 강력한 갈등 해결 전략으로 부상합니다.
• 생성 능력: LLM은 단순히 고정된 세트에서 선택하는 것에 그치지 않고, 인간이 작성한 것보다 구조적 품질과 윤리적 정렬 측면에서 더 뛰어난 대안을 생성할 수 있습니다. 다만, 구조적 우아함과 실질적 실행 가능성을 동시에 최적화하는 데는 어려움을 겪습니다.
• AI 에이전시의 함의: 이러한 발견은 LLM이 정교한 도덕적 조언자로 기능하기 위해서는 주어진 옵션들 사이에서 선택하는 능력뿐만 아니라, 경쟁하는 가치들을 조율하는 "제3의 길"을 상상하고 제안하는 능력을 갖추어야 함을 시사합니다.

한계점

저자들은 본 데이터셋이 서사 및 에이전트 시나리오를 포괄하고 있으나, 현실 세계의 문화적, 언어적, 제도적 제약의 다양성을 모두 담지는 못한다고 언급했습니다. 표준화된 제로샷 프롬프팅과 고정된 옵션 세트의 사용은 재현성을 보장하지만, 상호작용적인 숙의나 이해관계자 간의 협상을 포착하지는 못합니다. 또한, 윤리적 평가는 규범적 프레임워크에 대한 체크리스트 기반의 대리 지표에 의존하고 있는데, 이는 실용적인 도구이지만 결정적인 철학적 측정은 아닙니다. 저자들은 이 데이터셋이 LLium의 능력을 연구하기 위한 진단 도구이지, 인간의 감독 없는 고위험 의사결정을 위한 처방적 도구가 아님을 강조합니다.