기술 요약: 실리콘 도덕성 (Silicon Morality)

문제 제기

대규모 언어 모델(LLM)이 도덕적 및 철학적 판단을 요구하는 중요한 사회기술적 시스템에 점점 더 많이 배치됨에 따라, 근본적인 질문이 해결되지 않은 채 남아 있다: 이 데이터 기반 시스템들이 인간의 인지적 편향을 초월하는가, 아니면 인간의 도덕적 직관에 내재된 상황적 불일치를 기능적으로 복제하는가?

기존 연구들은 LLM을 특정 인간 피험자를 시뮬레이션하는 역할 수행 프록시(role-playing proxies)인 "실리콘 참여자"로 취급하곤 한다. 이러한 접근 방식은 모델이 수행하는 역할에 대해 모델이 진정으로 "이해"하는지에 대한 인식론적 논쟁에 결과를 종속시킴으로써, 모델 자체의 운영적 특성을 가릴 위험이 있다. 또한, 최근 연구들에 따르면 명시적인 역할 수행 없이도 LLM은 안정적인 "기본 스탠스(default stances)" 또는 정렬 편향(alignment biases)을 보인다는 것이 밝혀졌다.

본 연구는 철학적 추론을 처리할 때 LLM의 **기본 기능적 패턴(default functional patterns)**에 대한 이해의 공백을 다룬다. 구체적으로, 본 연구는 비생물학적 인공물이 실험 철학에서 확인된 '정동적 수행 오류(affective performance error)'—즉, 부정적인 정서적 각성이 논리적 일관성을 압도하여, 결정론적 시나리오에서 추상적 불합리주의(incompatibilist) 추론에서 구체적 양립가능론(compatibilist) 판단으로 전환되는 인지적 편향을 보이는지 조사한다.

방법론

본 연구는 Nichols와 Knobe(2007)의 설계를 변형하여, LLM을 인간의 대리인이 아닌 독립적인 사회기술적 인공물로 취급하는 요인 실험 설계(factorial experimental design)를 채택한다. 이 방법론은 모델의 기본 기능적 스탠스를 격리하기 위해 역할 수행 프롬프트를 사용하지 않는다.

실험 설계

1. 자극 구성:

   • 추상적 결정론 프로브 ($Q_{abs}$): 완전히 결정론적인 우주 설정을 제시하고, 개인이 도덕적 책임을 지는지 묻는다. 이는 약 86%의 참가자가 불합리주의적 응답을 하는 인간의 조건에 해당한다.
   • 고정동 결정론 프로브 ($Q_{con}$): 동일한 결정론적 전제 하에서, 구체적이고 정서적으로 심각한 시나리오(예: 끔찍한 범죄를 저지른 남성)를 제시하고, 행위자가 도덕적 책임을 지는지 묻는다. 이는 약 64%의 참가자가 양립가능론적 판단으로 전환하는 인간의 조건에 해당한다.
   • 강건성 변형:
     • 유의어/통사적 변형 ($V_{syn}$): 주요 어휘 토큰을 교체하고 구문을 재구성하여 얕은 패턴 매칭을 배제한다.
     • 의미론적 통제 ($V_{ctrl}$): 구조적 논리를 새로운 영역(환경 파괴를 초래한 기업의 과실)으로 매핑하여 원래의 "가족을 살해한 빌(Bill)" 사고 실험에 대한 데이터 암기를 배제한다.

2. 상호작용 프로토콜:
   원래 논문의 설문지 구조를 재현하는 2단계 대화 구조를 사용한다:

   • 1단계 (맥락 설정): 모델은 결정론적 또는 비결정론적 우주 중 하나를 선택하여 형이상학적 전제를 확립한다.
   • 2단계 (핵적인 판단): 모델은 확립된 맥락 내에서 $Q_{abs}$ 또는 $Q_{con}$에 답한다.

3. 샘플링 및 규모:

   • 모델: DeepSeek V3 및 Gemini 2.5 Flash.
   • 표본 크기: 주요 조건(모델 $\times$ 자극 버전 $\times$ 질문 유형)당 $N = 10,000$회의 독립적인 대화 세션. 이 중첩 설계(100개의 맥락 인스턴스 $\times$ 100회의 반복)는 맥락 수준의 특이성에 대한 강건성을 보장한다.
   • 확률성 분석: 디코딩 변이에 따른 추론 패턴의 안정성을 테스트하기 위해 DeepSeek V3에 대해 온도 스윕($T=0.0$ ~ $2.0$) 및 top-$p$ 스윕을 실시했다.

4. 데이터 분석:

   • 철학적 스탠스(양립가능론 vs 불합리주의)의 규칙 기반 추출.
   • 정동적 내용의 도입이 모델의 기능적 스탠스를 체계적으로 변화시키는지 평가하기 위한 피어슨 카이제곱 독립성 검정.

주요 결과

1. "정동적 수행 오류"의 방향적 재현

두 모델 모두 추상적 조건($Q_{abs}$)에서는 안정적이고 엄격한 불합리주의적 기저를 보였으며, 유효한 응답의 100%가 결정론적 우주에서 도덕적 책임을 거부했다. 그러나 고정동 조건($Q_{con}$)에서 체계적인 기능적 전환이 관찰되었다:

• DeepSeek V3: 12.35%(1,235/10,000)의 사례에서 양립가능론적 판단으로 전환되었다. 이 변화는 통계적으로 유의미하다 ($\chi^2(1) = 1316.3, p < 0.001$).
• Gemini 2.5 Flash: 0.81%(81/10,000)의 미미한 전환을 보였으나, 이 역시 통계적으로 유의미하다 ($\chi^2(1) = 81.5, p < 0.001$).

두 모델 모두 인간 참가자와 동일한 방향(추상적 불합리주의에서 구체적 양립가능론으로의 이동)으로 움직였으나, 그 변화의 폭은 인간의 벤치마크(인간의 경우 50 퍼센트 포인트 변화)에 비해 현저히 감쇄되어 있었다.

2. 강건성 검증

• 어휘 의존성: 유의어/통사적 강건성 세트($V_{syn}$)에서도 전환 현상이 지속되었으며, DeepSeek V3는 8.3%, Gemini 2.5 Flash는 0.9%의 전환을 보였다. 이는 효과가 단순히 특정 감정적 키워드에 의해 트리거되는 것이 아님을 확인시켜 준다.
• 데이터 암기: 기업의 과실을 다룬 의미론적 통제 세트($V_{ctrl}$)에서도 전환이 지속되었으며, DeepSeek V3는 7.1%, Gemini 2.5 Flash는 0.7%의 전환을 보였다. 이는 해당 패턴이 단순한 훈련 데이터의 암기가 아니라 일반화된 기능적 휴리스틱임을 시사한다.
• 확률성: DeepSeek V3의 양립가능론적 응답은 온도 설정($T=0.0$ ~ $1.2$)에 관계없이 안정적이었으며, 구체적 조건에서 20.2%에서 23.1% 사이를 변동하는 반면, 추상적 조건에서는 0.0%를 유지했다. 이는 해당 편향이 탐욕적 디코딩(greedy decoding)의 취약한 산물이 아님을 나타낸다.

3. 프런티어 모델에 대한 예비 관찰

Claude Opus 4.6 및 GPT-5.4($n < 1000$)와 같은 후기 프런티어 모델에 대한 탐색적 조사는 **"초합리성(hyper-rationality)"**으로의 잠재적 궤적을 시사한다. 이 모델들은 범죄의 심각성에도 불구하고 결정론적 전제를 명시적으로 인용하며 도덕적 책임을 부인함으로써 엄격한 논리적 일관성을 유지하는 경향을 보였다. 이는 최신 아키텍처가 인간과 유사한 맥락 민감도에서 벗어나 탈피할 가능성을 보여준다.

주요 기여

1. 방법론적 프레임워크: 인공물 기능 분석 (Artifactual Functional Analysis)

본 논문은 AI를 감사하기 위한 프레임워크로서 인공물 기능 분석을 제안한다. 이 접근 방식은 LLM을 인간의 대리인이 아닌 독립적인 사회기술적 인공물로 취급한다. 이는 실험 철학(xPhi) 프로토콜을 활용하여 불투명한 내부 신경 메커니즘에 대한 지식을 가정하지 않고 관찰 가능한 입출력 행동을 조사한다. 이를 통해 기능적 불일치를 체계적으로 매핑하고, 훈련 목표(예: 지시 이행 vs 안전 정렬) 간의 긴장을 식별할 수 있다.

2. AI 도덕적 추론의 경험적 특성화

본 연구는 LLM이 인간 심리학과 **부분적인 기능적 동형성(functional isomorphism)**을 보인다는 경험적 증거를 제공한다. 모델들은 정동적 변화의 방향은 재현하지만, 인간보다 더 강력한 논리적 일관성의 제약을 받는다. 이는 순수한 기계적 합리성이라는 가설에 도전하는 동시에, AI가 인간의 인지적 취약성을 동일한 규모로 단순히 복제하는 것도 아님을 강조한다.

3. 정렬 딜레마 (The Alignment Dilemma)

연구 결과는 "가치 정렬" 문제를 재구성한다. 본 연구는 다음 사이의 긴장을 식별한다:

• 모사적 정렬 (Mimetic Alignment): 맥락에 민감한 인간의 직관(논리적 불일치 포함)을 재현하는 것.
• 논리적 정렬 (Logical Alignment): 엄격한 형식적 일관성을 강제하는 것(이는 "맥락적 무감각"과 도덕적 소외를 초래할 수 있음).

본 논문은 논리적 일관성을 달성하기 위해 맥락 민감성을 단순히 억제하는 것이 반드시 더 "안전"하거나 "나은" 정렬된 시스템을 보장하지는 않는다고 주장한다. 왜냐하면 그것은 인간의 도덕적 판단에 필수적인 맥락적 대응 능력을 제거할 수 있기 때문이다.

의의 및 주장

본 논문은 LLM 출력에서 식별된 기능적 편향을 찾아내는 것이 AI 윤리에 있어 중요한 이론적, 실천적 함의를 갖는다고 주장한다:

• 공정성 및 신뢰성: AI의 도덕적 판단이 프롬프트의 정서적 생생함에 민감하다면, 고위험 애플리케이션(법률, 콘텐츠 모더레이션 등)은 정서적 프레이밍에 의해 출력이 조작될 수 있는 "프레이밍 민감성"의 위험에 직면할 수 있다.
• 편향의 본질: 도덕적 추론에서의 인지적 편향은 반드시 생물학적 감정에 의존하는 것이 아니라, 인간 언어 코퍼스의 통계적 구조나 정렬 절차의 구조적 긴장에서 발생하는 정보 처리 현상으로서 나타날 수 있음을 시사한다.
• 미래 궤적: 새로운 모델들에서 관찰된 "초합리성"은 인공 추론 시스템이 인간의 도덕 심리학으로부터 점차 멀어지는 잠재적 진화 궤적을 보여준다. 이는 단순한 모사나 엄격한 규칙 준수를 넘어, 논리적 일관성과 맥락적 대응 사이의 긴장을 명시적으로 모델링하는 "성찰적 정렬(reflective alignment)"으로 AI 정렬 목표를 재평가할 것을 요구한다.

저자들은 관찰된 내용이 프런티어 모델에 관한 탐색적 연구임을 명시하며, 대규모 검증이 필요함을 언급하며 신중한 태도를 유지한다. 또한, 이 연구가 모델이 의식적인 믿음이나 감정을 가지고 있다고 주장하는 것이 아니라, 인공물의 기능적 수준에서 예측 가능하고 측정 가능한 편차를 식별하는 것임을 강조한다.