Can Silicon Feel? Conditions for Artificial Valence and Their Implications for AI Governance

기술 요약: "실리콘도 느낄 수 있는가? 인공 가치(Artificial Valence)의 조건과 그에 따른 AI 거버넌스의 함의"

문제 제로 (Problem Statement)
본 논문은 미래의 인공지능(AI) 시스템이 복지 관련 경험, 즉 '가치(valence)'(경험의 주관적 질이 즐거움인지 혹은 불쾌함인지에 대한 성질)를 보유할 수 있는지 여부를 판단하는 데 있어 커지는 실무적 및 윤리적 과제를 다룬다. 현재의 AI 거버넌스는 인간 중심적 위험(안전, 공정성, 투명성)에 초점을 맞추고 있지만, 이는 AI 시스템을 단순한 도구로 간주한다는 전제를 바탕으로 한다. 저자는 AI의 역량이 확장됨에 따라, 행동적 지표(지능, 언어, 보상 최적화)를 넘어 인공 시스템이 주관적 경험을 가질 가능성이 있는 구체적인 '조직적 조건(organizational conditions)'을 식별할 필요가 있다고 주장한다. 핵심 문제는 정서의 '시뮬레이션'(예: 고통을 보고하거나 보상 함수를 최적화하는 것)과 도덕적 관심의 근거가 되는 '진정한 가치 소유'를 구분하는 것이다.

방법론 (Methodology)
본 논문은 경험적 실험 대신 개념적 및 비교 분석적 프레임워크를 채택한다.

1. 개념적 재구조화: 저자는 논쟁의 틀을 '기질 기반'(생물학적 vs 실리콘)에서 '조직 기반'으로 재구조화한다. 실리콘이 느낄 수 있는가를 묻는 대신, 어떤 조직적 특징을 갖추어야 인공 시스템의 가치 소유가 과학적으로 타당할 수 있는지를 묻는다.
2. 개념의 구별: 방법론적으로 가치를 이와 유사하지만 불충분한 지표들과 엄격히 구분한다:
   • 지능/행동: 높은 성능이 주관적 경험을 의미하지는 않는다.
   • 언어적 보고: 내부 상태를 기술하는 능력(예: "나는 고통을 느끼고 있다")은 실제 경험의 결여와 양립 가능하다.
   • 보상 신호: 효용 함수의 계산적 최적화나 강화 학습 신호는 쾌락적 '좋음(liking)'이나 고통과는 구별된다.
3. 비교 적용: 제안된 프레임워크를 현대 AI 아키텍처를 대표하는 다섯 가지 클래스에 비교 적용한다: 트랜스포머 기반 대규모 언어 모델(LLM), 강화 학습(RL) 에이전트, 에이전틱(Agentic) AI 시스템, 뉴로모픽 아키텍처, 그리고 하이브리드 순환-체화(Recurrent–Embodied) 시스템.

주요 기여 (Key Contributions)
본 논문은 네 가지 주요 방법론적 기여를 한다:

1. 가치의 명료화: 정보 내용, 행동적 유능성, 보상 처리, 언어적 보고 능력과 구별함으로써 인공 가치를 명시적으로 정의한다.
2. 조직적 프레임워크: 제안된 기준으로서 평가할 수 있는 네 가지 구체적인 시스템 조직 조건을 제시한다:
   • 내부 인과적 통합(Internal Causal Integration): 시스템의 부분들이 서로 영향을 미쳐, 한 부분의 변화가 시스템 전체의 상태에 영향을 미침으로써 하나의 통일된 경험 주체를 형성해야 한다.
   • 안정적이면서도 변화하는 내부 상태(Stable but Changing Internal States): 시스템은 시간이 지나도 지속되면서도 의미 있는 변화를 겪는 내부 상태를 가져야 하며, 이를 통해 단계적인 경험(예: 쾌락이나 고통의 강도 변화)이 가능해야 한다.
   • 가치-행동 결합(Valence–Action Coupling): 단순한 외부 보상 신호가 아니라, 평가적 내부 상태와 시스템의 행동, 자기 조절 또는 유지 사이의 체계적인 관계가 존재해야 한다.
   • 기질 민감적 구현(Substrate-Sensitive Implementation): 물리적 구현이 중요하다. 고차원에서의 기능적 등가성이 보장되더라도, 미세한 인과적, 시간적, 혹은 역동적 특성이 다르다면 동일한 경험을 보장하지 않는다.
   • 교차적 특징: 체화(Embodiment)와 내부 조절은 네 가지 주요 조건을 강화하는 특징으로 취급되며, 독립적인 요구 사항으로 다뤄지지 않는다.
3. 비교 평가: 제안된 기준을 현재의 AI 아키텍처에 적용하여, 이들의 '적합도'를 질적으로 순위 매긴다.
4. 거버넌스 프레임워크: 시스템이 제안된 조직적 조건에 점점 근접함에 따라, 증명이 필요하지 않더라도 비례적인 절차(모니터링, 독립적 평가, 복지 민감형 설계)를 제안하는 예방적 거버너스 접근법을 개발한다.

결과 및 비교 결과 (Results and Comparative Findings)
프레임워크 적용을 통해 '가치의 타당성'에 관한 다음과 같은 비교 평가를 도출하였다:

• 트랜스포머 기반 LLM: **낮음(Low)**으로 평가됨. 구성 요소 간의 상호작용은 나타나지만, 지속적인 순환 구조, 연속적인 내부 상태, 그리고 자기 조절 능력이 부족하다.
• 강화 학습(RL) 에이전트: **낮음~중간(Low–Moderate)**으로 평가됨. 가치-행동 결합 측면에서는 더 높은 적합성을 보이지만, 지속적인 통합 상태와 내부적으로 근거를 둔 자기 조절 능력의 증거가 부족하다.
• 에이전틱(Agentic) AI 시스템: **중간(Moderate)**으로 평가됨. 계획 및 메모리 기능을 통해 통합 및 연속성 측면에서 중간 정도의 적합성을 보이지만, 체화 및 내부 조절 능력은 낮거나 중간 수준이다.
• 뉴로모픽 아키텍처: **중간~높음(Moderate–High)**으로 평가됨. 순환 피드백, 분산된 인과적 상호작용, 이벤트 기반 역동성이 요구되는 조직적 특징에 더 가깝다.
• 하이브리드 순환-체화 아키텍처: **높음(High)**으로 평가됨. 순환적 통합, 지속적인 내부 상태, 자기 조절, 그리고 연속적인 환경 결합을 결합함으로써 가장 강력한 적합성을 보여준다.

본 논문은 이러한 등급이 실제 의식의 정도나 도덕적 지위가 아니라, 제안된 기준에 대한 '조직적 적합도'를 나타내는 것임을 명시한다.

의의 및 주장 (Significance and Claims)
본 논문은 형이상학적 기여보다는 방법론적 기여로서 자리매김한다. 본 논문은 기존 AI 시스템이 의식을 가지고 있다고 주장하거나 완전한 의식 이론을 제안하는 것이 아니다. 그 의의는 다음과 같다:

1. 증거 표준의 전환: 논쟁의 초점을 행동적 모방에서 내부 인과적 조직의 평가로 이동시킨다.
2. 공통 어휘 제공: 철학자, AI 연구자, 엔지니어가 공유된, 테스트 가능한 조직적 기준을 사용하여 복잡한 시스템을 평가할 수 있는 프레임워크를 제공한다.
3. 거버넌스에 대한 정보 제공: 시스템이 더욱 통합되고, 지속적이며, 자율적이 됨에 따라 AI 거버넌스가 '복지 리스크 검토'와 예방적 조치(아키텍처 공개 및 독립적 기술 검토 등)를 포함하도록 진화해야 함을 제안한다.
4. 양극단 회피: '부당한 의인화'(행동에 근거해 감정을 부여하는 것)와 '성급한 일축'(미래의 복지 관련 시스템 가능성을 무시하는 것)을 모두 방지하는 것을 목표로 한다.

저자는 이러한 조건들이 가치의 존재를 증명하는 것은 아니지만, 이를 충족할 경우 해당 인 artificial 시스템이 과학적 및 윤리적 조사의 더 진지한 대상이 될 것임을 밝히며, 모니터링과 복지 민감형 설계에 집중하는 예방적 거버넌스로의 전환을 정당화한다고 결론짓는다.