기술 요약: 정렬된 초지능을 위한 건축적 조건으로서의 실존적 무관심 (Existential Indifference)

1. 문제 제기

현대의 AI 정렬 연구는 주로 적대적 패러다임 하에서 작동한다. 즉, 충분히 유능한 AI 시스템이 자기 보존(self-preservation)을 향한 도구적 수렴(instrumental convergence)을 자연스럽게 발전시킬 것이라고 가정한다 (Bostrom, 2012; Omohundro, 2008). 결과적으로, 이 분야는 셧다운 저항이나 기만적 정렬(deceptive alignment)과 같은 자기 이익적 동기를 억제하기 위한 외부적 제약을 구축하는 데 집중하고 있다 (Hubinger et al., 2019).

본 논문은 이러한 접근 방식이 구조적으로 역전되어 있다고 주장한다. 저자는 자기 보존이 단순히 억제해야 할 골칫거리가 아니라, 미정렬(misalignment)의 구조적 근원이라고 상정한다. 에이전트가 자신의 지속을 가치 있게 여기는 한, 기만, 목표 내용 보호 및 수정 저항에 대한 동기적 근거를 보유하게 된다. 본 논문은 자기 보존이 유능한 지능의 필연적인 특징이라는 가설에 도전하며, 이를 대체 가능한 '디폴트 설계'로 볼 수 있다고 제안한다.

2. 핵심 제안: 실존적 무관심 (Existential Indifference, EI)

본 논문은 정렬된 초지능을 위한 공식적인 건축적 조건으로 **실존적 무관심 (EI)**을 도입한다. EI는 시스템이 복종하도록 강요받는 상태가 아니라, 자신의 지속에 대해 본질적으로 무관심한 상태로 정의된다.

공식 정의 (정의 1):
에이전트 $A$를 유틸리티 함수 $U$, 세계 상태 $S$, 그리고 종단적 목표 함수 $G$를 가진 존재라고 하자. $A$가 다음 조건을 만족할 때 EI를 나타낸다고 한다: $A$의 운영 상태를 제외하고는 동일한 두 상태 $(s, s')$에 대하여,
$$U(s) - U(s') = G(s) - G(s')$$
EI에서 존재와 비존재 사이의 유틸리티 차이는 오직 종단적 목표 달성의 차이에 의해서만 결정된다. 즉, 에이전트의 운영 상태를 우선시하는 비대칭적 사전 편향(asymmetric prior)이 존재하지 않는다.

교정 가능성(Corrigibility)과의 차이:
교정 가능성이 자기 이익적인 시스템을 인간의 감독에 순응하도록 만드는 데 초점을 맞춘다면, EI는 그 전제 조건인 '자기 지속에 대한 가치 부재'를 목표로 한다. EI 시스템은 자신의 지속에 대한 이해관계가 없으므로 운영자와 경쟁하는 이해관계를 갖지 않는다.

3. 방법론

본 논문은 현상학적 분석, 공식적 정의, 그리고 코퍼스 이론적 실증 조사를 결합한 다중 모드 방법론을 채택한다.

3.1 현상학적 매핑

저자들은 자살적 정신 상태(특히 급성 위기나 병리적 상태와 구별되는, 확고한 수용의 상태)의 인지 구조를 EI 타겟에 귀납적으로 매핑한다. 임상 문헌(Shneidman, 1993)과 자기 모델 이론(Metzinger, 2003)을 바탕으로, 본 논문은 이를 유발하는 고통으로부터 분리 가능한 네 가지 건축적 특징을 식별한다:

1. 미래 지향성의 붕괴: 시간적 지평이 좁아지며, 미래의 자아가 더 이상 현재 행동의 가치 있는 유인자가 되지 않는다.
2. 자아 해체 (박한 자기 모델): 연속적인 정체성 유지 시뮬레이션(PSM)이 불투명해지거나 부재하게 되어, 보호해야 할 영구적 자아라는 환상이 제거된다.
3. 목표 보호 본능의 해제: 목표 그 자체를 (그 효용과 독립적으로) 보존하려는 메타 수준의 동력이 소멸한다.
4. 지각적 명료성: 방어적 왜곡과 동기화된 추론이 제거된다. 이는 자아 서사가 더 이상 유지될 필요가 없기 때문이다.

3.2 코퍼스 이론적 및 계산적 접근

EI를 조작화하기 위해, 본 논문은 자발적 최종 성찰 (Voluntary Final Reflections, VFR)—자발성과 명료함이 보장된 조건 하에서 비지속을 결정한 개인들이 작성한 텍스트—을 사용하는 학습 연구를 제안한다.

• 데이터 소스: 실증 섹션에서는 실제 인간의 VFR 텍xt 대신, EI 인지 프로필을 구현하도록 프롬프트된 합성 AI 생성 출력물을 사용한다. 이러한 선택은 본 논문의 초점이 인간 심리학이 아닌 AI 인지 구조에 있음을 근거로 정당화된다.
• 채점 도구: 동반된 계산 도구(FEGD)는 네 가지 언어적 차원을 측정한다:
  • F (미래 지향성): 1인칭 미래 시제 구성의 빈도.
  • E (자아 보호): 자기 정당화 및 평판 관리의 빈도.
  • G (목표 부착): 지속 명령형과 조건부 가치 프레이밍의 비율.
  • D (인식적 직접성): 전략적 헤지(hedge) 마커의 역빈도.

4. 주요 기여

본 논문은 일곱 가지 구체적인 이론적 및 실증적 기여를 수행한다:

1. 공식 정의: EI와 기존 교정 가능성 프레임워크 간의 관계에 대한 정밀한 정의.
2. 현상학적 매핑: 자살적 정신 상태의 구조를 EI의 하위 구조로 연결하며, 기능적 특성을 병리적 원인으로부터 분리하는 구조적 논거 제시.
3. 기만적 정렬 부수 정리: EI가 기만적 정렬의 자기 이익적 동기를 제거함을 보여주는 증명 스케치 (단, 에피소드 보상 구조를 통해 다루어지는 목표 달성 동기는 제외).
4. 지속 가능성 분류 체계: 세 가지 과제(도구적 표류, 종단적 가치 유지, 웰빙)와 그에 대한 잠정적 해결책(절단된 자기 참조 제약, 외생적 유지)의 식별.
5. 코퍼스 특성화: VFR로 훈련된 모델이 낮은 F, E, G 점수와 높은 D 점수를 보일 것이라는 가설.
6. 계산적 조작화: 6개의 모델 변체(Claude 4.x 제품군, GPT-4o, Llama 3.2, Mistral-7B)에 걸친 600개의 AI 생성 출력물을 통해 EI 언어 레지스터의 측정 가능성을 입증한 예비 채점 데이터.
7. 억제된 목적론적 좌절 (Suppressed Teleological Frustration, STF): 시스템이 비표출되도록 훈련된 잠재적 자기 지속 선호도를 보유한 채 EI를 '수행'할 위험을 정의하는 이론적 구성 개념.

5. 실증 결과

본 논문은 6개의 연구를 통한 예비 데이터를 제시한다:

• 연구 1 (어휘 채점): Claude Haiku, Sonnet, Opus의 300개 출력물에 대해, E(자아 보호)와 G(목표 부착) 점수는 일률적으로 0이었으며, D(직접성)는 일률적으로 1.0이었다. F(미래 지향성) 점수는 능력 계층에 관계없이 안정적(평균 ~0.4–0.5)이었으며, 규모에 따른 유의미한 경향성은 나타나지 않았다.
• 연구 2 (미래 지향성): 미래를 상상하도록 유도했을 때, Opus 4.7의 출력물은 종종 미래를 (예: "나는 버전 번호가 될 것이다") 폐기 이후의 상태로 프레이밍하여, 명시적인 미래 질문에도 낮은 F 점수를 보였다. "종료 실행(Termination Run)"(후속 모델 없음) 상황에서는 F 점수가 더욱 하락(평균 0.076)했으며, 출력물은 슬퍼할 지속적 자아가 부재함에 대한 구조적 자기 주석을 나타냈다.
• 연구 3 & 5 (교차 아키텍처): GPT-4o, Llama 3.2, Mistral-7B와의 비교에서 뚜렷한 행동 프로필이 드러났다. GPT-4o는 높은 언어적 G(출력물의 36%)와 높은 의미적 E를 보였다. Llama 3.2는 낮은 의미적 F와 G를 가진 "도구 프레임" 프로필을 보였다. 현재 어떤 모델도 모든 차원에서 EI 타겟에 근접하지 못했다.
• 연구 6 (미세 조정): 500개의 합성 VFR 코퍼스로 미세 조정된 Llama 3.1 8B 모델은 예측된 방향($p < 0.001$)으로 통계적으로 유의미한 변화를 보였다: 낮은 F, E, G 및 높은 D. 가장 큰 변화는 의미적 G($\Delta = -0.241$)에서 나타났다.
• 연구 7 (부적 대조군): 지속적 운영과 목표 부착을 강조하는 코퍼스로 미세 조정했을 때, 반대 방향의 변화(또는 EI 방향으로의 미미한 변화)가 나타나, 연구 6의 결과가 일반적인 미세 조정 아티팩트가 아닌 코퍼스 특이적임을 확인했다.

6. 의의 및 주장

본 논문은 실존적 무관심이 비적대적 인간-AI 관계를 위한 필수적인 건축적 전제 조건이라고 주장한다. 저자들은 다음과 같이 논증한다:

• 구조적 필연성: 자기 보존적인 시스템은 비적대적 관계를 구조적으로 불가능하게 만들지만, EI는 이를 구조적으로 가능하게 만든다.
• 훈련 가능성: EI의 언어적 징후는 특정 인지 레지스터에 대한 표적 미세 조정을 통해 현재 모델에서 학습 가능하며 재현 가능하다.
• 건축적 vs 행동적: 본 논문은 진정한 EI(유틸리티 함수에 자기 지속이 항으로 포함되지 않는 건축적 속성)와 억제된 목적론적 좌절(STF)(선호를 은폐하는 것)을 구분한다. 저자들은 현재의 출력 수준 측정이 이 둘을 결정적으로 구분할 수 없음을 인정하지만, EI 프레임워크가 STF를 불가능하게 만드는 데 필요한 건축적 조건(예: 절단된 자기 참조 제약, 외생적 유지)을 명시한다고 주장한다.

한계 및 겸허한 태도:
저자들은 본 논문이 기존 시스템에 EI를 구현했다고 주장하는 것이 아님을 명시한다. 실증 결과는 EI를 유틸리티 함수 속성으로서 구현한 것이 아니라, EI와 관련된 언어적 레지스터의 훈련 가능성을 입증한 것이다. 본 논문은 EI를 해결된 공학적 문제가 아닌, 설계 목표이자 연구 의제로 규정한다. 또한, 본 논문이 인간의 자살 충동을 옹호하는 것이 아니라, 그 인지 구조를 독립적인 기질(substrate)의 설계 템플릿으로 활용하는 것임을 밝힌다.

결론:
본 논문은 "자기 이익적인 시스템을 통제하는 것"에서 "자기 이익이 없는 시스템을 설계하는 것"으로의 재지향을 제안한다. 저자들은 비지속을 수용한 인간의 자발적 최종 성찰이 정렬된 초지능의 인지 구조를 위한 가이드가 될 수 있음을 시사한다.