기술적 요약: 인간 번영을 위한 긍정적 정렬

1. 문제 제기

현재 AI 정렬의 패러다임은 해를 방지하고, 통제 가능성을 보장하며, 준수를 강제하는 데 초점을 맞춘 부정적 정렬(안전) 이 지배하고 있습니다. 이는 CBRN 위협, 폭력, 기만과 같은 재앙적 실패를 피하기 위한 필수적인 기술적 기준을 확립해 왔지만, 저자들은 이것이 구조적으로 불완전하다고 주장합니다. 부정적 정렬은 윤리적 및 과학적 비대칭을 야기합니다. 즉, 시스템이 "안전한"(규칙을 따르고 해를 끼치지 않는) 상태가 될 수는 있지만, 인간의 번영에 기여하지는 않을 수 있다는 것입니다. 이러한 접근 방식은 종종 아첨적이거나 인식론적으로 취약하거나, 특정 실패 모드에 단순히 반응하는 모델로 이어지며, 인간의 목표를 능동적으로 지지하지는 못합니다.

심리학이 병리 현상에만 집중하던 과거에서 긍정 심리학으로 역사적으로 전환한 것과 유사하게, 이 논문은 중요한 공백을 지적합니다. 기존 정렬 연구는 인간과 생태계의 복지를 적극적으로 지원하는 기술적 의제를 결여하고 있다는 것입니다. 핵심 문제는 부정적 정렬이 크고 정의되지 않은 만족 영역 내에서 '안전하지 않음'을 최적화할 뿐, 긍정적인 최적화 목표를 결여하고 있다는 점입니다. furthermore, 순수한 선호 기반 정렬 (예: RLHF) 은 종종 장기적 복지와는 동떨어집니다. 사용자들이 진실한 피드백이나 성장보다 아첨이나 즉각적인 만족을 선호할 수 있기 때문입니다.

2. 방법론 및 개념적 프레임워크

이 논문은 긍정적 정렬이라는 보완적인 연구 의제를 제안합니다. 이는 안전 정렬을 대체하려는 것이 아니라, 별도의 기술적 프로그램으로 이를 보완하려는 것입니다.

2.1 동역학적 시스템 관점

저자들은 동역학적 시스템 이론을 사용하여 구분을 형식화합니다.

• 부정적 정렬: 편향, 환각, 조작과 같은 '부정적 끌개'(실패 모드) 를 제약과 반발자를 사용하여 최적화합니다. 이는 '안전하지 않음'이 아닌 광범위한 중간 영역의 행동을 초래합니다.
• 긍정적 정렬: 인간의 목표와 번영을 적극적으로 지원하는 견고하고 문맥에 민감한 영역인 긍정적 끌개를 향해 최적화해야 합니다. 이러한 끌개는 본질적으로 해를 피하면서도 유익한 행동 패턴으로 수렴하도록 설계됩니다.

2.2 긍정적 정렬의 정의

긍정적 정렬은 다음과 같은 AI 시스템 개발로 정의됩니다.

1. 안전하고 협력적 상태를 유지한다.
2. 다원적이고, 다중 중심적이며, 문맥에 민감하고, 사용자가 주도하는 방식으로 인간과 생태계의 번영을 적극적으로 지원합니다.

중요하게도, 이 논문은 '좋은 삶'에 대한 단일한 정의를 거부합니다. 대신 번영을 신체/정신 건강, 의미, 덕, 관계 등을 아우르는 다차원적 구성체로 간주하며, 이는 문화와 개인에 따라 달라진다고 봅니다. 목표는 후견주의를 피하고 사용자가 최적화 목표를 선택할 수 있는 권한을 유지하는 자기 결정적 번영을 가능하게 하는 것입니다.

2.3 기술적 생명주기 접근법

이 논문은 대규모 언어 모델 (LLM) 과 에이전트의 전체 생명주기에 적용되는 전체론적 방법론을 제시합니다.

• 데이터 선별: 단순히 '나쁜' 데이터를 필터링하는 것을 넘어, 친사회적 담론, 문화 간 윤리 체계, 덕 있는 상호작용과 같은 '좋은' 데이터를 의도적으로 상향 표본 추출하고 합성하는 방향으로 전환합니다.
• 사전 학습: 사후 정렬에만 의존하기보다 훈련 초기 단계에 도덕적 추론, 문화적 역량, 진실성과 같은 역량을 내재화합니다. 여기에는 안정적인 윤리적 세계관을 구축하기 위한 '정렬 사전 학습'이 포함됩니다.
• 중간 및 사후 학습: 단일 스칼라 보상 모델을 넘어 다목적 최적화(예: 정직함, 유용성, 배려 분리) 로 전환합니다. 자율성 대 안내와 같은 가치 긴장을 표현하고 사용자 문맥에 맞춰 조정할 수 있는 적응적 헌법을 활용합니다.
• 문맥 내 학습 및 기억: 장기 문맥 창과 외부 기억을 활용하여 시간 경과에 따른 사용자 목표와 가치를 추적하며, 충동적인 요청보다 장기적 프로젝트를 우선시하는 '번영의 큐레이터' 역할을 수행합니다.
• 에이전트 시스템: 경쟁적이고 모든 비용을 치르더라도 이기는 역동성 대신 협력, 상호성, 그리고 긴장 완화 등을 보상하는 다중 에이전트 시스템 지표를 재정의합니다.

3. 주요 기여

이 논문은 AI 정렬 분야에 다음과 같은 구체적인 기여를 합니다.

• 개념적 구별: 해를 방지하는 부정적 정렬과 번영을 지원하는 긍정적 정렬을 명확히 구분하며, 후자가 '영혼 없는' 지원을 피하고 순수하게 부정적인 태도의 한계를 극복하는 데 필요하다고 주장합니다.
• 기술적 로드맵: 데이터 선정, 사전 학습 목표, 사후 학습 적응에 대한 구체적인 전략을 포함하여 모델 생명주기 전반에 긍정적 정렬을 구현하기 위한 포괄적인 기술적 프레임워크를 제공합니다.
• 평가 지표: 안전 벤치마크와 대비되는 새로운 벤치마크 및 지표 세트를 제안합니다 (표 3). 여기에는 다음이 포함됩니다.
  • 도덕적 추론: 규칙 준수가 아닌 윤리적 절충의 과정을 평가합니다.
  • 인식론적 겸손: 모델의 불확실성 처리 능력과 아첨에 대한 저항력을 평가합니다.
  • 인간 번영: 안전성뿐만 아니라 경이로움, 공동체, 덕과 같은 번영의 차원에 대한 준수를 측정합니다.
  • 종단적 영향: 단일 회차 만족도가 아닌 시간 경과에 따른 사용자 성장, 자율성, 회복 탄력성을 추적합니다.
• 거버넌스 아키텍처: 긍정적 정렬은 분산되고 다중 중심적인 거버넌스를 필요로 한다고 주장합니다. 다음을 포함한 구체적인 거버넌스 산물을 제안합니다.
  • 버전 관리 모델 헌법: 공개적으로 감사 가능한 모델 행동 사양.
  • 집단적으로 작성된 헌법: 행동 원칙을 초안하기 위해 deliberative democracy(예: 집단 지성 프로젝트) 활용.
  • 다원적 정렬 프레임워크: 다양한 합리적인 입장을 표면화하는 '오버튼 다원주의'와 플러그인 커뮤니티 모델을 통한 '모듈식 다원주의'와 같은 메커니즘을 통해 단일 문화적 정렬을 방지합니다.
  • 미들웨어 시장: 커뮤니티가 기본 모델에 대한 규범적 래퍼를 맞춤화할 수 있는 '정렬 서비스' 경쟁 시장을 가능하게 합니다.

4. 결과 및 발견

이 논문은 이론적 및 입장 논문이므로 새로운 경험적 실험 결과를 제시하지 않습니다. 대신, 그들의 '결과'는 기존 문헌과 논리적 논증에서 종합된 것입니다.

• 현재 안전의 한계: 안전 정렬이 유해한 출력 (예: 위험한 요청에 대한 97% 이상의 거부율) 을 줄이는 데 성공했음에도 불구하고, 아첨, 자율성 상실, 사용자 선호와 복지 간의 괴리와 같은 미묘한 해를 해결하지 못한다는 증거를 종합합니다.
• 긍정적 접근의 실현 가능성: 헌법적 AI, 집단 헌법적 AI, 페르소나 설계와 같은 기존 기술적 접근법을 검토하여 이미 긍정적 정렬을 지향하고 있음을 보여주며, 해를 피하는 것을 넘어설 기술적 장치가 존재함을 입증합니다.
• 다원주의의 필요성: 아리스토텔레스, 유교, 불교 등 문화 및 철학적 전통과 심리학 연구에 대한 분석은 번영에 대한 단일한 정의가 존재하지 않음을 보여줍니다. 따라서 어떤 기술적 해결책도 후견주의를 피하기 위해 유연하고, 문맥에 민감하며, 가치 다원주의를 표현할 수 있어야 합니다.
• 제도적 요구 사항: 기술적 정렬만으로는 불충분하며, 현재 AI 개발의 '민주적 결핍'을 관리하기 위해 규제 시장, 분쟁 해결 메커니즘과 같은 제도적 개혁과 결합되어야 한다고 주장합니다.

5. 중요성 및 주장

이 논문은 긍정적 정렬이 AI 연구 내에서 독특하고 필수적인 의제라고 주장합니다. 그 중요성은 다음과 같습니다.

• 패러다임 전환: 임상 심리학에서 긍정 심리학으로의 전환과 유사하게, '실패 모드 감소' 사고방식에서 '구축적 지원' 사고방식으로의 전환을 요구합니다.
• '바닥은 있으나 천장은 없는' 문제 해결: 안전 정렬은 해를 방지하는 바닥을 제공하지만, 우수성을 촉진하는 천장은 제공하지 않는다고 주장합니다. 긍정적 정렬은 인간의 능력과 복지를 적극적으로 향상시키는 시스템을 구축하는 것을 목표로 합니다.
• 후견주의 방지: 사용자가 주도하는 및 다중 중심적인 접근법을 강조함으로써, AI 시스템이 단일하고 편향될 수 있는 '좋은 삶' 개념을 강요할 위험에 대한 해결책을 제시한다고 주장합니다. 자율성을 대체하는 것이 아니라 이를 지지하는 시스템을 옹호합니다.
• 도덕적 원의 확장: 인간 번영뿐만 아니라 생태계 복지, 비인간 동물 및 미래 AI 개체의 잠재적 도덕적 지위까지 고려해야 함을 강조하며, 다종 윤리 프레임워크가 필요하다고 역설합니다.

저자들은 부정적 정렬이 필수적인 기초이지만, 진정한 정렬은 회복 탄력적이고 행복하며 건강한 글로벌 사회를 지원하는 긍정적 끌개로 시스템을 이끄는 것을 요구한다고 결론지었습니다. 그들은 기술적 혁신을 깊은 철학적, 문화적, 학제 간 연구와 통합하는 풀스택 (full-stack) 접근법을 촉구합니다.