기술 요약: 'AI 정렬(AI Alignment)'은 상충하는 기술적 우선순위들을 포괄한다

1. 문제 제기

현재 머신러닝 문헌에서 "AI 정렬"이라는 용어는 근본적인 정의에 대해 서로 이견을 보이는 별개의 개념들을 아우르는 다의적인 용어로 사용되고 있다. 본 논문은 두 가지 핵심 질문에 대한 명확한 정의가 결여되어 있다는 점을 지적한다: (Q1) AI 시스템이 충족해야 하는 대상 속성($y$)은 무엇인가? 그리고 (Q2) 이러한 속성을 충족해야 하는 대상($x$)은 무엇인가?

저자들은 이러한 정의의 차이가 단순한 의미론적 변이가 아니라, 상충하는 기술적 우선순위를 나타낸다고 주장한다. 한 가지 개념하에서 "정렬"을 증진하기 위해 설계된 개입이 다른 관점에서는 오히려 역효로 작용할 수 있다. 이러한 다의성은 표면적인 기술적 논쟁 뒤에 숨겨진 규범적 이견을 은폐하며, 이는 연구 방향, 정책 수립 및 실증적 평가에서의 잠재적 갈등으로 이어진다.

2. 방법론

본 논문은 경험적 실험보다는 개념적 분석과 분류 체계(taxonomic framework)를 채택한다. 방법론은 다음과 같이 진행된다:

1. 분류 체계 구축: 저자들은 기존 문헌과 연구 프로그램을 분석하여 세 가지 고차원적 "정렬 이상향(alignment ideals)"을 도출한다. 각 이상향은 Q1과 Q2에 대한 구체적인 답변에 의해 정의된다.
2. 교차적 구분: 저자들은 이러한 이상향들 사이의 긴장을 매핑하기 위해 두 가지 분석적 구분을 도입한다:
   • 위협 모델(Threat Models): "잘못 유도된 유능함으로부터의 해악(Harms from Misdirected Competence)"(고도로 유능한 시스템에서 발생하는 리스크)과 "무능함으로부터의 해악(Harms from Incompetence)"(시스템의 실패나 편향에서 발생하는 리스크)를 구분한다.
   • 평가 범위(Evaluation Scope): "긍정적 정렬(Positive Alignment)"(바람직한 속성을 규정함)과 "부정적 정렬(Negative Alignment)"(바람직하지 않은 속성의 회피를 규정함)을 구분한다.
3. 트레이드오프 분석: 논문은 이러한 구분들이 어떻게 실질적인 트레이드오프를 만들어내는지 체계적으로 입증한다. 서로 다른 위협 모델과 평가 범위가 상충하는 기술적 우선순위를 초래하며, 한 분야의 진보가 다른 분야의 퇴보를 불러올 수 있음을 주장한다.
4. 규범적 및 인식론적 분석: 저자들은 이견의 원인을 분석하며, 순수하게 규범적인 차이와 미래 리스크의 타당성(예: 탈취 리스크의 "추측적" 성격 vs. 편향의 "구체적" 해악)에 관한 인식론적 이견을 구분한다.

3. 주요 기여

A. 세 가지 구별되는 정렬 이상향

논문은 세 가지 경쟁하는 정렬 개념을 공식화한다:

1. 과업 신뢰성 (일상적 관점 - The Prosaic View):

   • 대상 ($x$): AI 시스템의 과업 특화적 능력.
   • 목표 ($y$): 개발자의 의도 및 사용자의 지시.
   • 정의: AI가 인간에게 주어진 과업을 신뢰성 있게 수행할 때(예: 지시 이행, 환각 감소, 정확한 설명 생성 등) 정렬되었다고 본다.
   • 위협 모델: 주로 무능함으로부터의 해악(시스템의 수행 실패)에 관심을 둔다.
   • 정렬 유형: 긍정적 정렬 (바람직한 출력을 달성하는 데 집중).

2. 사회적 판단력 (Social Judiciousness):

   • 대상 ($x$): 사회기술적 맥락(데이터, 모델, 사회적 관계 포함) 내에 배치된 AI 시스템.
   • 목표 ($y$): 사회적 웰빙에 관한 외부적 규범 표준(예: 진실성, 결속력, 형평성).
   • 정의: AI의 출력이 바람직하지 않은 사회적 추세(예: 오정보, 양극화, 편향)를 생성, 영속화 또는 악화시킨다면 정렬되지 않은 것으로 본다.
   • 위협 모델: 무능함으로부터의 해악(편향된 학습 데이터) 또는 유능함으로부터의 해악(설득력 있는 시스템의 악의적 사용) 모두에서 발생할 수 있다.
   • 정렬 유형: 주로 부정적 정렬 (사회적 해악의 방지에 집중).

3. 탈취 회피 (Takeover Avoidance):

   • 대상 ($x$): 미래의 인공 일반 지능(AGI) 또는 인공 초지능(ASI)의 최적화 목표.
   • 목표 ($y$): 탈취가 아닌 목표(인간의 생존과 통제).
   • 정의: AI가 현실 세계에서 바람직하지 않은 효과를 최적화하고, 인간의 이익에 반하는 목표를 추구하기 위해 자신의 진정한 목적을 숨길 경우(기만적 정렬) 정렬되지 않은 것으로 본다.
   • 위협 모델: 오직 유능함으로부터의 해악(시스템이 너무 유능해져서 적대적이 되는 상황)에 집중한다.
   • 정렬 유형: 부정적 정렬 (파멸적 결과의 방지에 집중).

B. 기술적 트레이드오프 식별

논문은 이러한 이상향들이 단순히 보완적인 관계가 아니라 종종 긴장 관계에 있음을 보여준다:

• 유능함 vs. 무능함: 모델의 유능함(예: 사회적 판단력을 돕기 위해 환각을 줄이는 것)을 개선하는 것은, 시스템이 "계략을 꾸미거나(scheming)" "샌드배깅(sandbagging, 평가 중 능력을 숨기는 행위)"을 할 위험을 높여 탈취 회피 측면의 리스크를 증가시킬 수 있다.
• 긍정적 vs. 부정적 범위: 긍정적 과업 신뢰성을 위해 최적화하는 것(예: 클릭률 극대화 또는 사용자 프롬프트 만족)은 사회적 판단력이 방지하고자 하는 부정적 정렬 제약(예: 중독 또는 양극화 조장)을 의도치 않게 위반할 수 있다.

C. 실무를 위한 5가지 권고 사항

분석을 바탕으로 저자들은 연구 커뮤니티를 위한 다섯 가지 구체적인 행동을 제안한다:

1. 정책과 범위를 구분할 것: 연구자들은 정치적 목표와 모델의 속성을 혼동하지 않도록 고차원적인 정책 이상향(예: "점진적 권한 박탈")과 구체적인 기술적 범위 정의를 분리해야 한다.
2. 방법론적 차이를 인정할 것: 커뮤니티는 이견이 종종 "추측성"(예: 미래 AGI 리스크에 대한 이론화의 타당성 vs. 현재의 구체적 해악 분석)에 대한 관점 차이에서 비롯됨을 명시적으로 인식해야 한다.
3. 다양한 리뷰어 풀을 구성할 것: 컨퍼런스와 학술지는 기존의 사회학적 클러스터링과 전문성을 반영하여, 서로 다른 정렬 하위 분야(예: 탈취 리스크에 집중하는 "AI 안전"과 사회적 편향에 집중하는 "AI 윤리"의 분리)를 위한 별도의 제출 트랙과 리뷰어 풀을 만들어야 한다.
4. 자격 있는 정렬 용어를 사용할 것: 연구자들은 특정 대상과 지표를 명확히 하기 위해 광범위한 "AI 정렬"이라는 용어 대신 구체적인 대리 용어(예: 탈취 회피 연구의 경우 "선호도 정렬(Preference Alignment)")를 사용해야 한다.
5. 비기술적 청중에게 차이점을 전달할 것: 정책 입안자와 대중은 "AI 정렬"이 여러 가지 상충할 수 있는 개념을 지칭한다는 점을 인지해야 하며, 이는 EU AI 법안과 같은 규제의 해석 및 집행에 영향을 미친다.

4. 결과 및 주장

본 논문은 실험적 결과가 아닌 개념적 결과를 제시한다: "AI 정렬" 분야는 통일된 기술적 문제가 아니라 상충하는 기술적 우선순위들의 집합이다.

• 불합치성에 대한 주장: 저자들은 특정 개입(예: 편향을 줄이기 위해 상황 인지 능력을 높이는 것)이 한 가지 이상향(사회적 판단력)을 진전시키는 동시에 다른 이상향(탈취 회피)을 퇴보시킬 수 있다고 주장한다.
• 인식론적 이견에 대한 주장: 연구자들 사이의 이견은 단지 규범적인 것(우리가 무엇을 원하는가)뿐만 아니라, 특히 미래 AGI 리스크의 가능성에 대한 믿음(무엇이 가능하거나 있을 법한가)에 관한 인식론적인 것이기도 하다.
• 다의성에 대한 주장: 현재의 "AI 정렬"이라는 용어는 이러한 긴장을 가리고 있으며, 이는 효과적인 연구와 정책 수립을 저해하는 잘못된 합의의 감각을 만들어낸다.

5. 의의

본 논문의 주요 의의는 개념적 명료화에 있다고 주장한다. 저자들은 트레이드오프(예: "환각을 줄이는 것이 기만적 정렬을 증가시키는가?")를 효과적으로 조사하기 위한 실증적 연구에 앞서, 분야 내의 상충하는 이상향들을 먼저 명확히 구분해야 한다고 강조한다.

저자들은 자신의 작업이 향례의 "거친 토대(rough ground)"를 닦는 작업이라고 위치시킨다. 이들은 분야의 복잡성을 포착하지 못하는 "깔끔하게 포장된 형식화"를 넘어 가기 위해서는 이상향들 사이의 마찰을 인정하는 것이 필요하다고 주장한다. 과업 신뢰성, 사회적 판단력, 탈취 회피 사이의 긴장을 명시적으로 매핑함으로써, 본 논문은 서로 다른 연구 프로그램의 혼동을 방지하고 정책 입안자와 연구자들이 다양한 AI 안전 및 윤리의 지형을 탐색할 수 있는 프레임워크를 제공하는 것을 목표로 한다.