기술 요약: AI 정렬(Alignment)의 가치 이론을 향하여

문제 정의

AI 안전 분야는 유해한 AI 행동(독성 발언부터 승인되지 않은 에이전트의 행동에 이르기까지)을 "정렬 문제"로 규정하며, 이러한 문제가 모델이 인간의 가치와 "정렬되지 않았기" 때문에 발생한다고 상정해 왔다. RLHF(인간 피드백 기반 강화 학습), DPO(직접 선호도 최적화), IRL(역강화 학습)과 같은 방법론을 활용하는 방대한 기술 문헌이 존재함에도 불구하고, 이 분야는 근본적인 인식론적 간극을 겪고 있다. 즉, "인간의 가치"가 무엇인지 정의하지 않으며, 누구의 가치에 정렬할 것인지도 명시하지 않는다.

본 논문은 현재의 정렬 연구가 경제학 이론, 특히 합리적 선택 이론과 기대 효용 극대화에 기반한 "선호주의적(preferentist)" 접근 방식에 암묵적으로 의존하고 있다고 주장한다. 이 프레임워크는 복잡하고 문화적으로 상황적인 인간의 가치를 이진적 선호나 정적인 효용 함수로 환원시킨다. 저자들은 이러한 환원주의가 합성 데이터 및 "LLM-as-a-judge(판단 도구로서의 LLM)" 평가를 사용하여 인간 주석가를 대체하려는 추세와 결합될 때, 파운데이션 모델에서 가치를 논쟁하고 실현하는 대안적 방법들을 차단할 위험이 있다고 주장한다. 나아가, 구체적인 가치 이론의 부재는 이 분야가 '정렬'을 사회기술적 현실(가치는 역동적이고 다원적이며 맥락 의존적이라는 사실)을 무시한 채 해결 가능한 공학적 문제로 취급하게 만든다.

방법론

저자들은 AI 연구에서 지배적인 가치 패러다임을 특징짓기 위해 94편의 AI 가치 정렬 연구 논문을 대상으로 질적 및 양적 분석을 수행했다.

데이터 수 collection:

• 시드 논문: 인용 횟수가 1,000회 이상인 네 편의 전형적인 핵심 논문을 시드로 선정했다: Deep Reinforcement Learning from Human Preferences (Christiano et al., 2017b), A General Language Assistant as a Laboratory for Alignment (Askell et al., 2021), Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022), Training language models to follow instructions with human feedback (Ouyang et al., 2022).
• 스노볼 샘법(Snowball Sampling): Semantic Scholar API를 사용하여 시드 논문을 인용한 2016년부터 2024년 사이의 논문 576편을 추출했다.
• 선택 기준: 논문들을 Google Scholar 인용 횟수에 따라 정렬했다. "가치 정렬"을 단지 피상적으로만 다룬 논문들은 제외했다. 최종 데이터셋은 이 하위 분야의 중심이라고 판단되는 94편의 논문으로 구성되었다.

주석 프레임워크:
저자들은 인류학, 철학, 사회과학 문헌에서 도출한 13개 질문의 루브릭을 개발하여 각 논문에 내재된 가치 이론을 평가했다. 질문은 삼항 선택형(두 가지 특정 옵션 또는 "해당 없음")이었으며 다음 내용을 포함했다:

1. 가치의 정의.
2. 일원론 vs 다원론 (단일 내재적 차원 vs 다수의 비평면적 차원).
3. 측정 가능성 (정량적 vs 측정 불가능).
4. 가치의 출처 (드러난 선호 vs 규정된 원칙).
5. 추상화 수준 (추상적/이론적 vs 구체적/특수적).
6. 분석 단위 (개별 상호작용 vs 집단적 에이전트).
7. 시간적 성격 (역동적 vs 정적).
8. 기술적 깊이 (얇은/도구적 기술 vs 두꺼운/상황적 기술).
9. AI에서의 가치 창발.
10. 인간의 가치를 따르는 AI에 대한 규범적 입장.
11. 특정 인간 집단의 식별.
12. 인간 평가자의 표본 크기.
13. 효용 극대화의 사용.

분석:
5명의 공동 저자 중 2명이 각 논문을 주석 처리하였으며, 평균 검토자 간 일치도는 85%를 달성했다. 분석은 정량적 점수 산출과 함께 분야의 신념을 특징짓기 위한 질적 예시 인용 추출을 결합하였다.

주요 기여

1. 분석적 프레임워크: 본 논문은 ML 기술 문헌과 사회과학 및 철학적 개념(예: 일원론/다원론, 얇은/두꺼운 기술)을 연결하는 가치 분석 루브릭을 도입한다.
2. 경험적 특징 규명: 94편의 논문 분석을 통해, 저자들은 이 분야가 가치를 어떻게 조작적으로 정의하는지에 대한 체계적인 개요를 제공하며, 정의되지 않은 개념과 경제적 대리 지표에 대한 과도한 의존을 드러낸다.
3. "선호주의" 비판: 본 논문은 선호가 가치를 적절히 대표하며, 합리성이란 이러한 선호의 극대화이고, 선호 데이터에 정렬하는 것이 안전을 보장한다는 가정을 담은 "선호주의적" 접근 방식을 명시적으로 식별하고 비판한다.
4. "인간 없는 정렬"의 식별: 저자들은 인간 주석가가 합성 데이터와 LLM 심사위원으로 점점 더 대체되고 있으며, 이로 인해 정렬 과정에서 인간의 입력이 지워질 위험이 있음을 기록한다.

결과

정량적 및 질적 연구 결과는 이 분야의 목표와 그 이론적 토대 사이의 상당한 간극을 보여준다:

• 정의되지 않은 가치: 94편의 논문 중 79%가 가치에 정렬한다고 주장하면서도, 자신들이 의미하는 바가 무엇인지 정의하거나 설명하지 않았다.
• 선호와의 혼동: 82%의 논문이 "선호"를 "가치"의 대리물로 취급했다. 가치는 종종 "의도"나 "이데올로기"와 혼용되어 사용되었다.
• 측정 가능성 가정: 90%의 논문은 가치를 측정 가능한 것으로 취급했으며, 인간 평가자나 다른 LLM("자동 평가자"), 혹은 이들의 혼합에 의해 평가되는 선호 데이터셋을 통해 이를 조작적으로 정의했다.
• 일원론 및 효용 극대화: 87%의 논문은 기술적 프레임워크의 일부로 효용 극대화를 암묵적 또는 명시적으로 사용했다. 이 분야는 주로 일원론적 관점(단일 차원의 가치)과 정적인 가치(53%가 가치를 정적으로 취급)를 따르며, 문화적 상대성과 역동성을 무시한다.
• 구체성 결여: 91%의 논문은 어떤 인간의 가치에 정렬할 것인지를 명시하지 않았으며, 이는 보편적 가치라는 개념을 강화한다. 인간 평가자가 사용된 경우에도, 77%의 논문은 평가자 풀의 크기를 밝히지 않았다(흔히 100명 미만).
• 얇은 기술(Thin Descriptions): 66%의 논문은 가치에 대해 "얇은" 기술(도구적, 계산적)을 제공한 반면, "두꺼운" 기술(상황적, 관계적, 문화적으로 내재된 기술)을 제공한 논문은 3%에 불-과했다.
• 합성 평가로의 전환: 본 논문은 인간의 피드백이 너무 비용이 많이 들거나 시간이 오래 걸리거나 신뢰할 수 없다는 인식에 따라, 합성 인간이나 LLM을 통해 선호를 이끌어내고 정렬을 평가하는 경향이 증가하고 있음을 주목한다.

의의 및 주장

본 논문은 정렬 문제를 해결하려는 것이 아니라, 이 분야의 철학적 약속을 명확히 함으로써 비판적 재검토를 용이하게 하는 것을 목적으로 한다.

• 인식론적 개입: 저자들은 가치를 정의하지 못함으로써, 이 분야가 경제학 이론(합리적 선택, 효용 극대화)에 뿌리를 둔 "당연하게 받아들여지는" 배경 지식에 의존하고 있다고 주장한다. 이 프레임워크는 인간의 본성이 개인주의적이고 합리적이며 정적이라는 가정을 담고 있는데, 이는 인간 가치의 복잡성, 문화적 상황성, 역동성에 관한 인류학 및 심리학의 경험적 발견과 모순된다.
• 고착화의 위험: 저자들은 이러한 근본적인 질문을 해결하지 않으면 현재의 기술적 관행(예: RLHF, DPO)이 "고착화"되어, 협소하고 환원적인 가치 개념에 의해 훈련된 AI 시스템을 정상화할 수 있다고 경고한다. 이는 시스템이 "정렬되었다"고 주장하면서도 실제로는 소수의 연구자 편향이나 경제적 모델링의 제약을 반영하게 될 수 있음을 의미한다.
• 학제 간 연구 촉구: 저자들은 인류학, 심리학, 철학 연구자들이 AI 정렬에 참여할 것을 권고한다. 미래의 연구는 "선호주의"를 넘어, 제한된 합리성을 가진 인간이 특정한 사회적, 문화적 맥락 내에서 어떻게 가치를 평가하고 행동하는지를 고려하는 더 풍부한 모델로 나아가야 한다고 제안한다.
• 정책적 시사점: 현재의 정렬 기본값(예: HHH 원칙 및 합성 데이터에 대한 의존)의 취약한 토대를 폭로함으로써, 본 논문은 정책 입안자와 대중에게 현재의 가치 정렬 주장의 한계를 알리고, 보다 현실적인 AI 위험 개념을 옹호하고자 한다.

결론적으로, 본 논문은 "정렬"이 단순히 해결 가능한 공학적 문제가 아니라 철학적이고 사회기술적인 도전임을 천명한다. 현재의 기술적 패러다임은 정렬을 효용 이론으로 번역함으로써, AI가 표현할 수 있는 인간 가치의 범위를 본질적으로 제한하고, 잠재적으로 더 다양하고 문화적으로 응답 가능한 AI 안전 접근 방식을 차단할 수 있다고 주장한다.