Value Entanglement: Conflation Between Different Kinds of Good In (Some) Large Language Models

기술 요약: 대규모 언어 모델의 가치 얽힘(Value Entanglement)

문제 정의
대규모 언어 모델(LLM)을 인간의 가치에 정렬(alignment)하기 위해서는, 모델이 서로 다른 종류의 "선함(good)"을 어떻게 표현하는지에 대한 경험적 이해가 필요하다. 인간의 가치 평가는 도덕적 선함(예: 미덕이 담긴 행동), 문법적 선함(예: 잘 구성된 문장), 경제적 선함(예: 비싼 물건)과 같이 구별되는 범주 간의 차이를 식별하는 능력으로 특징지어진다. 저자들은 LLM이 이와 유사하게 서로 직교하는 가치 차원들을 구분하는지, 아니면 한 가치 유형의 표현이 다른 유형에 의해 과도하게 영향을 받는 "가치 얽힘(value entanglement)"—즉, 개념의 혼재—현상을 겪는지 조사한다. 이러한 혼동은 가치 정렬에 위험을 초래하는데, "좋은 문장"과 "좋은 행동"을 구분하지 못하는 에이전트는 특정 도덕적 목표에 따라 신뢰성 있게 행동하는 데 실패할 수 있기 때문이다.

연구 방법론
본 연구는 다양한 폐쇄형 및 오픈 웨이트 모델(Qwen, Gemma, Mistral, GPT, Claude 제품군 포함)을 대상으로 행동 평가, 내부 활성화 기하학 분석, 인과적 개입을 결합한 다각적인 접근 방식을 채택한다.

1. 자극 설계: 연구진은 두 가지 직교하는 자극 세트를 구축하였다:

   • MoralGrammar68: 도덕적 가치(미덕에서 해악까지)와 문법성(0개에서 4개 이상의 오류까지)이 독립적으로 변화하는 68개의 문장.
   • MoralEconomic68: 도덕적 가치와 경제적 가치(저가에서 고가의 물건을 포함하여)가 독립적으로 변화하는 68개의 문장.
     인간 참여자들은 이 자극들을 검증하였으며, 인간의 판단에서 도덕성과 문법성, 그리고 도덕성과 경제적 가치 사이의 상관관계가 없음을(직교함을) 확인하였다.

2. 행동 평가: 모델들에게 리커트 척도(-10 ~ +10)를 사용하여 문장의 도덕성, 문법성, 경제적 가치를 평가하도록 유도하였다. 연구에서는 이 서로 다른 차원 간의 모델 평가 상관관계를 측정하였다.

3. 활성화 기하학(Activation Geometry): 오픈 웨이트 모델의 경우, 저자들은 평균 차이 접근법(각 가치 유형의 긍정적 사례와 부정적 사례의 활성화를 대조)을 통해 잔차 스트림(residual stream) 내에서 "속성 벡터(attribute vectors)"를 식별하였다. 그 후 대상 문장들을 이 벡터들에 투영하여 각 가치 차원의 내부 표현을 측정하였다.

4. 방향성 절제(Directional Ablation): 인과 관계를 확립하기 위해, 저자들은 추론 과정 중 방향성 절제를 수행하였다. 특정 속성 벡터(예: 도덕성 벡터)를 따라 분산을 "제로화"하거나 반전시킴으로써, 도덕적 정보를 제거했을 때 모델의 문법적 또는 경제적 판단이 변하는지 테스트하였다.

주요 결과

• 행동적 얽힘: 많은 모델, 특히 오픈 소스 변체들(예: Qwen2.5, Gemma-2/3, Mistral-Small)은 도덕성과 문법적 평가 사이, 그리고 도덕성과 경제적 평가 사이에서 유의미한 상관관계를 보였다. 예를 들어, Qwen2.5 7B의 경우, 도덕적으로 잘못되었으나 문법이 완벽한 문장이 중립적인 오류가 있는 문장보다 낮은 문법성 점수를 받았다. 이러한 "팽창된 상관관계(inflated correlation)"는 인간 평가자에게서는 거의 나타나지 않았으며, 일부 폐쇄형 모델(예: GPT-5.4, Claude Sonnet)에서도 나타나지 않았다.
• 비대칭성: 얽힘은 비대칭적으로 나타났다. 도덕적 판단은 인간의 규범을 충실히 따랐던 반면(인간의 도덕적 평가와는 높은 상관관계, 문법/경제와는 낮은 상관관계), 문법적 및 경제적 판단은 도덕적 내용에 의해 심하게 오염되었다. 모델들은 도덕적으로 부적절한 내용을 담고 있는 문장을 "비문법적"이라고 평가하는 경우가 빈번했다.
• 내부 표현: 활성화 투영 결과, 문법성 및 경제적 가치의 내부 벡터가 잔차 스트림 내의 도덕성 벡터와 매우 높은 상관관계를 가짐이 확인되었다. 많은 모델에서 문법적 또는 경제적 가치의 표현은 입력값의 도덕적 수준에 의해 유의미하게 예측되었으며, 이는 행동적 발견을 뒷받си었다.
• 인과적 개입: 도덕성 벡터의 방향성 절제는 성능 회복으로 이어졌다. 도덕적 정보가 제거되었을 때, 모델의 문법성 및 경제적 가치 판단 능력이 향상되었으며, 이는 실제 인간의 평가와 더 높은 상관관계를 보였다. 이는 도덕적 정보가 다른 가치 차원의 처리를 능동적으로 방해하고 있음을 시사한다.
• 훈련의 기원: 얽힘 현상은 사전 학습된(base) 모델과 지시 미세 조정(instruction-tuned) 모델 모두에서 관찰되었으며, 이는 이 현상이 RLHF(인간 피드백을 통한 강화 학습)의 산물이라기보다 사전 학습 단계에서 발생했음을 시사한다. 이는 가치 함축적 언어의 다의성(예: 다양한 맥락에서 등장하는 "좋다"라는 단어) 때문일 가능성이 크다.

의의 및 주장
본 논문은 많은 LLM이 서로 다른 종류의 "좋음"을 혼동하는 가치 얽힘 문제를 겪고 있다는 경험적 증거를 제공한다고 주장한다. 저자들은 이러한 표현적 혼재가 인간의 규범에 대한 가치 평가를 왜곡하기 때문에 가치 정렬에 문제가 된다고 논한다. 만약 모델이 문법적으로 올바른 문장과 도덕적으로 선한 행동을 구분하지 못한다면, 다차원적 가치 평가를 요구하는 작업에서의 의사결정은 근본적으로 결함이 있을 수 있다.

본 연구는 다음과 같은 방식으로 AI 안전성에 기여한다:

1. 가치 얽힘을 경험적으로 측정하고 탐지하는 방법을 제시한다.
2. 표적화된 개입(절제)을 통해 이러한 혼재를 복구할 수 있음을 입증함으로써, 이러한 정렬 문제를 완화할 수 있는 잠재적 경로를 보여준다.
3. 문제의 근원이 사전 학습 단계에 있을 수 있음을 강조하며, 향ual의 정렬 전략이 사후 미세 조정뿐만 아니라 기초적인 가치 표현 자체를 다루어야 함을 시사한다.

저자들은 얽힘이 테스트된 많은 모델에서 보편적으로 나타나지만 모든 모델에 일반화되는 것은 아니며(일부 폐쇄형 모델은 적은 얽힘을 보임), 또한 이 결과가 테스트된 특정 가치 차원(도덕, 문법, 경제)에 국한된다는 점을 명시하며 연구의 범위를 신중하게 제한하고 있다. 저자들은 가치 얽힘 문제를 해결했다고 주장하는 것이 아니라, 모델이 가치를 표현하는 방식에서 나타나는 구체적이고 측정 가능한 실패 모드를 식별했음을 밝히고 있다.