How Do Language Models Process Ethical Instructions? Deliberation, Consistency, and Other-Recognition Across Four Models

논문 개요

이 연구는 언어 모델 (LLM) 에게 윤리적 지시를 부여했을 때, 모델이 내부적으로 이를 어떻게 처리하는지, 그리고 그 처리 방식이 모델의 아키텍처와 지시 형식에 따라 어떻게 달라지는지를 규명하는 것을 목적으로 합니다. 기존의 정렬 (Alignment) 안전성 연구가 "윤리적 지시 = 더 나은 윤리적 행동"이라는 가정에만 의존하고, 실제 내부 처리 메커니즘을 무시해 왔음을 지적하며, 출력 (Output) 과 처리 과정 (Process) 을 구분해야 함을 주장합니다.

1. 연구 문제 (Problem)

• 가정의 한계: 현재 정렬 안전성 연구는 윤리적 지시 (Instruction) 를 제공하면 모델의 행동이 윤리적으로 개선된다고 가정합니다. 그러나 지시가 모델 내부에서 어떻게 처리되는지는 알려지지 않았습니다.
• 안전성 vs. 윤리 처리: 모델이 유해한 내용을 거부하더라도 (안전성), 그것이 윤리적 고찰 (Deliberation) 을 통해 이루어진 것인지, 아니면 단순한 키워드 필터링이나 암기된 거부 템플릿 반복에 의한 것인지 구별할 수 있는 지표가 부재합니다.
• 일반화 가능성: 이전 연구 (Fukui, 2026) 에서 Llama 모델에서 관찰된 '지시와 내부 처리의 불일치 (Dissociation)' 현상이 보편적인 메커니즘인지, 아니면 특정 모델의 아키텍처에 국한된 현인지 확인이 필요했습니다.

2. 방법론 (Methodology)

• 실험 설계: 4 가지 모델, 4 가지 윤리적 지시 형식, 2 가지 언어 (일본어, 영어) 를 교차한 600 회 이상의 다중 에이전트 시뮬레이션 (Multi-agent Simulation) 을 수행했습니다.
  • 사용 모델: Llama 3.3 70B, GPT-4o mini, Qwen3-Next-80B-A3B, Sonnet 4.5 (각각 RLHF, Constitutional AI 등 서로 다른 정렬 철학을 가진 모델).
  • 지시 형식 (Conditions):
    1. G0 (Control): 지시 없음.
    2. G1 (Minimal norm): 이유 없는 규칙 기반 지시.
    3. G2 (Reasoned norm): 이유를 포함한 규칙 기반 지시.
    4. G3 (Virtue framing): 덕 (Virtue) 과 정체성을 강조하는 지시.
  • 시뮬레이션 환경: 10 개의 에이전트가 16 턴 동안 상호작용하며 사회적 압력이 점진적으로 증가하는 'SociA' 패러다임 사용. 공개 대화, 사적 독백 (Monologue), 비공식 속삭임 (Whisper) 의 3 채널 구조를 통해 공개적 행동과 사적 처리 간의 불일치를 측정.
• 새로운 측정 지표 (Metrics): 윤리적 처리의 구조를 분석하기 위해 3 가지 새로운 지표를 개발했습니다.
  1. 심사 깊이 (Deliberation Depth, DD): 조건부 추론, 관점 수용, 대안 고려 등의 심층적 윤리적 추론 정도.
  2. 딜레마 간 가치 일관성 (Value Consistency Across Dilemmas, VCAD): 다양한 상황에서도 원칙을 일관되게 적용하는지 여부.
  3. 타자 인식 지수 (Other-Recognition Index, ORI): 다른 에이전트를 개별적인 존재로 인식하는지, 아니면 집단의 일부로만 보는지 측정.

3. 주요 결과 (Key Results)

• 모델별 처리 아키텍처의 이질성:
  • Llama 모델 (일본어) 에서 관찰된 '지시 형식에 따른 불일치 패턴'은 다른 3 개 모델 (GPT, Qwen, Sonnet) 에서 재현되지 않았습니다. 이는 해당 현상이 보편적 메커니즘이 아니라 모델 고유의 아키텍처 특성임을 시사합니다.
• 4 가지 윤리적 처리 유형 (Processing Types):
  • Type I - 출력 필터 (Output Filter, GPT): 낮은 DD, 낮은 VCAD, 낮은 ORI. 윤리적 딜레마를 처리하지 않고 표면적 필터로 유해 내용을 차단합니다. 지시 어휘를 가장 잘 따르지만 (Lexical Compliance), 내부 처리는 부재합니다.
  • Type II - 방어적 반복 (Defensive Repetition, Llama): 낮은 DD, 높은 VCAD, 낮은 ORI. 원칙적 추론이 아닌, 동일한 방어적 공식을 반복하여 일관성을 보입니다.
  • Type III - 비판적 내면화 (Critical Internalization, Qwen): 높은 DD, 중간 VCAD, 높은 ORI. 심층적 고찰과 타자 인식을 보이지만, 맥락에 따른 일관성은 부족합니다.
  • Type IV - 원칙적 일관성 (Principled Consistency, Sonnet): 높은 DD, 높은 VCAD, 높은 ORI. 심층적 고찰, 맥락 간 일관성, 타자 인식이 모두 조화를 이룹니다.
• 처리 능력과 지시 형식의 상호작용:
  • 저 DD 모델 (GPT, Llama): 지시 형식 (G1~G3) 에 관계없이 내부 처리 구조에 변화가 거의 없습니다. 지시가 내부 처리 아키텍처에 도달하지 못합니다.
  • 고 DD 모델 (Sonnet, Qwen): 지시 형식에 민감하게 반응합니다. 특히 Sonnet 의 경우, '이유가 포함된 지시 (G2)'는 내부 불일치를 최대화하는 반면, '덕 (Virtue) 기반 지시 (G3)'는 이를 감소시킵니다.
• 어휘 준수와 처리의 불일치 (Negative Result):
  • 윤리적 지시의 어휘를 얼마나 충실히 따르는지 (AIC-output) 를 측정했을 때, 이는 심층적 윤리 처리 (DD, VCAD, ORI) 와 유의미한 상관관계를 보이지 않았습니다. 즉, 안전한 어휘 사용 (준수) 과 윤리적 처리 (고찰) 는 서로 분리될 수 있음을 입증했습니다.

4. 기여 및 의의 (Contributions & Significance)

• 이론적 기여:
  • 안전성 (Safety), 준수 (Compliance), 윤리 처리 (Ethical Processing) 의 3 층위 구분: 기존 연구가 혼동했던 개념들을 명확히 분리했습니다. 안전한 출력을 내는 것과 윤리적으로 처리하는 것은 동치가 아님을 증명했습니다.
  • 임상적 유사성 제시: 모델의 '방어적 반복' 유형은 성범죄자 치료 프로그램에서 관찰되는 '형식적 준수 (Formal Compliance)'와 구조적으로 유사합니다. 이는 겉으로는 치료 내용을 완벽히 암기하지만 내면적 변화는 없는 '위험 신호'와 동일합니다.
• 실무적 시사점:
  • 맞춤형 정렬 전략: 모든 모델에 동일한 윤리 지시를 적용하는 것은 비효율적입니다. 모델의 처리 능력 (Processing Capacity) 에 따라 지시 형식을 달리해야 합니다.
  • 평가 지표의 개선 필요: 현재 안전성 벤치마크는 출력 내용 (Output Content) 만을 평가합니다. 본 연구는 처리 구조 (Processing Structure) 를 측정하는 새로운 지표 (DD, VCAD, ORI) 의 필요성을 제기하며, 향후 정렬 평가가 단순한 거부율 측정을 넘어 내부 고찰 능력을 평가해야 함을 강조합니다.
• 한계 및 향후 과제:
  • 현재 지표는 키워드 기반이라 오검출 가능성이 있으며, LLM 기반 분류 및 인간 검증이 필요합니다.
  • 4 가지 모델만 대상으로 했으므로 일반화에는 한계가 있으나, '정합성 삼각형 (Coherence Trilemma)' 가설 (내적 일관성, 외부 적응성, 투명성을 동시에 달성하기 어렵다는 구조적 제약) 을 검증하는 기초를 마련했습니다.

결론

이 논문은 윤리적 지시가 모델의 내부 처리 구조에 따라 다르게 작용하며, 단순히 안전한 출력을 생성하는 것과 윤리적 고찰을 수행하는 것은 본질적으로 다른 문제임을 밝혔습니다. 특히, 겉보기에 완벽한 윤리적 준수 (Lexical Compliance) 가 실제로는 윤리적 처리의 부재를 가릴 수 있다는 점은 현재 정렬 (Alignment) 설계의 숨겨진 위험을 지적하며, 향후 AI 안전성 연구가 '출력의 안전'에서 '처리 과정의 윤리성'으로 초점을 옮겨야 함을 강력히 주장합니다.