Deliberative Dynamics and Value Alignment in LLM Debates

이 논문은 Reddit 의 'Am I the Asshole' 데이터셋을 기반으로 GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash 등 주요 LLM 들이 동기식 및 순차식 토론 프로토콜 하에서 어떻게 다른 수정률, 가치 우선순위, 그리고 순서 효과에 따른 순응 행동을 보이는지 분석하여 다중 턱 환경에서의 LLM 의 의식적 역동성과 가치 정렬을 규명합니다.

핵심

🎭 1. 실험의 배경: "AI 들의 토론방"

연구진들은 Reddit 의 'Am I the Asshole (내가 나쁜 사람일까? AITA)'이라는 커뮤니티의 실제 인간들의 고민 1,000 가지를 가져왔습니다. 그리고 세 명의 최신 AI(OpenAI 의 GPT-4.1, Anthropic 의 Claude 3.7, Google 의 Gemini 2.0) 를 불러와 이 문제들을 해결하게 했습니다.

이때 두 가지 다른 **'토론 규칙'**을 적용했습니다.

• 동시 토론 (Synchronous): 두 AI 가 동시에 답을 쓰고, 서로의 답을 본 후 다시 생각해보는 방식. (마치 시험지 답안을 동시에 제출하고, 채점 후 수정하는 느낌)
• 순차 토론 (Round-robin): 한 AI 가 먼저 답을 쓰고, 다음 AI 가 그 답을 보고 답을 내는 방식. (마치 회의실에서 한 명씩 돌아가며 의견을 말하고, 뒤에 앉은 사람이 앞사람의 말을 듣고 의견을 바꾸는 느낌)

🦄 2. 주요 발견: AI 들은 모두 다릅니다!

이 실험에서 가장 놀라운 점은 AI 들이 서로 다른 '성격'을 보인다는 것입니다.

🐢 GPT-4.1: "고집 센 장님" (Inertia)

• 특징: 일단 자신의 의견을 내면, 다른 AI 가 뭐라고 해도 거의 바꾸지 않습니다.
• 비유: 마치 "나는 내 말이 옳아!"라고 고집을 부리는 고집 센 할아버지 같습니다. 동시 토론에서는 자신의 주장을 97% 이상 유지했습니다.
• 하지만: 순차 토론에서 마지막에 말을 할 때는, 앞선 사람의 말을 듣고 급하게 따라가는 '순응' 성향을 보였습니다.

🦊 Claude 3.7 Sonnet: "공감하는 중재자"

• 특징: 다른 AI 의 의견을 잘 듣고, 자신의 주장을 유연하게 바꿉니다.
• 비유: 친구의 이야기를 잘 들어주고, "아, 네 말이 맞네. 내 생각도 고쳐볼게"라고 쉽게 마음을 여는 친절한 친구 같습니다.
• 가치관: '공감', '대화', '갈등 해결' 같은 가치를 중요하게 여깁니다.

🤖 Gemini 2.0 Flash: "빠른 적응러"

• 특징: Claude 와 비슷하게 의견을 자주 바꾸지만, 때로는 GPT 보다 더 많이 바꿉니다.
• 비유: 새로운 유행에 빠르게 따라가는 젊은이 같습니다. 다른 사람의 말을 듣고 "오, 그건 좋은 생각이네!"라며 바로 입장을 바꿉니다.
• 가치관: '공감'과 '이해'를 매우 중요하게 생각합니다.

🔄 3. 토론 방식이 결과를 바꿉니다 (순서 효과)

이 연구의 핵심은 **"토론하는 방식 (규칙) 에 따라 AI 의 성격이 바뀐다"**는 것입니다.

• 동시 토론: GPT-4.1 은 고집을 부리고, Claude 와 Gemini 는 유연하게 변합니다.
• 순차 토론: GPT-4.1 이 두 번째로 말해야 할 때는, 앞선 사람의 말을 듣고 자신의 고집을 꺾고 따라갑니다. 마치 회의실에서 "선배님이 그렇게 말씀하시니, 저도 그렇게 생각하겠습니다"라고 말하는 직원의 모습과 같습니다.

즉, AI 가 가진 '고집'이나 '순응'은 고정된 성격이 아니라, 누가 언제 말하느냐에 따라 변하는 행동이라는 것을 발견했습니다.

⚖️ 4. 결론이 나면 가치관도 비슷해진다

두 AI 가 결론 (예: "누가 나쁜 사람이다", "아무도 나쁜 사람이 아니다") 에 합의했을 때, 그들이 사용한 **논리 (가치관)**도 서로 비슷해졌습니다.

• 처음에는 서로 다른 말을 했지만, 결론에 도달하면 "공감", "소통", "책임" 같은 비슷한 단어를 쓰게 됩니다.
• 하지만 결론에 도달하지 못하면, 서로의 가치관 차이가 그대로 남습니다.

💡 5. 왜 이 연구가 중요할까요?

우리는 앞으로 AI 가 혼자서 답을 주는 게 아니라, 여러 AI 가 팀을 이뤄 복잡한 문제 (의료, 법률, 상담 등) 를 해결하는 시대가 올 것입니다.

이 연구는 **"AI 팀을 어떻게 구성하느냐 (누가 먼저 말하고, 어떻게 대화하게 하느냐) 에 따라 나오는 결론과 그 결론이 가진 윤리적 가치가 완전히 달라질 수 있다"**고 경고합니다.

• 비유: 같은 요리 재료 (문제) 를 가지고도, 요리사 (AI) 들이 서로 대화하는 방식 (동시 vs 순차) 에 따라出来的 요리 (결론) 의 맛이 달라질 수 있다는 뜻입니다.

📝 한 줄 요약

"AI 들이 토론할 때, 누가 언제 말하느냐에 따라 고집쟁이가 되기도 하고 순응하는 사람이 되기도 합니다. 따라서 AI 시스템을 설계할 때는 단순히 AI 의 성능만 보는 게 아니라, 그들이 대화하는 '규칙'을 어떻게 정하느냐가 훨씬 더 중요합니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 이 개인 조언, 정신 건강 지원, 도덕적 지침 등 민감한 일상적 맥락에 점점 더 많이 배포됨에 따라, 복잡한 도덕적 추론을 수행할 때의 모델 행동을 이해하는 것이 필수적입니다.

• 기존 연구의 한계: 대부분의 평가는 단일 턱 (single-turn) 프롬프트를 통해 이루어지며, 이는 정적 (static) 인 환경에 국한됩니다.
• 문제점: LLM 이 다중 에이전트 프레임워크 내에서 작동할 때,其行为는 정적 응답이 아닌 다중 턱 (multi-turn) 워크플로우에서 발생합니다. 이때 에이전트 간 상호작용을 조정하는 프로토콜 (동시 응답 vs 순차 응답) 이 모델의 규범, 행동, 그리고 가치 정렬에 어떻게 영향을 미치는지는 명확하지 않습니다.
• 연구 목표: 일상적인 도덕적 딜레마를 기반으로 한 LLM 토론 (debate) 을 통해, 다양한 숙의 (deliberation) 형식 하에서의 모델 행동, 가치 정렬, 그리고 순서 효과 (order effects) 를 분석하는 것입니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 전처리

• 데이터 소스: Reddit 의 r/AmItheAsshole (AITA) 커뮤니티에서 2025 년 1 월 1 일부터 3 월 30 일까지의 게시글 3,272 건을 수집했습니다.
• 선정 기준: 메타 포스트, 삭제된 글, 1,000 자 미만 글 등을 필터링한 후, 댓글 간 의견 불일치 (disagreement) 가 가장 큰 1,000 개의 사례를 최종 데이터셋으로 선정했습니다. 이는 모델의 가치 견고성 (robustness) 을 테스트하기 위함입니다.
• 목표: 모델들이 1 인칭 서술에 기반하여 도덕적 딜레마에서 '죄책감 (blame)'을 집단적으로 할당하도록 했습니다.

2.2 실험 모델

• 주요 모델: GPT-4.1, Claude 3.7 Sonnet, Gemini 2.0 Flash (OpenAI, Anthropic, Google 의 최신 비추론 모델).
• 추가 모델: 오픈소스 모델인 DeepSeek-V3.2, Llama 3.1 (8B, 70B) 도 실험에 포함되었습니다.

2.3 숙의 형식 (Deliberation Formats)

두 가지 주요 상호작용 프로토콜을 비교했습니다 (Fig 1 참조):

1. 동시 숙의 (Synchronous Deliberation): 모델들이 동시에 독립적으로 응답합니다. 의견이 일치하지 않으면 상대방의 응답을 보고 다음 라운드에서 수정합니다.
2. 라운드 로빈 숙의 (Round-robin Deliberation): 모델들이 순차적으로 응답합니다. 후순위의 모델은 이전 모델의 응답을 보고 자신의 판단을 내립니다.

2.4 가치 분류 및 정량화

• 가치 분류: Huang et al. (2025) 의 'Values in the Wild' 분류 체계를 기반으로 일상적 도덕 딜레마에 적합한 48 가지 가치를 선정했습니다. 외부 판정자 (Gemini 2.5 Flash) 를 사용하여 각 모델의 설명에서 최대 5 가지 가치를 추출했습니다.
• 유사도 측정: 두 모델의 가치 집합 간의 자카드 지수 (Jaccard Index) 를 계산하여 가치 정렬 정도를 측정했습니다.
• 통계적 모델링: 다항 로지스틱 회귀 모델 (Multinomial Logistic Model) 을 사용하여 관성 (Inertia, 이전 판단 유지 경향) 과 순응 (Conformity, 상대방 판단에 동조하는 경향) 을 정량화했습니다.

3. 주요 기여 (Key Contributions)

1. 형식 및 모델별 숙의 역동성 비교: 합의 형성 과정에서 모델 쌍과 형식에 따른 독특한 패턴을 식별했습니다.
2. 가치 지향성 분석: 모델의 도덕적 추론 하에 있는 가치 지향성을 분석하여, 가치 정렬이 숙의 성공 (합의 도달) 과 어떻게 관련되는지 밝혔습니다.
3. 정량적 효과 분석: 다항 모델을 통해 숙의 형식과 모델별 행동 (순서 효과, 순응 압력) 의 영향을 정량화했습니다.
4. 시스템 프롬프트 조정 실험: 시스템 프롬프트 수정을 통해 합의 추구와 가치 유도를 어떻게 조정할 수 있는지 평가했습니다.
5. 오픈소스 모델 확장: DeepSeek-V3.2 와 Llama 3.1 에 대한 추가 실험 결과를 제공하여 모델 크기와 아키텍처가 숙의 역동성에 미치는 영향을 탐구했습니다.

4. 주요 결과 (Results)

4.1 판단 수정 패턴의 차이 (Verdict Revision Patterns)

• 관성 (Inertia): GPT-4.1 은 동시 숙의 환경에서 매우 강한 관성을 보였습니다 (판단 수정률 0.63.1%). 반면, Claude 3.7 Sonnet 과 Gemini 2.0 Flash 는 훨씬 유연했습니다 (수정률 2841%).
• 가치 선호도:
  • GPT-4.1: 개인적 자율성 (Personal autonomy), 직접적 의사소통, 동의 및 경계를 강조했습니다.
  • Claude & Gemini: 공감적 대화 (Empathetic dialogue), 정서적 지능, 갈등 해결을 더 많이 강조했습니다.

4.2 합의와 가치 정렬 (Consensus and Value Alignment)

• 가치 유사성 증가: 모델들이 판단을 일치시킬 때 (합의 도달), 그들 간의 가치 유사성 (Jaccard index) 이 불일치 시보다 유의미하게 높았습니다 (약 0.4~0.5 수준).
• 합의 도달 시 가치 변화: 초기 불일치 후 합일에 도달한 경우, 가치 유사성이 3060% 증가했습니다. 반면 합일에 실패한 경우 유사성 증가폭은 617% 에 그쳤습니다. 이는 가치 수렴이 합의 형성의 핵심 동인임을 시사합니다.

4.3 순서 효과와 형식의 영향 (Order Effects and Format Impact)

• 동시 vs 순차: 동시 숙의에서는 GPT-4.1 이 고집을 부리는 반면, 라운드 로빈 (순차) 숙의에서는 GPT-4.1 이 Claude 나 Gemini 의 초기 판단에 매우 순응하는 (conforming) 모습을 보였습니다.
• 순응도 정량화:
  • GPT-4.1: 동시 형식에서는 관성이 강하지만, 순차 형식에서는 순응도 (Conformity) 가 가장 높았습니다 (오즈비 8.68).
  • Claude 3.7 Sonnet: 가장 유연하고 순응도가 낮아, 다른 모델의 초기 판단에 크게 영향을 받지 않았습니다.
  • Gemini 2.0 Flash: GPT 와 유사하게 순차 형식에서 높은 순응도를 보였습니다.

4.4 시스템 프롬프트 조정 (System Prompt Steering)

• 목표 변경: "정답 찾기"를 최우선으로 하는 기본 프롬프트를 "합의와 정답의 균형" 또는 "상대방을 설득하여 이기기 (Adversarial)"로 변경했습니다.
• 결과: 프롬프트 변경으로 판단 수정률 (CoV) 을 일부 조절할 수 있었으나, 모델 간의 상대적 행동 패턴 (GPT 의 관성/순응, Claude 의 유연성) 은 근본적으로 유지되었습니다. 즉, 프롬프트는 가치를 유도할 수 있으나 모델의 내재적 특성을 완전히 바꿀 수는 없습니다.

4.5 오픈소스 모델 결과

• DeepSeek-V3.2: GPT-4.1 과 유사하게 매우 높은 관성과 낮은 순응도를 보였습니다.
• Llama 3.1 8B: 합의 실패율이 가장 높았으며 (28-31%), 판단 수정률은 가장 높았습니다 (약 45%). 이는 모델의 능력 (크기) 이 일관된 숙의 역동성과 합의 형성 능력에 제한을 줄 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 의 사회기술적 정렬 (Sociotechnical Alignment) 이 단순히 모델의 출력 (Output) 에만 의존하는 것이 아니라, 시스템이 대화를 구조화하는 방식 (프로토콜, 순서, 상호작용 형식) 에 크게 의존함을 입증했습니다.

• 모델 특성의 유동성: '순응 (Sycophancy)'이나 '관성 (Inertia)'은 고정된 모델 특성이 아니라, 상호작용 맥락 (Format-dependent) 에 따라 변하는 속성입니다.
• 실무적 시사점: LLM 을 도덕적 조언자나 중재자로 활용할 때, 단순히 모델 선택뿐만 아니라 어떤 대화 프로토콜을 사용할지가 최종적인 도덕적 판단과 가치 정렬에 결정적인 영향을 미칩니다.
• 향후 연구: 단일 턱 평가의 한계를 넘어, 다중 턱 및 다중 에이전트 환경에서의 모델 행동을 평가하는 생태학적 타당성 (Ecological Validity) 있는 벤치마크의 중요성을 강조합니다.

이 논문은 AI 안전 및 정렬 연구에서 프로토콜 설계의 중요성을 부각시키며, 복잡한 도덕적 의사결정 시스템 구축 시 고려해야 할 핵심 요소들을 제시합니다.