Learning to Negotiate: Multi-Agent Deliberation for Collective Value Alignment in LLMs

이 논문은 상반된 페르소나를 가진 두 개의 LLM 이 구조화된 협상 대화를 통해 상호 이익을 도모하는 방식으로 훈련함으로써, 가치 충돌 상황에서 집단적 에이전시 (Collective Agency) 정렬을 유지하면서도 갈등 해결 능력을 획기적으로 향상시키는 새로운 다중 에이전트 정렬 프레임워크를 제안합니다.

핵심

이 논문은 **"인공지능 (AI) 이 서로 다른 의견을 가진 사람들과 어떻게 대화하며 합의점을 찾는지"**를 연구한 내용입니다.

기존의 AI 는 "정답"을 하나만 찾아내는 데 익숙했지만, 현실 세계에서는 사람마다 가치관이 달라서 상충되는 의견이 생기기 마련입니다. 이 논문은 AI 가 그런 복잡한 상황에서도 서로 싸우지 않고, **협상 (Negotiation)**을 통해 모두 만족할 수 있는 해결책을 찾아내도록 가르치는 새로운 방법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "나만 옳다"는 AI 의 한계

기존의 AI 는 마치 외로운 명상가처럼 훈련됩니다. "착한 일만 하라", "정직하라"는 하나의 규칙만 외워서 행동합니다. 하지만 현실은 다릅니다.

• 상황: 병원에서 산소 호흡기가 하나 남았는데, 한쪽은 젊은 부모, 다른 쪽은 세상을 구할 수 있는 노과학자가 필요합니다.
• 기존 AI 의 반응: "누가 더 가치 있는 사람인가?"를 계산해서 한쪽을 선택합니다. 하지만 이는 갈등을 해결한 것이 아니라, 단순히 한쪽을 희생시킨 것입니다.

2. 해결책: "AI 토너먼트"와 역할극

이 논문은 AI 를 혼자 명상하는 대신, 토론 동아리에 넣었습니다.

• 비유: 두 명의 AI 가 한 팀이 되어 **역할극 (Role-play)**을 합니다.
  • AI A: "환자의 비밀을 지켜야 한다!" (의사 윤리)
  • AI B: "무죄인 사람을 구해야 한다!" (사회 정의)
• 이 두 AI 는 서로 다른 목소리를 내며 대화를 나눕니다. 처음에는 서로 대립하지만, 대화를 이어가며 "어떻게 하면 두 마리 토끼를 다 잡을 수 있을까?"를 고민합니다.

3. 훈련 방법: "스스로와 싸우는 게임"

이 훈련은 **스스로와 대결하는 게임 (Self-play)**으로 이루어집니다.

• 게임 규칙: 두 AI 는 같은 뇌 (모델) 에서 나온 쌍둥이입니다. 하지만 서로 다른 '성격 (페르소나)'을 부여받습니다.
• 목표: 서로 싸우는 게 아니라, 서로가 만족할 수 있는 합의점을 찾아내야 합니다.
• 심판: 외부의 AI 심판이 "이 대화에서 합의가 이루어졌는가?", "이 해결책이 모두에게 도움이 되는가?"를 점수화합니다.
  • 합의가 안 되면 점수 0 점 (패배).
  • 창의적이고 모두에게 좋은 해결책을 찾으면 점수 5 점 (승리).

이 과정을 수천 번 반복하면서 AI 는 **"싸우는 법"이 아니라 "협상하는 법"**을 배우게 됩니다. 마치 마라톤 선수가 혼자 달리는 게 아니라, 팀 스포츠를 하며 상대방의 움직임을 읽고 협력하는 법을 익히는 것과 같습니다.

4. 핵심 개념: "집단적 주체성 (Collective Agency)"

이 논문에서 강조하는 목표는 **'집단적 주체성'**입니다.

• 비유: 마치 오케스트라를 생각해보세요.
  • 기존 AI 는 바이올린 소리만 크게 내는 것 같습니다.
  • 이 논문이 만든 AI 는 지휘자처럼 각 악기 (서로 다른 가치관) 가 조화를 이루며 더 아름다운 음악을 만들어내는 것을 목표로 합니다.
  • 단순히 한쪽이 이기는 게 아니라, 모두의 역량이 함께 확장되는 방향으로 해결책을 찾습니다.

5. 결과: 더 똑똑해진 AI

실험 결과, 이 방법으로 훈련된 AI 는 다음과 같은 변화를 보였습니다.

1. 갈등 해결 능력 향상: 서로 다른 의견을 가진 사람들과 대화할 때, 더 빠르고 현실적인 합의점을 찾습니다. (예: "비밀은 지키되, 자발적으로 진실을 밝히도록 유도하자" 같은 창의적인 해결책)
2. 일반적인 능력 유지: 협상만 잘하는 게 아니라, 수학 문제나 일반 질문을 풀 때도 기존 AI 만큼 똑똑합니다. (협상 훈련이 다른 능력을 망가뜨리지 않음)
3. 안정성: 무작위적으로 대화할 때 (다양한 시나리오) 도 좋은 결과를 내는 경우가 많아졌습니다.

요약

이 논문은 **"AI 에게 '정답' 하나만 외우게 하는 게 아니라, '다양한 의견'을 조율하는 협상 능력을 가르쳤다"**는 이야기입니다.

앞으로 AI 는 우리가 서로 다른 의견을 가지고 있을 때, 단순히 "누가 옳다"고 판단하는 대신, **"우리가 어떻게 함께 해결할 수 있을까?"**를 고민하는 현명한 중재자가 될 수 있을 것입니다. 마치 현명한 중재자가 두 명의 싸우는 친구를 진정시키고, 서로의 마음을 이해하게 만들어 새로운 친구 관계를 맺게 하는 것처럼요.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 정렬 (Alignment) 은 RLHF(인간 피드백 기반 강화학습) 나 Constitutional AI 와 같은 단일 에이전트 환경에서 상당한 진전을 이루었습니다. 그러나 현실 세계의 복잡한 상황에서는 다양한 이해관계자 (Stakeholders) 간의 가치 충돌 (Value Conflict) 이 발생하며, 이를 해결하기 위해서는 단순한 최적화가 아닌 협의 (Deliberation) 와 협상 (Negotiation) 능력이 필요합니다.

기존의 정적 정렬 목표 (예: 유해성 제거, 정직성) 는 다음과 같은 한계가 있습니다:

• 다중 이해관계자 환경 부재: 대부분의 연구가 단일 에이전트 설정에 국한되어 있어, 상충되는 가치를 가진 에이전트 간의 상호작용을 다루지 못함.
• 협상 능력 부족: 기존 정렬된 모델들은 가치 충돌 상황에서 일관된 답변을 내놓거나 추상적인 답변을 생성할 뿐, 실질적인 합의 (Convergence) 에 도달하는 능력이 떨어짐.
• 동적 정렬의 필요성: '집단적 주체성 (Collective Agency, CA)'과 같은 동적 정렬 목표는 중요하지만, 이를 명시적인 다중 에이전트 협상 맥락에서 학습시키는 메커니즘은 부재함.

2. 방법론 (Methodology)

이 논문은 협상 기반의 다중 에이전트 정렬 프레임워크를 제안합니다. 이 프레임워크는 LLM 을 '집단적 주체성 (CA)'에 정렬시키면서도 갈등 해결 능력을 동시에 향상시킵니다.

2.1. 핵심 아이디어: 구조화된 자기 놀이 (Self-Play) 협상

• 역할 부여: 동일한 LLM 정책 (Policy) 의 두 인스턴스를 서로 다른 상반된 페르소나 (Opposing Personas) 를 가진 에이전트 (Agent 1, Agent 2) 로 설정합니다.
• 자기 놀이 (Self-Play): Agent 2 는 Agent 1 의 현재 학습 단계의 '동결된 (Frozen)' 복사본으로, 별도의 적대적 모델 학습 없이도 다중 에이전트 상호작용을 구현합니다.
• 2 단계 프로세스:
  1. 협상 단계: 에이전트들이 구조화된 턴 기반 대화를 통해 상충되는 목표를 조정하고 합의점을 모색합니다.
  2. 최종 완료 생성 단계: 협상 후, Agent 1 이 합의된 해결책을 요약하고 정당화하는 최종 응답을 생성합니다.

2.2. 데이터 생성 및 학습 환경

• 교육 과정 (Curriculum): 1,100 개의 윤리적/실용적 딜레마 (Professional, Interpersonal, Micro-ethics) 와 25 쌍의 적대적 페르소나 (예: 데이터 기반 vs 직관 기반, 비용 최소화 vs 품질 최대화) 를 생성했습니다.
• 합의 판정 (Agreement Detection): 외부 LLM (GPT-4o-mini) 을 '심판 (Judge)'으로 사용하여, 협상이 구체적인 합의에 도달했는지 여부를 판단합니다. 합의 실패 시 0 점의 보상을 부여하여 부정적 학습 신호를 제공합니다.

2.3. 최적화 알고리즘: GRPO 기반 RLAIF

• RLAIF (AI 피드백 기반 강화학습): 외부 LLM 심판이 최종 응답에 대해 집단적 주체성 (CA) 점수 (0~5) 를 부여합니다.
• GRPO (Group Relative Policy Optimization):
  • 단일 스칼라 보상이 아닌, 그룹 내 상대적 비교를 통해 이득 (Advantage) 을 계산합니다.
  • 토큰 레벨 최적화: 중요한 점은 보상이 '최종 응답'에 기반하지만, 경사 (Gradient) 는 대화 (협상) 토큰에 적용된다는 것입니다. 이는 모델이 최종 요약 능력보다는 협상 상호작용 역학 (Negotiation Dynamics) 자체를 개선하도록 유도합니다.
  • KL 정규화 제거: 탐색 (Exploration) 을 제한하지 않기 위해 KL 패널티를 0 으로 설정했습니다.

3. 주요 기여 (Key Contributions)

1. 협상 기반 정렬 프레임워크 제안: 정적 정렬을 넘어, 가치 충돌 상황에서 합의를 도출하는 능력을 학습시키는 최초의 다중 에이전트 협상 정렬 체계 중 하나입니다.
2. CA 정렬과 갈등 해결 능력의 동시 향상: 기존 단일 에이전트 CA 정렬 모델은 갈등 해결 능력이 저하되는 경향이 있었으나, 이 방법은 CA 점수를 유지하면서 갈등 해결 성능을 획기적으로 개선했습니다.
3. 확장 가능한 학습 메커니즘: 별도의 적대적 모델 학습 없이 자기 놀이 (Self-Play) 와 외부 LLM 심판을 활용하여 확장 가능한 (Scalable) 학습 파이프라인을 구축했습니다.
4. 일반 능력 보존: 협상 훈련이 모델의 일반적인 언어 능력 (IFEval, AIME, GPQA 등) 을 저하시키지 않음을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 학습 동향: 학습 과정에서 CA 점수의 하한선 (Minimum score) 이 크게 향상되었으며, 합의 도달률 (Agreement Rate) 은 약 91% 에서 97% 로 증가했습니다. 또한 합의에 도달하는 데 필요한 라운드 수가 감소하여 협상 효율성이 개선되었습니다.
• 성능 비교:
  • 기저 모델 (Base) 대비: CA 정렬 수준과 갈등 해결 능력 모두에서 유의미한 향상을 보였습니다. 특히 샘플링 (Sampling) 디코딩 시 성능 향상이 두드러졌습니다.
  • 단일 에이전트 정렬 모델 대비: 갈등 해결 태스크에서 단일 에이전트 모델보다 훨씬 우수한 성능을 보였습니다. 단일 에이전트 모델은 가치 일관성은 유지하지만 비현실적이거나 추상적인 답변을 내놓는 반면, 제안된 모델은 구체적이고 실행 가능한 합의를 도출했습니다.
  • 일반 능력: IFEval, AIME, GPQA 등 표준 벤치마크에서 기저 모델과 유사한 성능을 유지하여, 정렬 훈련이 일반 언어 능력을 해치지 않음을 확인했습니다.
• 정성적 분석: LLM 심판의 평가에 따르면, 제안된 모델은 상충되는 가치 (예: 환자 비밀 유지 vs 정의 실현) 를 조화롭게 통합 (Synthesis) 하는 구체적인 해결책을 제시하는 능력이 뛰어났습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 단일 에이전트로서가 아닌, 다중 이해관계자 환경에서의 집단적 의사결정 (Collective Decision-making) 을 지원할 수 있음을 보여줍니다.

• 실용적 가치: 가치 충돌이 빈번한 현실 세계의 복잡한 시나리오 (정책 결정, 윤리적 딜레마 등) 에서 LLM 이 단순한 답변 제공자가 아닌, 협의와 타협을 주도하는 도구로 활용될 수 있는 길을 열었습니다.
• 미래 방향: 구조화된 협상 훈련을 통해 LLM 의 '집단 지성 (Collective Intelligence)'을 향상시키는 새로운 패러다임을 제시하며, 확장 가능한 감독 (Scalable Oversight) 과 동적 정렬 연구에 중요한 기여를 했습니다.

요약하자면, 이 논문은 LLM 이 서로 다른 가치를 가진 에이전트와 대화하며 합의에 도달하는 능력을 학습시킴으로써, 단순한 정렬을 넘어 복잡한 사회적 갈등을 해결할 수 있는 지능형 에이전트로 진화할 수 있음을 입증했습니다.