Influencing LLM Multi-Agent Dialogue via Policy-Parameterized Prompts

이 논문은 강화학습 없이도 프롬프트를 매개변수화하여 에이전트의 대화 행동을 체계적으로 제어하는 경량 정책 프레임워크를 제안하고, 이를 통해 다중 에이전트 대화의 역동성을 효과적으로 조절할 수 있음을 실험을 통해 입증합니다.

핵심

이 논문은 **"거대 언어 모델 (LLM, 예: 챗봇) 이 여러 명 모여 대화할 때, 우리가 어떻게 하면 그 대화를 원하는 방향으로 자연스럽게 이끌 수 있을까?"**라는 질문에 답합니다.

기존에는 로봇이나 인공지능을 훈련시키려면 엄청난 양의 데이터를 먹이고 수천 번의 시험을 치러야 했지만, 이 연구는 **"훈련 없이도, 대화의 '지시문 (프롬프트)'을 잘 조절하면 대화를 통제할 수 있다"**는 새로운 방법을 제안합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎭 비유: "연극 무대와 지시문"

이 연구를 이해하기 위해 연극 무대를 상상해 보세요.

1. 배우들 (LLM 에이전트):

   • 연극에 나오는 배우들은 이미 말하기, 연기, 지식을 갖춘 전문가들입니다. (이게 바로 LLM 이죠.)
   • 기존 연구들은 이 배우들에게 "이렇게 연기해!"라고 말하고, 실패하면 다시 훈련시키는 방식이었습니다.

2. 새로운 방법 (이 논리의 핵심):

   • 이 연구는 배우들을 다시 훈련시키지 않습니다. 대신, **연출가 (연구자)**가 배우들에게 주는 **대본 지시문 (프롬프트)**을 아주 정교하게 조절합니다.
   • 마치 "오늘은 좀 더 화를 내서 말해", "이전 대사를 기억해서 답해", "사실 자료를 하나씩 인용해"라고 지시문을 바꾸는 것과 같습니다.

🛠️ 어떻게 작동할까요? (5 가지 지시 도구)

연구자들은 이 '지시문'을 5 가지 부품으로 나누어 조립합니다. 마치 요리 레시피를 짜는 것과 비슷합니다.

1. 역할 (T): "너는 농부야, 환경 보호주의자야, 아니면 지역 주민 대표야?" (배우의 성격을 정함)
2. 기억 (M): "지금까지 누가 뭐라고 했는지 기억해." (이전 대화 내용을 참조)
3. 지식 (D): "정부 보고서나 뉴스 같은 사실을 찾아서 말해." (외부 자료 인용)
4. 규칙 (R): "답변 형식을 이렇게 해. 먼저 결론을 말하고, 그다음 근거를 들어." (말투와 구조 통제)
5. 가중치 (W): "오늘은 '역할'을 100% 강조하고, '기억'은 50% 만 반영해." (각 요소의 중요도 조절)

이 5 가지를 상황에 따라 섞어서 **지시문 (프롬프트)**을 만들고, 이를 배우 (AI) 에게 주면, AI 는 그 지시대로 말하게 됩니다.

📊 실험 결과: 지시문이 바뀌면 대화도 바뀐다

연구진은 두 가지 주제 (토지 사용, 교육 자원 배분) 로 AI 들끼리 토론하게 했습니다. 그리고 지시문을 어떻게 바꾸느냐에 따라 어떤 변화가 일어났는지 측정했습니다.

• 규칙을 딱딱하게 정하면 (Struct):
  • AI 들이 같은 말을 반복하지 않고, 논리적으로 잘 정리해서 말합니다. (비유: 엄격한 지휘자가 있는 오케스트라)
• 지식 인용을 강조하면 (Light/High Weight):
  • AI 들이 "사실은 이렇게 됩니다"라고 자료를 가져와서 말합니다. (비유: 변론을 잘하는 변호사)
• 역할을 강조하면 (High Role Weight):
  • AI 들이 자신의 입장을 더 강하게 주장하며, 상대방의 말을 반박 (Rebuttal) 하는 빈도가 늘어납니다. (비유: 각자 자신의 입장을 고수하는 정치인들)

💡 왜 이 연구가 중요할까요?

1. 훈련이 필요 없습니다: AI 를 다시 가르칠 필요 없이, 지시문만 잘 짜면 됩니다. (시간과 비용 절약)
2. 조절 가능합니다: "오늘은 좀 더 온화하게 대화하게 해" 혹은 "더 치열하게 논쟁하게 해"라고 원할 때, 지시문의 '가중치'만 살짝 돌리면 됩니다.
3. 사회 시뮬레이션: 이 기술을 쓰면 AI 들을 이용해 실제 사회 문제 (예: 환경 정책, 교육 개혁) 에 대해 다양한 관점에서 토론을 시뮬레이션할 수 있습니다. 마치 가상 세계에서 다양한 의견을 모아보는 것과 같습니다.

🎯 한 줄 요약

"AI 들을 다시 훈련시킬 필요 없이, 그들에게 주는 '지시문'을 마치 연극 대본처럼 정교하게 조절하면, AI 들의 대화 스타일과 논리성을 우리가 원하는 대로 자유롭게 조종할 수 있다."

이 연구는 인공지능이 단순히 말을 잘하는 것을 넘어, 우리가 설계한 사회적 규칙 안에서 유연하게 행동하는 '사회적 행위자'로 만들 수 있는 방법을 제시합니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 은 다중 에이전트 시스템의 새로운 패러다임으로 부상했습니다. 기존 연구는 에이전트 간의 상호작용을 위해 주로 임의적 (ad hoc) 프롬프트를 사용하거나, 강화학습 (RL) 을 통해 에이전트의 행동을 학습시키는 데 의존해 왔습니다.
• 문제점:
  • 기존 LLM 기반 다중 에이전트 연구는 대화 전략을 체계적으로 제어할 수 있는 원칙적인 정책 (policy) 관점이 부족합니다.
  • 에이전트의 대화 행동을 의도적으로 형성하고 최적화하는 방법에 대한 체계적인 프레임워크가 부재하여, 에이전트 행동 예측, 통신 패턴 최적화, 그리고 다른 작업 간 통찰력 전이가 어렵습니다.
  • 기존 RL 기반 접근법은 추가적인 학습 (training) 이 필요하여 무겁고 비효율적일 수 있습니다.

2. 제안 방법론 (Methodology)

이 논문은 프롬프트를 행동 (Action) 으로 간주하고, 이를 **경량화된 정책 매개변수화 (Lightweight Policy Parameterization)**를 통해 제어하는 새로운 프레임워크를 제안합니다.

가. 핵심 개념: 프롬프트 - 액션 (Prompt-as-Action)

• 에이전트의 상태 (State) 를 기반으로 생성된 프롬프트가 에이전트의 행동으로 간주됩니다.
• 추가적인 모델 학습 없이 프롬프트 구조와 가중치를 조정함으로써 에이전트의 대화 행동을 동적으로 제어합니다.

나. 프롬프트 구성 요소 (5 가지)

프롬프트는 에이전트의 현재 상태에 따라 동적으로 구성되며, 다음 5 가지 구성 요소로 분해됩니다:

1. T (Task & Persona): 작업 설명 및 에이전트의 페르소나 (역할) 설정.
2. M (Memory): 대화 히스토리 (이전 발화 기록).
3. D (External Knowledge): 검색된 외부 지식 베이스 (RAG 기반).
4. R (Rule Template): 출력 형식과 정보 사용 방식을 제어하는 규칙 템플릿.
5. W (Weights): T, M, D 각 구성 요소에 대한 의존도 (가중치) 를 조절하는 벡터.

다. 정책 매개변수화 전략

1. 규칙 템플릿 (Rule Templates, R):
   • None: 구조적 지시 없음.
   • Light: 기본 응답 순서 및 길이 제약 부여.
   • Struct: 논리적 구조 (지지, 반대, 갈등, 협력 등) 를 강제하는 상세한 추론 구조 부여.
2. 가중치 설계 (Weights, W):
   • 각 구성 요소 (T, M, D) 에 대해 [0, 2] 범위의 가중치를 부여하며, 이를 '낮음 (Low)', '중간 (Mid)', '높음 (High)' 3 단계로 매핑하여 구체적인 행동 지시 (예: 역할 명시 여부, 증거 인용 강도 등) 를 결정합니다.
3. 적응형 가중치 스케줄링 (Adaptive Weights):
   • 시간 기반 업데이트: 초기 라운드에서는 지식 (D) 의존도를 높이고, 후기 라운드에서는 대화 히스토리 (M) 의존도를 높이는 등 대화 흐름에 따라 가중치를 자동 조정합니다.
   • 행동 기반 보정: 에이전트가 이전 라운드에서 지식을 인용하지 않거나 대화 흐름을 무시했을 경우, 해당 가중치를 동적으로 증가시켜 보정합니다.

라. 평가 지표

다섯 가지 지표를 통해 대화의 역동성을 정량화합니다:

• 반응성 (Responsiveness): 최근 발화에 대한 응답 여부.
• 반박 (Rebuttal): 상대방 주장에 대한 명시적 반대 여부.
• 비반복성 (Non-repetition): 이전 발화와의 유사도 (중복 회피).
• 증거 사용 (Evidence Usage): 외부 지식 (D) 인용 여부.
• 입장 변화 (Stance Shift): 초기 페르소나와 현재 발화의 일관성.

3. 주요 실험 및 결과 (Results)

두 가지 시나리오 (토지 자원 사용, 교육 자원 배분) 에서 3 개의 서로 다른 LLM(Qwen3, Llama3, Mistral) 으로 구동된 에이전트들을 대상으로 실험을 수행했습니다.

• 규칙 템플릿의 효과:
  • Struct 규칙은 반복을 가장 효과적으로 줄였으나, 때로는 증거 사용이나 반박을 억제할 수 있었습니다.
  • Light 규칙은 외부 지식 (증거) 사용을 가장 효과적으로 촉진했습니다.
  • 규칙의 강도에 따라 대화 스타일 (반박 빈도, 증거 인용 등) 이 유의미하게 변화함을 확인했습니다.
• 가중치 민감도 분석:
  • T(페르소나) 가중치 증가: 에이전트가 역할에 더 충실해지며 반박 빈도와 입장 일관성이 증가했습니다.
  • D(지식) 가중치와 규칙의 상호작용: 규칙이 없을 때는 높은 D 가중치가 필요하지만, 규칙이 존재하면 낮은 가중치로도 증거 사용이 촉진되는 교차 효과가 관찰되었습니다.
• 적응형 가중치:
  • 적응형 스케줄링은 평균 성능을 크게 바꾸지 않았으나, 대화 라운드별 궤적 (특히 증거 사용의 시간적 변화) 을 조절하여 더 자연스러운 대화 흐름을 유도했습니다.
• LLM 백본 다양성:
  • 이질적인 (Heterogeneous) LLM 구성이 동질적인 (Homogeneous) 구성보다 더 풍부하고 상호작용적인 대화를 생성했습니다.

4. 주요 기여 (Key Contributions)

1. 경량화된 정책 프레임워크: LLM 다중 에이전트 시스템의 행동을 제어하기 위해 추가 학습 없이 프롬프트를 매개변수화하는 새로운 접근법을 제시했습니다.
2. 해석 가능한 제어 메커니즘: 프롬프트를 구성 요소 (T, M, D, R, W) 로 분해하여, 어떤 요소가 어떤 대화 행동 (반박, 증거 사용 등) 에 영향을 미치는지 명확하게 규명했습니다.
3. 사회 시뮬레이션의 새로운 방향: 전통적인 강화학습 기반 접근법과 구별되는, 제어 가능하고 측정 가능한 사회 시뮬레이션 경로를 개척했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 을 단순한 텍스트 생성기가 아닌, 조정 가능한 매개변수를 가진 사회적 행위자로 재정의합니다. 프롬프트를 정책의 일부로 간주함으로써, 연구자들은 복잡한 다중 에이전트 상호작용을 체계적으로 설계하고 최적화할 수 있게 되었습니다. 이는 향후 사회적 시뮬레이션, 집단 의사결정, 그리고 LLM 기반 에이전트 간의 협력 및 갈등 연구를 위한 강력한 도구로 작용할 것입니다.