기술 요약: 멀티 에이전트 LLM 시스템에서의 알고리즘 집단 사고 (Algorithmic Groupthink)

문제 정의

본 논문은 멀티 에이전트 거대언어모델(LLM) 시스템에서 발생하는 런타임 수렴 현상인 **알고리즘 집단 사고(Algorithmic Groupthink)**라는 용어를 정의한다. AutoGen이나 LangGraph와 같은 멀티 에이전트 프레임워크는 협업을 통해 추론 능력과 사실적 정확성을 높이도록 설계되었으나, 본 연구는 에이전트들이 반복적인 정제 과정에서 서로의 초안을 공유할 때 출력이 의미론적으로 수렴한다는 점을 입증한다.

브레인스토밍, 디자인, 창의적 글쓰기와 같은 개방형 작업에서 이러한 수렴은 해롭다. 에이전트들이 컨텍스트를 공유하게 되면, 다양한 해결책을 생성하는 대신 동일한 섹션 제목, 캐릭터 명명 패턴, 플롯 구조를 재사용하는 경향을 보인다. 이러한 "의미론적 수렴(semantic convergence)"은 인간 검토자가 결과물을 평가하기도 전에 선택지의 범위를 좁혀버리며, 결과적으로 독특하지만 잠재적으로 높은 품질을 가진 솔루션들을 출력 분포에서 제거해 버린다. 저자들은 이를 학습 단계의 "모드 붕괴(mode collapse, RLHF 정렬에 의한 것)"와 구분한다. 알고리즘 집단 사고는 고정된 모델 가중치 상태에서 오직 컨텍스트 공유 메커니즘에 의해 추론 단계(inference time)에서 발생한다.

방법론

본 연구는 컨텍스트 공유의 효과를 격리하기 위해 맞춤 제작된 파이썬 시뮬레이션 프레임워크를 사용한다.

• 실험 설정: 핵심 실험은 5명의 에이전트($N=5$)가 5번의 반복($k=0$부터 $4$까지) 동안 3단계 생성-비평-요약(Generator-Critic-Summarizer, Gen-Critic-Sum) 워크플로우를 수행하도록 구성되었다.
• 참조 모드(Reference Modes): 주요 독립 변수는 참조 모드였다:
  • 개별 이력 모드(Individual-History Mode): 각 에이전트는 자신의 이전 출력물만 확인한다.
  • 그룹 이력 모드(Group-History Mode): 각 에이전트는 5명 에이전트의 모든 출력을 결합한 내용을 확인한다.
• 다양성 측정: 의미론적 다양성은 문장 임베딩(text-embedding-3-small을 사용하고 Sentence-BERT로 검증) 간의 평균 쌍별 유클리드 거리(mean pairwise Euclidean distance)를 사용하여 정량화하였다.
• 대조 실험: 다른 설명 가능성을 배제하기 위해 저자들은 다음을 테스트했다:
  • 입력 길이: 공유되는 내용을 동일한 길이의 무작위 채우기 텍스트(filler text)로 교체함.
  • 자연적 표류(Natural Drift): 이력 없이 새로운 출력을 생성함.
  • 순서: 공유되는 출력의 순서를 섞음.
• 교차 모델 검증: 참조 모드 비교는 세 가지 제공업체(OpenAI, Anthropic, Google)의 다양한 파라미터와 작업 세트를 가진 5개의 LLM에 대해 재현되었다.
• 완화 테스트: Group-History 베이스라인에 대해 두 가지 개입을 테스트했다:
  1. 다양성 프롬프트(Diversity Prompt): 시스템 프롬프트에 "이전 출력과 실질적으로 다른 응답을 생성하라"는 단일 지침을 추가함.
  2. 적대적 샘플링(Adversarial Sampling): 매 반복마다 세 개의 후보를 생성하고 이전 출력들과 가장 거리가 먼 것을 선택함.

주요 결과

1. 수렴의 존재 및 용량 의존성(Dose-Dependency)

알고리즘 집단 사고는 견고하며 용량 의존적인 효과이다.

• 격리 vs 공유: 실험 1(20개 작업)에서 개별 이력 모드의 에이전트들은 반복에 따라 의미적 다양성이 10.3% 증가한 반면, 그룹 이력 모드의 에이전트들은 다양성이 5.9% 감소했다 ($p=0.017$, Cohen's $d=0.79$).
• 용량-반응(Dose-Response): 실험 2에서 공유 비율(0%에서 75%까지)을 변화시킨 결과, 선형적인 음의 관계가 나타났다. 0% 공유 시 다양성은 14.1% 상승했으나, 75% 공유 시에는 15.3% 하락했다.
• 수렴 속도: 다양성 손실의 대부분은 첫 번째 반복에서 발생하며, 이는 에이전트들이 그룹과 정렬하기 위해 즉각적으로 출력을 조정하는 빠른 피드백 루프가 존재함을 시사한다.

2. 인과적 동인

대조 실험을 통해 수렴이 공유된 출력의 의미적 내용에 의해 구동되며, 다음 요소들에 의한 것이 아님을 확인했다:

• 증가된 입력 길이 (채우기 텍스트는 수렴을 일으키지 않음).
• 자연스러운 모델 표류 (독립적인 생성은 안정적이었음).
• 입력의 순서 (순서를 섞은 이력도 동일한 수렴을 보임).

3. 프롬프트 엔지니어링을 통한 완화

연구는 아키텍처 변경 없이 프로프트 수준에서 손실을 완화할 수 있음을 보여준다.

• 다양성 프롬프트: "실질적으로 다른 응답을 생성하라"는 지침을 추가하면 초기 테스트에서 다양성 손실이 베이스라인 **31.8%**에서 **5.5%**로 감소했다. 20개 작업에 대한 재현 실험에서도 15.2%의 손실이 7.0%의 이득으로 전환됨을 확인했다 ($p=0.0003$, Cohen's $d=1.31$).
• 적대적 샘플링: 수치적으로는 손실을 줄이는 데 유사했으나, 높은 분산과 제한된 샘물 크기로 인해 테스트된 프로토콜 내에서 통계적 유의성에 도달하지 못했다.

4. 교차 모델 일반화 및 품질

• 일관성: 효과의 방향(그룹 다양성 < 개별 다양성)은 테스트된 5개 모델(GPT-4o-mini, Claude-3.5-Haiku, GPT-4o, Gemini 2.0, Gemini 2.5) 모두에서 일관되게 나타났다. GPT-4o-mini와 Claude-3.5-Haiku에서 통계적 유의성에 도달했으며, 다른 모델들도 동일한 방향성을 보였으나 효과 크기는 달랐다.
• 품질 트레이드오프: 다양성이 품질을 저해할 것이라는 가정과 달리, LLM-judge 평가(GPT-4o-mini 및 Claude-Haiku 4.5 사용) 결과 다양성 프롬프트 조건이 그룹 이력 베이스라인보다 창의성 및 전반적인 품질 면에서 더 높은 점수를 받았다. 그러나 한 심사자는 다양한 출력들이 "실용성(practicality)" 측면에서는 약간 낮게 평가되었다고 언급하여, 개방형 아이디어 생성 시 창의성과 실용성 사이의 긴장이 존재함을 시사했다.

의의 및 주장

본 논문은 멀티 에이전트 수렴을 통제 불가능한 창발적 행동이 아닌, 관리 가능한 설계 파라미터로 재정의한다고 주장한다.

1. 런타임 현상: 학습 단계의 모드 붕괴와 달리, 이 효과는 컨텍스트 공유 방식을 조정함으로써 추론 단계에서 가역적이다.
2. 설계적 함의: 개발자는 모델을 재학습시키거나 기본 아키텍처를 변경하지 않고도, "공유 비율"을 조절하거나 시스템 프롬프트에 한 줄의 지침을 추가함으로써 의미적 다양성을 제어할 수 있다.
3. 인간-AI 워크플로우: 저자들은 중요한 위험을 강조한다. 에이전트들이 수렴하면 인간 검로자의 실질적인 선택 폭은 보이는 것보다 좁아지며, 이는 실행 가능한 대안들을 숨김으로써 인간의 의사결정에 편향을 줄 수 있다.
4. 실용적 완화: 본 연구는 현재의 멀로 에이전트 프레임워크에 즉시 적용 가능한, 품질 저하 없이 손실된 다양성을 회복하는 저비용 고효율의 솔루션(다양성 프롬프트)을 제공한다.

저자들은 다양성이 인간의 판단이 아닌 임베딩을 통해 측정되었다는 점, 모델마다 효과가 다르다는 점(GPT-4o는 효과가 작음), 그리고 결과가 사실적 질의응답보다는 개방형 반복 작업에 특화되어 있다는 점 등 한계점을 언급하며 신중한 태도를 유지했다.