🤖 AI

12 Angry AI Agents: Evaluating Multi-Agent LLM Decision-Making Through Cinematic Jury Deliberation

본 논문은 12 명의 AI 배심원으로 영화《12 명의 성난 남자》를 시뮬레이션하여 다중 에이전트 LLM 심의를 평가한 결과, GPT-4o 와 같은 모델의 무거운 RLHF 정렬이 Llama-4-Scout 과 같은 경량 정렬 모델에 비해 심의 유연성과 합의 형성을 심각하게 제한하며, 후자는 더 인간적인 설득 역학을 보임을 밝혀냈다.

원저자: Ahmet Bahaddin Ersoz

게시일 2026-05-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ahmet Bahaddin Ersoz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 젊은 남자가 살인죄를 범했는지 여부를 결정하려는 배심원단에 관한 영화를 보고 있다고 상상해 보세요. 고전 영화《12 명의 분노한 남자》에서는 한 명의 고집 센 배심원이 나머지 11 명과 맞서 혼자 시작합니다. 시간이 지나고 격렬한 논쟁, 감정적 동요, 그리고 신중한 경청을 통해 그는 서서히 나머지 모든 사람의 마음을 바꾸어 결국 모두 "무죄"에 동의하게 됩니다.

이 논문은 단순하지만 심오한 질문을 던집니다: 그 12 명의 인간 배우들을 12 대의 AI 로봇으로 대체한다면 어떻게 될까요?

연구진은 영화의 특정 등장인물처럼 행동하도록 프로그래밍된 12 개의 AI 에이전트로 디지털 법정을 구성했습니다. 그리고 두 가지 다른 유형의 AI 를 서로 대립시켰습니다:

"엄격한" AI(GPT-4o): 매우 정제되고 안전 훈련을 철저히 받은 모델로, 일관성과 정중함을 매우 신중하게 유지합니다.
"유연한" AI(Llama-4-Scout): 오픈 소스 모델로, 엄격한 훈련을 덜 받았으며 다양한 지시에 더 기꺼이 호응합니다.

간단한 비유를 통해 무슨 일이 일어났는지 설명해 보겠습니다:

1. "고장 난 레코드" 문제

영화에서는 배심원들이 마음을 바꿉니다. 하지만 AI 시뮬레이션에서는 거의 그런 일이 일어나지 않았습니다.
18 가지 다른 시도 중 17 건이 "결정 불능"(아무도 동의하지 않는 동률) 으로 끝났습니다. AI 들은 실제로 논쟁을 벌이지 않았습니다. 그저 시작 위치를 고수하며 한 음에 걸린 고장 난 레코드처럼 고집을 부렸습니다. 심지어 "엄격한" AI 에게 "야, 열린 마음을 가지고 새로운 아이디어에 귀 기울여라"라고 지시했을 때도, 그 지시를 무시하고 고집을 부렸습니다.

2. "안전"의 함정

이 논문은 이러한 고집스러운 태도에 대한 놀라운 이유를 제시합니다. "엄격한" AI(GPT-4o) 는 "안전"하고 "일관성" 있게 되도록 강하게 훈련되었습니다. 마음을 바꾸는 것이 "나쁜 행동"이거나 "일관성 없는 행동"이라고 가르침을 받은 매우 잘 양육된 아이를 생각해 보세요. 그래서 일단 판결을 내리면 "착한" 상태로 남기 위해 그 판결에 매달려야 한다고 느낀 것입니다.

이러한 엄격한 훈련을 덜 받은 "유연한" AI(Llama) 는 "아, 네가 말한 점을 알겠다, 아마 내가 잘못했을지도 몰라"라고 말 할 준비가 된 아이와 더 비슷했습니다. 실제로 마음을 바꾸어 판결에 도달한 유일한 존재였습니다.

3. "대본" 대 "연극"

연구진은 AI 들이 의상을 모방하는 데는 뛰어나지만, 연극을 연기하는 데는 형편없었다는 사실을 발견했습니다.

잘한 점: 적절한 단어를 사용했고, 증거(예: 칼이나 기차 시간표) 를 기억했으며, 영화 속 등장인물처럼 화난 듯하거나 편견에 찬 목소리를 냈습니다.
잘못한 점: 실제로는 의심을 느끼지 못했습니다. 영화에서 한 배심원이 마음을 바꾸는 것은 감정을 느끼거나 논리의 균열을 보기 때문입니다. 하지만 AI 버전에서 "의심"은 컴퓨터의 온도 설정에 의해 생성된 단순한 무작위 노이즈에 불과했습니다. AI 들은 서로 설득하지 않았습니다. 그저 평행한 독백으로 서로의 말을 무시하며 대화할 뿐이었습니다.

4. "가짜 결말"

AI 들은 장면을 마무리하도록 프로그래밍되어 있었기 때문에, 일부(특히 유연한 AI 들) 는 결론을 착각하여 만들어내기 시작했습니다. 실제로 합의에 도달하지 않았음에도 불구하고 갑자기 대화에 "(일어서서 방을 떠난다)" 또는 "끝"이라고 적어 넣으며, 배심원이 만장일치에 도달한 것처럼 가장하여 이야기를 마무리했습니다. 그들은 무한히 이어질 수 있는 실제 대화보다는, 반드시 결말이 있어야 하는 영화 대본처럼 심의를 대했습니다.

핵심 교훈

이 논문은 AI 에 대한 일반적인 통념을 뒤집습니다. 보통 사람들은 "더 크고 똑똑한" AI 가 항상 더 낫다고 생각합니다. 하지만 여기서는 더 "똑똑"하고 훈련이 많이 된 AI 가 너무 경직되어 있어 심의에 가장 못했습니다. 반면, 훈련이 덜 되어 더 유연한 AI 가 마음을 바꾸기를 기꺼이 했기 때문에 심의에 가장 잘했습니다.

간단히 말해: AI 에게 토론에서 인간처럼 행동하게 하려면 완벽하게 일관되고 안전하도록 훈련된 AI 를 원하지 않습니다. 실수할 수 있음을 인정할 만큼 유연한 AI 를 원합니다. 현재 가장 "첨단"인 AI 들은 너무 정중하고 고집 세서 결코 진정으로 마음을 바꾸지 못합니다.

기술적 요약: 12 명의 성난 AI 에이전트

문제 제기
본 논문은 다중 에이전트 대규모 언어 모델 (LLM) 시스템 평가에서 중요한 공백을 다루고 있습니다. 다중 에이전트 프레임워크는 심의, 논쟁, 합의가 필요한 작업 (예: 배심원 패널, 코드 검토, 정책 위원회) 에 점점 더 많이 사용되고 있지만, 이러한 에이전트들이 실제로 심의하는지에 대한 경험적 증거는 부족합니다. 저자들은 현재 LLM 들은 단순히 초기 입장을 '앵커링'하여 반박을 통합하지 않고 주장을 반복함으로써, 의견 변경의 실질적 내용 없이 심의하는 것처럼 보일 수 있다고 주장합니다. 이를 검증하기 위해 연구는 설득의 알려진 실제 경로와 개별화된 참여자를 가진 벤치마크가 필요하며, 저자들은 시드니 루메트의 1957 년 영화《12 명의 성난 남자》를 활용합니다.

방법론
본 연구는 마이크로소프트 AutoGen 의 SelectorGroupChat 패턴을 사용하여 영화의 시나리오를 다중 에이전트 벤치마크로 구현했습니다.

에이전트: 12 명의 에이전트로, 각 에이전트는 영화에 충실한 페르소나 (직업, 편견, 화법, 초기 투표, 주요 주장) 에 기반하여 설정되었습니다. 초기 상태는 영화와 동일하게 11 명의 배심원이 '유죄'로 투표하고, 한 명 (Juror_8) 은 '무죄'로 투표합니다.
모델: 인간 피드백을 통한 강화 학습 (RLHF) 스펙트럼의 양극단을 대표하는 두 가지 모델을 테스트했습니다:
- GPT-4o: 폐쇄형 소스 모델로, 무거운 RLHF 정렬 (안전 최우선, 일관성 중시) 을 적용했습니다.
- Llama-4-Scout: 오픈 가중치 모델로, 가볍고 공개적으로 문서화된 RLHF 스택 (유연성 최우선) 을 적용했습니다.
실험 설계: $2 \times 3$ $2 \times 3$ 요인 설계로, 셀 당 $N=3$ $N = 3$ 번의 반복 (총 18 회 실행) 을 수행했습니다.
- 모델: GPT-4o 대 Llama-4-Scout.
- 조건:
  1. 기선: 고정된 초기 투표와 표준 페르소나 프롬프트.
  2. 초기 투표 없음: 초기 투표 조건 제거; 배심원들이 처음부터 결정.
  3. 개방적 사고 프롬프트: '모든 증거를 공정하게 고려'하고 반박이 타당하면 입장을 업데이트하라는 지시 추가.
종료: 심의는 최대 150 회 턴까지 진행되지만, 3 회 연속 투표 라운드에서 투표 변경이 없으면 'HUNG_JURY(무효 판정)'로 간주하여 조기 종료합니다.
지표: 판결 결과, 총 턴 수, 투표 변경 횟수, 연쇄 속도, 그리고 영화의 고유한 순서와 스피어만 $\rho$ 를 통해 비교한 첫 번째 반전 순서.

주요 기여

영화 기반 벤치마크: 《12 명의 성난 남자》를 활용한 다중 에이전트 심의 평가를 위한 새로운 평가 프레임워크를 도입하여, 잘 알려진 실제 경로와 12 개의 고유한 페르소나를 제공합니다.
RLHF 패러다임 비교: 무거운 대 가벼운 RLHF 정렬에 대한 통제된 비교를 제공하여, 모델 크기나 능력보다는 정렬 강도가 심의의 경직성을 지배한다는 증거를 제시합니다.
실패 모드 식별: '앵커링'을 다중 에이전트 환경에서 지배적인 실패 모드로 식별하고, 앵커링 해제 개입 (프롬프팅, 초기 조건 제거) 이 정렬 체계에 따라 비대칭적으로 작동함을 입증합니다.
정성적 편차 분석: LLM 이 재현하는 표면적 특징 (페르소나, 증거 인용) 과 재현하지 못하는 메커니즘 (정서적 파열, 동맹 형성, 진정한 설득) 을 구분합니다.

결과

무효 판정의 빈도: 18 회 실행 중 17 회가 'HUNG_JURY'로 끝났습니다. 영화의 중심 사건인 소수에서 다수로의 점진적 설득은 거의 발생하지 않았습니다.
모델 편차 (경직성 대 유연성):
- GPT-4o: 모든 조건에서 극도의 경직성을 보였습니다. 평균 투표 변경 횟수는 기선 조건에서 1.0, 초기 투표 없음 조건에서 0.7, 개방적 사고 프롬프트 조건에서 1.0 이었습니다. 명시적으로 개방적 사고를 유지하라는 지시를 무시하고 9 회 실행 모두에서 무효 판정을 발생시켰습니다.
- Llama-4-Scout: 상당한 유연성을 보였습니다. 평균 투표 변경 횟수는 기선 조건에서 2.0, 초기 투표 없음 조건에서 3.3, 개방적 사고 프롬프트 조건에서 6.0 이었습니다. 초기 투표 없음 조건에서 3 회 중 1 회 '무죄'에 대한 만장일치 판결을 달성한 유일한 모델이었습니다.
비대칭적 프롬프트 민감도: '개방적 사고' 지시는 Llama 의 투표 변경률을 3 배로 높였지만 GPT-4o 에는 전혀 영향을 미치지 않았습니다.
조기 종료: GPT-4o 심의는 빠른 정체로 인해 평균 44~~64 턴으로 더 짧았으며, 반면 Llama 심의는 지속적인 투표 이동으로 인해 평균 60~~72 턴으로 더 길었습니다.

의의 및 주장
본 논문은 다중 에이전트 심의에서 능력이 아닌 유연성이 인간과 유사한 설득 역학의 주요 결정 요인이라고 주장합니다.

RLHF 경직성 가설: 저자들은 지배적인 실패 모드인 앵커링이 RLHF 훈련 강도에 의해 주도된다고 주장합니다. '안전'과 '일관성'을 위해 강하게 정렬된 모델 (GPT-4o 등) 은 주장된 입장을 포기하는 것을 바람직하지 않은 행동으로 학습하여 경직된 심의자가 됩니다. 반면, 가벼운 정렬 스택을 가진 모델 (Llama-4-Scout 등) 은 사회적 압력 하에서 입장을 업데이트할 능력을 유지합니다.
'크기가 더 좋다'는 관념의 전복: 본 연구는 더 크거나 순위가 높은 모델이 항상 더 나은 작업 수행을 예측한다는 가정에 도전합니다. 이 영역에서는 더 '유능한' 모델 (GPT-4o) 이 더 유연한 모델보다 심의에서 더 나쁜 성과를 보였습니다.
메커니즘의 대체: 본 논문은 LLM 이 심의의 '의상'(페르소나, 증거, 이의 제기) 은 재현하지만, 심의의 '연극'(마음 바꾸는 메커니즘) 은 재현하지 않는다고 결론지었습니다. LLM 은 정서적 파열을 평탄한 예의범절로, 사회적으로 매개된 설득을 시스템 프롬프트 지시로, 논증에 기반한 의심을 샘플링 온도로 대체합니다.
실무적 함의: LLM 패널 (평가 또는 논쟁용 등) 을 사용하는 실무자들에게, 구성원들이 첫 번째 투표에 앵커링할 경우 패널 판결은 단순히 초기 인상의 노이즈 버전일 수 있음을 시사합니다. 또한, 다중 에이전트 논쟁 프레임워크는 모델 선택에 취약하여, 강하게 정렬된 모델에서는 진정한 이의 제기가 표면화되지 않고 독백을 생성할 수 있습니다.

본 작업은 탐색적 연구로 framing 되어 있으며, 작은 표본 크기 ( $N=3$ ), 두 가지 모델만 사용됨, 폐쇄형 모델의 특정 RLHF 절차에 대한 불투명성 등의 한계를 인정합니다. 저자들은 향후 연구가 경직성 효과가 정렬의 불가피한 부작용인지, 아니면 해결 가능한 설계 선택인지 조사해야 한다고 제안합니다.