🤖 AI

MAR:Multi-Agent Reflexion Improves Reasoning Abilities in LLMs

이 논문은 다중 페르소나 토론가(multi-persona debaters)를 활용하여 다양한 성찰을 생성하고 단일 에이전트 자기 성찰에서 나타나는 사고 퇴화(thought degeneration)를 극복함으로써 HotPot QA 및 HumanEval과 같은 작업에서 추론 성능을 크게 향상시키는 방법인 MAR(Multi-Agent Reflexion)을 제안한다.

원저자: Onat Ozer, Yuchen Wang, Grace Wu, Daniel Dosti, Honghao Zhang, Vivi De La Rue

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Onat Ozer, Yuchen Wang, Grace Wu, Daniel Dosti, Honghao Zhang, Vivi De La Rue

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

논문 설명: MAR (Multi-Agent Reflexion), LLM의 추론 능력을 향상시키는 다중 에이전트 성찰

핵심 문제: AI의 "에코 체임버(Echo Chamber, 메아리 방)" 현상

당신이 매우 어려운 퍼즐을 풀고 있다고 상상해 보세요. 실수를 했지만, 친구에게 도움을 요청하는 대신 스스로 자신의 실수를 바라보고, 무엇이 잘못되었는지 스스로에게 노트를 쓰고 다시 시도해야만 하는 상황입니다.

이것이 기존의 Reflexion 시스템이 작동하는 방식입니다. 마치 혼자 방 안에서 시험을 치르는 학생과 같습니다. 문제를 틀리면, 학생은 "세부 사항을 놓쳐서 틀렸다"라고 적은 뒤 다시 시도합니다.

연구진은 이 접근 방식의 중대한 결함을 발견했습니다: 학생이 자신의 사고방식에 너무 갇혀 있다는 점입니다.

만약 학생이 규칙을 오해해서 실수를 했다면, 스스로 작성한 노트는 그 오해를 그대로 반복하는 경우가 많습니다.
결국 학생은 똑같은 실수를 반복하며, 단지 표현만 조금씩 바꿔서 정당화하는 "에코 체임버"에 갇히게 됩니다.
논문의 기술적 용어로는 이를 **"사고의 퇴행(degeneration of thought)"**이라고 합니다. AI가 잘못된 추론의 루프에 빠져버리는 것입니다.

해결책: "전문가 패널"

이를 해결하기 위해 저자들은 **Multi-Agent Reflexion (MAR)**을 만들었습니다.

단 한 명의 학생이 혼자 대화하는 대신, 이제 AI는 문제를 해결하기 위해 테이블에 둘러앉은 전문가 팀이 됩니다. 팀이 실수를 했을 때, 그들은 단순히 노트를 쓰는 것이 아니라 구조화된 토론을 벌입니다.

새로운 시스템의 작동 단계는 다음과 같습니다:

Actor (수행자): 한 명의 AI가 먼저 문제를 해결하려고 시도합니다.
Failure (실패): 만약 답이 틀렸다면, 시스템은 단순히 "수행자"에게 수정하라고 요구하는 데 그치지 않습니다.
Debate (토론 - 비평가들): 시스템은 다양한 "페르소나"(특화된 AI 캐릭터) 팀을 호출합니다. 이들은 마치 다음과 같습니다:
- Skeptic (회의론자): 모든 것을 의심하며 숨겨진 함정을 찾아내는 사람.
- Logician (논리학자): 단계들이 수학적으로 실제로 타당한지 확인하는 사람.
- Creative (창의가): 기발하고 대안적인 아이디어를 제안하는 사람.
- Verifier (검증자): 답변이 정확한 규칙과 일치하는지 확인하는 사람.
Judge (판사): "판사" AI는 이 다양한 전문가들이 논쟁하는 것을 듣습니다. 판사는 단순히 승자를 고르는 것이 아니라, 이들의 논거를 종합하여 하나의 명확하고 수준 높은 교훈으로 만들어냅니다.
Retry (재시도): "수행자" AI는 이 새롭고 풍부해진 교훈을 전달받아 다시 시도합니다. 교훈이 다양한 집단으로부터 왔기 때문에, 이전의 실수를 반복하는 대신 진짜 실수가 무엇인지 찾아낼 가능성이 훨씬 높습니다.

결과: 효과가 있는가?

연구진은 두 가지 매우 다른 유형의 과제로 테스트를 진행했습니다.

"탐정" 테스트 (HotPotQA): 여러 서로 다른 문서에서 단서들을 연결하여 질문에 답해야 하는 작업입니다.
- 결과: 단일 AI 시스템(Reflexion)은 약 **44%**의 정답률을 보였습니다. 새로운 "전문가 패널" 시스템(MAR)은 **47%**의 정답률을 기록했습니다.
- 참고: 저자들은 이 개선 폭이 기대보다 작았음을 인정했는데, 이는 채점 시스템이 마침표 하나가 빠지는 것과 같은 아주 미세한 형식적 디테일에 매우 엄격하여, 올바른 추론을 했음에도 감점이 되었기 때문입니다.
"코더" 테스트 (HumanEval): 숨겨진 테스트를 통과해야 하는 컴퓨터 코드를 작성하는 작업입니다.
- 결과: 단일 AI 시스템은 **76.4%**의 코드가 정상 작동했습니다. 새로운 "전문가 패널" 시스템은 **82.6%**가 작동했습니다.
- 왜 더 효과적이었는가: 코딩 오류는 종로 종종 논리적 루프나 'off-by-one'(경계값 오류) 실수인 경우가 많습니다. "회의론자"와 "논리학자" 페르ola는 단일 AI가 계속 놓치던 이러한 특정 유형의 오류를 잡아내는 데 매우 뛰어났습니다.

주의점: 더 많은 비용이 듭니다

논문은 단점 또한 솔직하게 밝히고 있습니다.

토론의 대가: 팀 전체가 토론하는 것은 한 사람이 혼자 생각하는 것보다 훨씬 더 많은 에너지와 시간이 소요됩니다.
비용: 새로운 시스템은 여러 AI 모델을 실행하여 토론을 진행해야 하므로, 기존 시스템보다 약 3배 더 많은 컴퓨팅 파워(그리고 3배 더 많은 API 비용)를 사용합니다.

요약

이 논문은 AI가 점점 똑똑해지고 있지만, 여전히 자신의 습관에 갇혀 스스로의 실수로부터 배우는 데 어려움을 겪고 있다고 주장합니다. AI에게 자신의 다른 버전들과 논쟁하도록 강제함으로써, AI는 이러한 나쁜 습관에서 벗어나 더 나은 해결책을 찾고 더 신뢰할 수 있게 됩니다. 다만, 이는 더 높은 비용을 수반합니다.

이는 혼자서 그림을 수정하려는 단독 예술가와, 무엇이 잘못되었고 어떻게 고쳐야 하는지 정확히 지적해 주는 전체 미술 비평 팀의 차이와 같습니다.

기술 요약: 멀티 에이전트 리플렉션 (Multi-Agent Reflexion, MAR)

문제 정의

대규모 언어 모델(LLM)은 강력한 추론 및 프로그램 합성 능력을 보여주지만, 파라미터 업데이트 없이 경험을 통해 스스로 개선하는 데에는 여전히 어려움이 있습니다. Reflexion 프레임워크(Shinn 등, 2023)는 실패에 대한 자연어 성찰(reflection)을 생성하고 이를 에피소드 기억(episodic memory)으로 저장하여 향후 시도를 가이드하게 함으로써 이 문제를 해결하고자 했습니다. 그러나 HotPotQA와 HumanEval에서 수행한 Reflexion의 재현 실험 결과, 단일 에이전트 설계의 체계적인 결함이 드러났습니다.

사고의 퇴행 (Degeneration of Thought): 동일한 모델이 생성자, 평가자, 성찰자 역할을 모두 수행합니다. 이는 **확증 편향(confirmation bias)**을 초래하며, 에이전트가 근본 원인을 식별하기보다 동일한 잘못된 추론을 반복하거나 추가적인 잘못된 논리로 오류를 정당화하게 만듭니다.
모드 붕괴 (Mode Collapse): 수정 사항이 좁고 반복적인 템플릿을 따르는 경향이 있습니다. 코드 생성에서 이는 반복되는 시도 전반에 걸쳐 동일한 버그 구조(예: off-by-one 에러)를 재생산하는 형태로 나타납니다.
제한된 교정 피드백 (Limited Corrective Feedback): 자기 성찰(self-reflection)이 새로운 추론 경로를 도입하는 데 실패하는 경우가 많아, 에이전트가 어려운 예제에서 정체되게 만듭니다.

방법론

이러한 한계를 해결하기 위해, 우리는 단일 에이전트의 자기 비판을 다양하고 페르소나 기반인 비평가들의 협력 팀으로 대체하는 구조적 확장 모델인 **멀티 에이전트 리플렉션 (MAR)**을 도입합니다.

아키텍처

MAR은 공유된 사각지대를 줄이기 위해 추론 과정을 별도의 역할로 분해합니다:

액터 (Actor, $M_a$ ): 베이스라인 모델(예: GPT-3.5)을 사용하여 행동과 최종 답변을 생성합니다.
평가자 (Evaluator, $M_e$ ): 성공 또는 실패를 결정합니다 (예: 유닛 테스트 또는 완전 일치 방식 사용).
멀티 에이전트 디베이트 모듈 (Multi-Agent Debate Module): 실패 시 트리거되며, 단일 "자기 성찰자(Self-Reflector)"를 구조화된 토론으로 대체합니다:
- 다양한 페르소나: 여러 비평가 에이전트(예: 검증가(Verifier), 회의론자(Skeptic), 논리학자(Logician), 창의적 사고가(Creative))가 다양한 관점에서 실패한 궤적을 분석합니다. 이 페르소나들은 증거 활용(Evidence Exploitation) (텍textual 근거 요구), 탐색(Exploration) (대안적 가설 제시), 명세 엄격성(Specification Strictness) 축을 따라 다양하게 설계되었습니다.
- 토론 과정: 비평가들은 실패를 진단하고, 비평 내용을 토론하며, 최대 2라운드까지 자신의 논거를 정교화합니다.
- 판사 (Judge, $M_j$ ): 코디네이터 모델로서 토론을 하나의 통합된 "합의 성찰(Consensus Reflection)"로 합성합니다. 이 성찰은 오류 출력, 토론 로그, 합의된 전략을 집계합니다.
메모리 업데이트: 합의된 성찰은 액터의 에피소드 메모리에 추가되어 다음 재시도를 가이드합니다.

실험 설정

우리는 GPT-3.5와 GPT-4를 사용하여 두 가지 벤치마크에서 MAR을 평가했습니다:

HotPotQA: 문서 간의 증거 통합이 필요한 멀티 홉 질의응답 벤치마크입니다. 5회의 시도 동안 완전 일치(Exact Match, EM) 정확도를 측정했습니다.
HumanEval: 생성된 함수가 숨겨진 유닛 테스트를 통과하는지 테스트하는 프로그램 합성 벤치마크입니다. 제한된 예산(초기 시도 + 1회의 성찰 가이드 재시도) 내에서 pass@1 정확도를 측정했습니다.

주요 결과

우리의 재현 실험은 단일 에이전트 Reflexion의 한계를 확인시켜 주었으며, MAR이 이를 극복할 수 있음을 입증했습니다:

HotPotQA:
- 베이스라인 (ReAct, GPT-3.5): 32.0% EM.
- Reflexion (단일 에이전트): 44.0% EM.
- MAR: 47.0% EM.
- 참고: 저자들은 Reflexion 대비 완만한 상승폭이 미세한 포맷 차이로 인해 의미적으로 올바른 답변을 벌칙 대상으로 삼는 완전 일치(EM) 지표의 민감도 때문이라고 설명합니다.
HumanEval:
- 베이슬라인 (GPT-3.5): 67.1% pass@1.
- Reflexion (단일 에이전트): 76.4% pass@1.
- MAR: 82.6% pass@1.
- 이는 6.2포인트의 상승을 나타내며, MAR이 코드 생성에서의 반복되는 실패 모드로부터 더 효과적으로 탈출함을 보여줍니다.

기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

실패 모드 식별: 상세한 로깅을 통해, 단일 에이전트 Reflexion이 확증 편향과 모드 붕괴를 겪으며 반복적인 추론 오류를 일으킨다는 점을 확인했습니다.
멀티 에이전트 리플렉션 (MAR): 행동, 진단, 비판, 집계를 분리하는 프레임워크를 제안합니다. 다양한 추론 페르소나와 판사 모델을 도입함으로써, MAR은 공유된 사각지대를 줄이고 초기 실수의 강화를 방지합니다.
경험적 검증: MAR은 추론 및 코드 합성 작업 모두에서 베이스라인과 단일 에이전트 Reflexion을 일관되게 능가하며, 멀티 에이전트 상호작용이 더 신뢰할 수 있는 LLM 에이전트를 위한 단순하고 훈련이 필요 없는 경로임을 입증했습니다.

한계 및 사회적 영향

저자들은 MAR이 상당한 계산 비용을 발생시킨다는 점을 인정합니다. 멀티 에이전트 토론 및 판사 합성 단계는 단일 에이전트 Reflexion에 비해 약 3배 증가한 API 호출 및 지연 시간을 초래합니다. 이는 확장성, 에너지 소비 및 경제적 접근성에 대한 우려를 낳습니다. 또한, 본 논문은 자기 정제 에이전트가 안전 및 거버넌스 문제를 야기할 수 있다고 언급하는데, 이는 창발적인 멀티 에이전트 행동이 예측하거나 정렬하기 더 어려워질 수 있기 때문입니다.

결론적으로, MAR은 구조화된 이견을 통해 LLM의 신뢰성을 향상시키는 확장 가능한 훈련 불필요(training-free) 방법을 제공하지만, 그 배포에는 효율성 및 환경적 영향에 대한 신중한 평가가 필요합니다.