한 무리의 명석한 탐정들이 까다로운 미스터리를 해결하려고 노력하고 있다고 상상해 보십시오. 인공지능의 세계에서 이 탐정들은 문제를 단계별로 생각하도록 설계된 컴퓨터 프로그램인 '에이전트(agents)'입니다. 보통 이 에이전트들이 의견이 충돌할 때, 그들은 매우 비효율적인 행동을 합니다. 바로 자신들의 조사 전체를 내팽개치고 처음부터 다시 시작하며, 모두가 동의했던 단서들까지 포함하여 모든 것에 대해 논쟁하는 것입니다. 이것은 마치 두 사람이 자동차 색깔에 대해 논쟁하면서, 단순히 "빨간색이다"라고 말하는 대신, 어떻게 만났는지, 아침에 무엇을 먹었는지, 날씨는 어땠는지와 같은 전체 이야기를 다시 늘어놓으며 의견 차이가 발생한 지점으로 되돌아가려는 것과 같습니다. "Where Reasoning Diverges: Localized Multi-Agent Debate"라는 제목의 이 논문은 컴퓨터 과학 분야, 특히 우리가 어떻게 이 AI '탐정'들을 더 똑똑하고 빠르게 만들 수 있는지에 초점을 맞추고 있습니다. 이 논문의 핵심 아이디어는 AI의 추론이 여러 버전의 모델이 서로 대화하며 실수를 바로잡을 때 가장 잘 작동한다는 점에 기반하고 있지만, 기존의 방식은 너무 번거롭고 반복적이라는 것입니다.

이 연구를 진행한 위준 가오(Weijun Gao)와 그의 팀은 AI 에이전트들이 의견이 다를 때, 문제가 대개 긴 논리 사슬 중 아주 작은 한 단계에서 발생한다는 점을 깨달았습니다. 에이전트들이 자신들의 전체 이력을 다시 훑게 만드는 대신, 그들은 LMAD(Localized Multi-Agent Debate, 국소적 다중 에이전트 토론)라는 새로운 방법을 발명했습니다. LMAD를 두 명의 탐정이 대화하는 것을 듣고 있다가, 정확히 어느 지점에서 의견이 갈리기 시작했는지를 포착하여 "멈춰! 딱 이 특정 단서에 대해서만 논쟁하자"라고 말하는 매우 효율적인 중재자라고 생각하십시오. 일단 그 하나의 단서를 해결하면, 중재자는 그것을 모두가 사실이라고 동의하는 '공유 노트'에 기록하고, 탐정들은 그 새로운 견고한 지점으로부터 조사를 계속합니다. 그들은 이미 해결된 사실들을 다시 논쟁하며 시간을 낭비하지 않습니다.

이 논문은 이러한 "줌인(zoom-in)" 접근 방식이 게임 체인저가 될 것이라고 제안합니다. 불일치를 전체 시스템 재부팅이 아닌 작은 국소적 수리 작업으로 취급함으로써, AI 에이전트들은 훨씬 더 복잡한 다단계 질문들을 더 잘 해결할 수 있습니다. 네 가지 어려운 질의응답 과제와 열 개의 서로 다른 AI 모델을 대상으로 한 테스트에서, 이 새로운 방법은 기존의 가장 뛰어난 기술들을 일관되게 능가했습니다. 실제로, 이 방법은 기존의 가장 강력한 방법들과 비교했을 때 AI 답변의 정확도를 최대 7.20 퍼센트 포인트 향상시켰습니다. 저자들은 이 방식이 작은 모델부터 거대한 모델에 이르기까지 다양한 크기의 AI 모델 전반에서 작동한다는 것을 발견했으며, 이는 비결이 단순히 더 큰 뇌를 갖는 것이 아니라, 더 나은 논쟁 방식을 갖는 데 있다는 것을 시사합니다.

문제점: "전체 궤적(Whole-Trace)"의 함정

당신이 친구와 함께 블록으로 탑을 쌓고 있다고 상상해 보십시오. 당신과 친구는 처음 열 개의 블록에 대해서는 동의합니다. 그러다 열한 번째 블록을 놓으려고 할 때, 서로 다른 모양을 선택합니다. 기존의 방식(이를 "다중 에이전트 토론"이라 부름)에서는, 만약 열한 번째 블록에 대해 의견이 갈린다면, 당신은 쌓아 올린 탑 전체를 허물고, 합의했던 열 개의 블록을 처음부터 다시 쌓아야 합니다. 단지 열한 번째 블록 하나를 두고 논쟁하기 위해서 말입니다. 이는 매우 지치고 느린 일입니다.

이 논문은 이러한 "전체 궤적" 접근 방식이 시간 낭비라고 주장합니다. AI 에이전트들이 논쟁할 때, 그들은 초기 사실들에 대해서는 동의하지만 나중에 의견이 갈리는 경우가 많습니다. 그들에게 이미 동의한 모든 것을 다시 논의하도록 강요하는 것은 진짜 문제를 가리고 컴퓨팅 자원을 낭비하게 만듭니다. 저자들은 불일치가 발생할 때마다 전체 추론 경로를 토론할 필요가 없다는 아이디어를 명시적으로 배제합니다. 그들은 "조정의 단위(unit of coordination)"가 전체 이야기가 아니라, 불일치가 시작되는 특정 단계여야 한다고 주장합니다.

해결책: "국소적(Localized)" 해결

연구팀은 AI의 사고를 위한 스마트한 편집자 역할을 하는 LMAD를 도입했습니다. 작동 단계는 다음과 같습니다:

1. 병렬 실행 (The Parallel Run): 여러 AI 에이전트(동일한 탐정의 서로 다른 버전들)가 각자 문제를 풀려고 시도합니다. 그들은 자신의 생각을 "타입된 노드(typed nodes)", 즉 명확하고 짧은 주장들의 목록으로 작성합니다.
2. 국소화 도구 (The Localizer): 특수한 시스템이 이 목록들을 스캔하여 에이전트들이 의견이 갈리는 최초의 지점을 찾아냅니다. 이는 마치 두 선수가 서로 발을 밟는 순간 휘슬을 부는 심판과 같습니다.
3. 국소 토론 (The Local Debate): 게임 전체에 대해 논쟁하는 대신, 에이전트들은 그 불일치에 이르는 특정 세그먼트만을 토론합니다. 그들은 에너지를 오직 그 하나의 끊어진 연결 고리를 고치는 데 집중합니다.
4. 가드된 확정 (The Guarded Commit): 일단 수정 사항에 합의하면, "가드(guard)"가 새로운 주장이 증거에 의해 뒷받침되는지 확인합니다(예: 목격자가 탐정이 주장하는 대로 실제로 말했는지 확인하는 것과 같습니다). 이 검증을 통과하면, 그 수정 사항은 "공유 상태"에 확정됩니다. 이는 그것이 모두가 받아들이는 사실로 고정되었음을 의미합니다.
5. 재개 (The Resume): 에이전트들은 이 새로운, 고정된 지점으로부터 조사를 재개합니다. 만약 나중에 다시 의견이 갈린다면, 이 과정이 반복됩니다: 새로운 불일치를 찾고, 그 부분만을 고친 뒤, 이를 확정합니다.

결과: 더 똑똑하고, 빠르고, 정확하게

연구진은 이 방법을 네 가지 서로 다른 "멀티 홉(multi-hop)" 질의응답 벤치마크에서 테스트했습니다. 이것들은 답을 찾기 위해 여러 정보 조각을 연결해야 하는 까다로운 퍼즐입니다 (예: "에펠탑이 있는 나라의 대통령의 아내는 누구인가?"). 그들은 소형부터 대형 모델까지 10개의 서로 다른 AI "백본(backbone, 기반 모델)"을 사용했습니다.

결과는 인상적이었습니다. 논문에 따르면, 단일한 고정 설정만으로 LMAD는 10개 모델 모두에서 가장 높은 정확도를 달립했습니다.

• 큰 승리: LMAD는 가장 강력했던 이전 방법보다 최대 7.20 퍼센트 포인트 앞섰습니다.
• 일관성: 40개의 서로 다른 모델 및 데이터셋 조합 중, LMAD는 36개 케이스에서 더 우수했고, 1개에서 동률을 기록했으며, 단 3개의 경우에서만 성능이 낮았습니다.
• 평균 이득: 모든 모델에 걸친 평균 개선 폭은 약 2.94 퍼센트 포인트였습니다.

저자들은 이러한 결과가 강력하긴 하지만, 특정 테스트와 시뮬레이션에 기반하고 있다는 점을 주의 깊게 언급했습니다. 그들은 "불일치를 국소화하는" 원칙이 유용한 도구임을 시사하지만, 이것이 AI 추론의 모든 문제를 해결한다고 주장하지는 않습니다. 그들은 실제 사고 과정이 단순한 직선(예: 트리나 웹 형태)보다 더 복잡할 수 있음을 지적하며, 향후 연구에서 이러한 "국소적" 아이디어를 더 복잡한 형태에 적용할 수 있을 것이라고 언급했습니다.

이것이 중요한 이유

이 논문은 AI 모델을 더 똑똑하게 만들기 위해 반드시 모델을 더 크게 만들 필요는 없으며, 단지 그들이 더 잘 논쟁하도록 가르치면 된다는 점을 시사합니다. 대화에서 문제가 발생하는 부분에만 집중하고, 모두가 동의하는 부분을 고정함으로써, AI는 훨씬 더 효율적으로 어려운 퍼즐을 풀 수 있습니다. 이는 "모든 것을 논쟁하는 것"에서 "특정 파손 부위를 고치는 것"으로의 전환이며, 이 전략은 AI가 작든 크든 상관없이 효과적임이 입증되었습니다.