거대 뇌와 같은 컴퓨터인 대규모 언어 모델(LLM)로 구동되는 디지털 조력자 팀이 복잡한 퍼즐을 풀기 위해 고용된 세상을 상상해 보십시오. 멀티 에이전트 시스템(MAS)이라고 불리는 이 팀들은 마치 함께 협력하는 친구들 같습니다. 한 명은 경로를 계획하고, 다른 한 명은 운전을 하며, 세 번째는 지도를 확인하고, 네 번째는 길을 잃었을 때 도움을 요청합니다. 이들의 큰 약속은 업무를 나누고 서로 대화함으로써 단일한 개인(또는 단일 컴퓨터)이 혼자서는 처리할 수 없는 문제를 해결하는 것입니다. 하지만 여기에는 함정이 있습니다. 현재 우리는 최종 결과만을 보고 그들이 성공했는지 여부만 알 수 있다는 점입니다. 우리는 그들이 어떻게 협력했는지 알지 못합니다. 그들이 논쟁을 벌였나요? 서로를 무시했나요? 아니면 똑같은 일을 반복하며 시간을 낭비했나요? 이것은 마치 농구 경기에서 팀이 실제로 공을 패스했는지, 아니면 한 명의 선수가 계속 달리기만 했는지는 무시한 채 오직 최종 점수만 보고 경기를 판단하는 것과 같습니다.

이 지점에서 ForestBench라는 새로운 아이디어가 등장합니다. 이 프로젝트의 연구진들은 이러한 디지털 팀을 진정으로 이해하기 위해서는 단순히 최종 결과만을 보는 것이 아니라, 그들의 협업이라는 "춤"을 보기 시작해야 한다는 것을 깨달았습니다. 그들은 이 팀들의 무질서하고 다양한 대화 방식과 작업 방식을 하나의 명확한 그림, 즉 연결의 지도로 변환하는 특별한 도구를 구축했습니다. "그들이 맞혔는가?"라고 묻는 대신, ForestBench는 "그들은 어떻게 협력했는가, 그리고 그들의 팀워크가 다른 성공적인 팀들과 닮았는가?"라고 묻습니다. 이는 새로운 팀의 성과를 비교할 때, 단순히 마지막 포즈가 좋았는지 나빴는지를 말하는 대신, 완벽한 댄스 루틴의 라이브러리("숲"의 나무들)를 가지고 비교하는 것과 같습니다.

문제점: "최종 답변"의 함정

오랫동안 과학자들은 수학 퀴즈나 코딩 과제와 같은 표준 테스트를 사용하여 이러한 AI 팀들을 테스트해 왔습니다. 하지만 이러한 테스트에는 사각지대가 있습니다. 이들은 오직 최종 답변이 정답인지에만 관심을 가집니다. 만약 두 팀이 똑같이 정답을 맞혔다면, 테스트는 두 팀을 동일하게 취급합니다. 하지만 한 팀은 몇 시간 동안 논쟁하며 많은 에너지를 낭비했고, 다른 팀은 완벽한 조화를 이루며 일했다면 어떨까요? 기존의 테스트는 그 차이를 구별해내지 못합니다. 그들은 협업의 흥미로운 세부 사항들을 버려버립니다.

어떤 이들은 또 다른 AI를 심판으로 사용하여 팀의 대화 기록을 읽고 팀워크가 좋은지 결정하게 함으로써 이를 해결하려 했습니다. 하지만 이는 비용이 많이 들고 느리며, 심판 역할을 하는 AI가 누구냐에 따라 결과가 달라집니다. 이는 모든 경기를 관람할 때마다 다른 심판에게 부탁하는 것과 같습니다. 때로는 심판이 특정 플레이 스타일을 좋아할 수도 있고, 때로는 그렇지 않을 수도 있어 팀들을 공정하게 비교하기 어렵게 만듭니다.

해결책: 혼돈을 지도로 바꾸기

저자들은 영리한 해결책을 제안합니다: 바로 **그래프(Graphs)**입니다. 그래프를 점과 선으로 이루어진 간단한 그림이라고 생각해 보십시오. 이 경우, AI 에이전트(디지털 작업자)가 메시지를 보내거나, 도구를 사용하거나, 결정을 내리는 등의 행동을 할 때마다 그것은 하나의 점이 됩니다. 한 에이전트의 작업이 다른 에이전트에 의해 사용될 때마다 그들을 연결하는 선이 생깁니다.

이것은 무질서한 대화를 깔끔하고 구조화된 지도로 바꿔줍니다. 에이전트의 이름이 "밥"이든 "에이전트 1"이든, 혹은 그들이 어떤 언어로 말하든 상관없습니다. 지도는 단지 누가 무엇을 했고 누가 누구의 말을 들었는지를 보여줄 뿐입니다. 이 지도를 **협업 그래프(Collaboration Graph)**라고 부릅니다. 모든 팀의 성과를 그래프로 변환함으로써, 연구진은 마침 finally 서로 다른 팀들을 동일한 운동장에서 비교할 수 있게 되었습니다.

"숲"의 은유

이 부분이 가장 창의적인 부분입니다. 연구진들은 문제를 해결하는 데 있어 단 하나의 완벽한 방법만 존재하는 것이 아니라는 사실을 깨달았습니다. 어떤 팀은 서로 논쟁하며 수학 문제를 풀 수도 있고, 다른 팀은 전문가들에게 업무를 할당하는 리더를 두어 문제를 풀 수도 있습니다. 두 방식 모두 유효하지만, 매우 다르게 보입니다.

만약 연구진이 단 하나의 "완벽한" 해결 방식을 선택하여 모두를 그 방식과 비교한다면, 성공적이지만 다른 스타일을 사용하는 팀들을 불공평하게 처벌하게 될 것입니다. 따라서 단 하나의 "골드 스탠다드(Gold Standard)" 나무 대신, 그들은 **참조 숲(Reference Forest)**을 구축했습니다.

모든 나무가 문제를 성공적으로 해결하는 서로 다른 방식을 나타내는 숲을 상상해 보십시오. 어떤 나무는 높고 곧으며(엄격한 계획과 같은), 어떤 나무는 덤불처럼 가지가 많습니다(자유로운 토론과 같은). 새로운 AI 팀이 과제를 수행할 때, ForestBench는 단순히 그들이 특정 나무 하나와 일치하는지를 확인하는 것이 아닙니다. 대신, 그들의 "지도"가 전체 숲에 얼마나 잘 들어맞는지를 확인합니다. 즉, "당신의 팀워크가 우리가 이전에 보았던 성공적인 방식 중 하나와 닮았습니까?"라고 묻는 것입니다.

실제 적용 방식

이 시스템을 구축하기 위해 연구진은 세 가지 주요 작업을 수행했습니다:

1. 적절한 퍼즐 찾기: 그들은 7개의 공개 데이터셋(질문 모음)을 조사하여 쉬운 것들을 걸러냈습니다. 그들은 협업이 반드시 필요할 정도로 복합적인 844개의 질문만을 남겼습니다. 만약 질문이 너무 단순하여 단일 AI가 혼자서도 해결할 수 있다면, 연구할 흥미로운 협업이 존재하지 않기 때문입니다.
2. 숲 구축하기: 그들은 이 844개의 질문에 대해 6가지의 인기 있는 AI 팀 프레임워크를 실행했습니다. 각 질문에 대해 10개의 서로 다른 성공적인 시도를 수집했습니다. 이 10개의 성공적인 "지도"들이 해당 질문에 대한 **참조 숲(Reference Forest)**이 되었습니다.
3. 성적표 만들기: 그들은 지도를 측정하기 위한 일련의 규칙을 발명했습니다. 그들은 다음과 같은 요소들을 살펴봅니다:
   • 숲 일치도 (Forest Match): 이 팀의 지도가 숲에 있는 성공적인 지도들과 얼마나 닮았는가?
   • 노드 유효성 (Node Validity): 모든 사람의 작업이 실제로 사용되었는가, 아니면 일부 에이전트가 허공에 대고 말했는가?
   • 중복성 (Redundancy): 팀이 동일한 정보를 반복해서 전달했는가?
   • 효율성 (Efficiency): 그들이 얼마나 많은 "토큰"(AI 사고의 디지털 통화)을 소비했는가?

발견한 사실

연구진이 ForestBench를 사용하여 6가지 서로 다른 AI 팀 프레임워크를 테스트했을 때, 기존의 "최종 답변" 테스트가 놓쳤던 놀라운 사실들을 발견했습니다:

• 정확도가 전부가 아니다: "Debate(토론)"라고 불리는 한 프레임워크는 가장 높은 정답률을 기록했습니다. 하지만 지도를 살펴보면, 이 팀은 숲에 있는 성공적인 패턴들과 가장 적게 닮아 있었습니다. 또한 가장 비싼 팀이었으며, 가장 저렴한 팀보다 거의 두 배 많은 컴퓨팅 파워를 사용했습니다.
• 숨겨진 결함: "AFlow"라는 또 다른 프레임워크는 높은 정확도를 보였지만 매우 "중복적"이었습니다. 이 팀은 마치 에세이에서 같은 문장을 계속 다시 쓰는 학생처럼 동일한 정보를 계속 반복했습니다.
• 과제에 따른 다른 스타일: 코딩과 같은 일부 작업에서는 "Debate" 스타일이 실제로 성공적인 패턴과 더 닮아 있었습니다. 이는 최고의 협업 방식은 무엇을 하려 하는지에 따라 달라진다는 것을 보여줍니다.

이것이 왜 중요한가

ForestBench의 가장 큰 승리는 속도와 공정성입니다. 일단 성공적인 지도의 "숲"이 구축되면, 새로운 팀을 확인하는 데는 단 몇 밀리초밖에 걸리지 않으며 다른 AI에게 심판을 맡길 필요도 없습니다. 이는 팀이 어떻게 작동하는지를 파악하기 위한 재사용 가능하고 객적인 방법입니다.

연구진은 이 접근 방식이 하나의 "완벽한" 협업 방식은 존재하지 않는다는 점을 이해하는 데 도움이 된다고 제안합니다. 대신, 우리는 그들의 팀워크 구조를 보아야 합니다. 만약 팀이 실패한다면, ForestBench는 그 이유를 알려줄 수 있습니다: 충분히 대화하지 못해서인가? 시간을 낭비하며 반복했는가? 아니면 그냥 틀린 답을 냈는가?

요약하자면, ForestBench는 우리를 "그들이 이겼는가?"라는 질문에서 "그들은 어떻게 경기를 했는가?"라는 질문으로 이동시킵니다. AI 협업의 보이지 않는 춤을 지도로 그림으로써, 더 나은, 더 똑똑한 디지털 조력자 팀을 구축하기 위한 더 명확하고 정직한 방법을 제시합니다.