수천 명의 작고 보이지 않는 노동자들이 함께 마천루를 건설하려고 노력하는 북적이는 도시를 상상해 보십시오. 이 노동자들은 "에이전트(agents)"이며, 현대 컴퓨팅의 세계에서는 대규모 언어 모델(LLM)—대화하고, 계획하며, 문제를 해결할 수 있는 매우 똑똑한 컴퓨터 프로그램—에 의해 구동됩니다. 한 명의 상사가 명령을 내리는 대신, 이 에이전트들은 종종 즉석에서 스스로 조직을 구성하고, 업무를 교환하며, 아이디어를 공유하고, 진행하면서 실수를 바로잡습니다. 이것을 "창발적 협력(emergent cooperation)"이라고 부릅니다. 이는 마치 새 떼가 단 한 마리의 새도 다른 새에게 지시를 내리지 않고도 완벽한 모양을 형성하는 것을 보는 것과 같습니다. 하지만 여기에는 함정이 있습니다. 상황이 잘못되었을 때, 그 이유가 무엇인지 알아내기가 매우 어렵다는 점입니다. 노동자가 단계를 잊어버린 것일까요? 아니면 작업을 엉뚱한 사람에게 넘긴 것일까요? 혹은 그저 그럴듯하게 들리지만 사실은 그렇지 않은 해결책을 지어낸 것일까요? 보이지 않는 노동자들의 도시에서, 그럴싸하게 들리는 거짓말은 무너진 기초를 숨길 수 있습니다.

여기서 새로운 논문이 등장합니다. 연구자들은 단순하지만 매우 중요한 질문을 던집니다. "어떻게 하면 노동자들이 무엇을 말했는지만 기록하는 것이 아니라, 왜 그렇게 했는지, 그리고 누가 그 일을 하기로 되어 있었는지를 증명하는 성적표를 유지할 수 있을까?" 그들은 iCORE(통합 협력-의무 표현, Integrated Cooperation-Obligation Representation)라고 불리는 시스템을 소개합니다. iCORE를 건설 현장의 마법 같고 투명한 장부라고 생각해 보십시오. 이 시스템은 단순히 노동자들의 대화를 듣는 데 그치지 않고, 세 가지 특정 지도를 동시에 그립니다. 모든 조치(action)를 기록하는 지도, 모든 미완료 과업(task)을 기록하는 지도, 그리고 그 둘을 연결하여 작업이 실제임을 증명하는 지도입니다. 이 삼중 지도 시스템을 사용함으로써, 연구자들은 다른 시스템들이 놓치는 오류를 잡아낼 수 있었으며, 실제로 노동자들이 더 나은 마천루를 건설하도록 유도하여 테스트에서 최종 결과를 최대 31%까지 개선할 수 있음을 발견했습니다.

문제점: "유령 작업"의 함정

AI 에이전트 팀이 복잡한 퍼즐을 풀려고 할 때, 그들은 서로 대화하고, 도구를 사용하며, 메모를 전달하곤 합니다. 현재의 시스템들은 이러한 대화들을 회의를 녹화하는 보안 카메라처럼 기록할 수 있습니다. 하지만 녹화만으로는 충분하지 않습니다. 어떤 노동자가 "지붕을 고쳤습니다!"라고 말하고 카메라가 이를 기록했다고 가정해 봅시다. 하지만 만약 그들이 실제로 지붕 위로 올라간 적이 없다면 어떻게 될까요? 혹은 그 일을 사다리가 없는 노동자에게 맡겼다면 어떨까요?

AI의 세계에서 이것은 "그럴싸하지만 근거가 없는(plausible but unsupported)" 작업이라고 불립니다. 최종 답변은 완벽해 보일 수 있지만, 그곳에 도달하기 위한 경로는 구멍투성이일 수 있습니다. 이 논문은 기존 방식들이 금고나 보안 로그를 확인하지 않고 오직 계산대 영수증만 보고 은행을 감사하려는 것과 같다고 주장합니다. 돈이 빠져나가는 것은 볼 수 있지만, 그것이 도난당한 것인지 혹은 그 돈을 가져간 사람이 금고를 만질 권한이 있었는지조차 알 수 없기 때문입니다.

해결책: 삼중 지도 시스템 (iCORE)

저자들은 에이전트들을 관찰하는 새로운 방법인 iCORE를 제안합니다. 단순히 긴 메시지 목록을 나열하는 대신, iCORE는 세 가지 연결된 부분으로 구성된 통합된 상태를 구축합니다. 마치 3차원 퍼즐과 같습니다:

1. 협력 그래프 (무슨 일이 일어났는가 - "What Happened" Map): 에이전트들이 실제로 수행한 모든 일의 타임라인입니다. 메시지를 보냈습니까? 계산기를 사용했습니까? 코드를 작성했습니까? 이는 모든 관찰 가능한 행동과 그들이 생성한 "산출물(artifacts)"(예: 메모나 파일)의 기록입니다.
2. 의무 그래프 (무엇을 해야 하는가 - "What Needs Doing" Map): 할 일 목록입니다. 완료되어야 할 모든 과업을 추적하고, 현재 누가 그 과업을 보유하고 있는지, 그리고 그 상태(예: "진행 중", "차단됨", 또는 "완료됨")가 어떠한지를 기록합니다. 이는 작업이 되어야 하는 청사진입니다.
3. 감사 지도 (증거 - "Proof" Connector): 이것은 마법 같은 접착제입니다. "무슨 일이 일어났는가" 지도와 "무엇을 해야 하는가" 지도를 연결합니다. 이 지도는 다음과 같이 질문합니다: "타임라인상의 조치가 할 일 목록의 과업을 실제로 해결했는가? 그리고 증거가 있는가?" 이는 "네, 이 노동자는 자격이 있습니다"라거나 "네, 이 도구는 작동했습니다"라고 말하는 인증서(certificates), 즉 디지털 영수증을 확인합니다.

첫 번째 지도만 있다면 소음(noise)을 보게 될 것입니다. 두 번째 지도만 있다면 계획을 보게 될 것입니다. 하지만 세 가지 모두가 있다면, 계획이 적절한 사람에 의해 적절한 도구로 실제로 실행되었는지 확인할 수 있습니다.

두 가지 황금 규칙

이 삼중 지도 시스템을 사용하여, 연구자들은 팀이 일을 잘하고 있는지 판단하기 위한 두 가지 엄격한 규칙을 정의합니다.

1. 작업 건전성 ("유령 없음" 규칙)
노동자가 자신의 진행 상황에 대해 하는 모든 주장은 반드시 유한하고 눈에 보이는 이유가 있어야 합니다. 만약 에이전트가 "수학 문제를 풀었습니다"라고 말한다면, 시스템은 다음과 같이 확인합니다: 수학 도구를 실제로 실행했는가? 결과가 있는가? 도구가 작동하고 있는가? 만약 답이 "아니오"라면, 그 주장은 "건전하지 않은(unsound)" 것입니다. 이는 학생이 시험지를 보여주지 못한 채 "A를 받았다"고 주장하는 것과 같습니다. 시스템은 모든 결정에 대해 문서화된 흔적(paper trail)을 요구합니다.

2. 에이전트 배정 안정성 ("적임자 배치" 규칙)
이 규칙은 과업이 최적의 노동자에게 배정되었는지 확인합니다. 전문 셰프가 설거지를 하도록 요청받고, 설거지 담당자가 스테이크를 요리하도록 요청받는 팀을 상상해 보십시오. 시스템은 이들을 교체하는 것이 작업을 훨씬 더 낫게 만들지 계산합니다. 현재의 배정이 이미 최선이거나 그에 가깝다면 "안정적(stable)"인 것으로 간주합니다. 만약 교체가 상황을 훨씬 더 좋게 만든다면, 시스템은 이를 실수로 표시합니다.

감사자: iCORE-Audit

논문은 단순히 관찰하는 데 그치지 않고, iCORE-Audit라는 능동적인 감사자를 구축합니다. 이는 건설 현장을 돌아다니는 똑똑한 감독관과 같습니다.

작동 방식은 다음과 같습니다:

• 에이전트들이 업무를 수행하려고 시도합니다.
• 감독관이 세 가지 지도를 확인합니다.
• 만약 감독관이 "유령 과업"(증거가 없는 주장)이나 "잘못된 배정"(잘못된 사람에게 주어진 업무)을 발견하면, 프로세스를 중단시킵니다.
• 감독관은 단순히 "멈춰"라고 말하지 않습니다. 대신 특정 에이전트에게 구체적으로 말합니다. "이봐요, 당신은 지붕을 고쳤다고 주장했지만 사다리를 사용하지 않았어요. 돌아가서 다시 해결하세요." 또는 "당신은 수학 문제를 풀려고 하지만, 수학 전문가가 아니에요. 수학 전문가가 맡도록 하세요."
• 에이전트는 다시 시도하고, 감독관은 새로운 시도를 확인합니다.

결정적으로, 감독관은 신중합니다. 점수를 좋게 만들기 위해 에이전트가 어려운 문제를 그냥 삭제하도록 내버려 두지 않습니다. 시스템은 에이전트가 실제로 문제를 해결하거나, 혹은 그것이 불가능함을 증명하도록 강제합니다.

결과: 효과가 있는가?

연구자들은 두 가지 방식으로 이 시스템을 테스트했습니다:

1. 통제된 시뮬레이션: "증거 누락"(파일 저장 망각)이나 "잘못된 배정"(엉뚱한 로봇에게 업무 부여)과 같은 특정 오류를 주입할 수 있는 디지털 놀이터를 만들었습니다.
2. 실제 LLM: 실제 AI 모델(특히 Qwen2.5-0.5B-Instruct라는 모델)을 사용하여 시스템이 실제 세계의 복잡성을 어떻게 처리하는지 확인했습니다.

결과는 명확했습니다. 시스템이 단순히 관찰만 하고 있을 때(수동적 관찰), 오류를 찾아낼 수는 있었지만 수정할 수는 없었습니다. 하지만 iCORE-Audit 감독관이 활성화되었을 때:

• 통제된 시뮬레이션에서, 에이전트들이 거친 경로의 품질은 11.5% 향상되었고, 최종 결과는 15.1% 개선되었습니다.
• 실제 LLM 테스트에서는 개선 폭이 더 컸습니다. 경로 품질은 26.4% 급증했고, 최종 결과는 31.0% 향상되었습니다.

또한 논문은 전체 삼중 지도 시스템(iCORE)이 없다면 다른 방식들은 실패한다는 것을 보여주었습니다. 예를 들어, 대화만을 관찰하는 시스템("Interaction-only" 방식)은 노동자가 막혔다는 것은 알아챌 수 있었지만, 그 노동자에게 업무가 잘못 배정되었는지는 알 수 없었습니다. 오직 완전한 iCORE 시스템만이 전체 그림을 볼 수 있었습니다.

이것이 왜 중요한가

이 논문은 AI 팀이 진정으로 신뢰할 수 있으려면, 단순히 대화의 기록 그 이상이 필요하다는 점을 시사합니다. 우리는 그들의 말을 행동 및 책임과 연결하는 시스템이 필요합니다. AI의 협력을 엄격하고 투명한 장부가 있는 건설 현장처럼 다룸으로써, 우리는 재앙이 되기 전에 실수를 잡아낼 수 있습니다. 이는 AI 협력의 "블랙박스"를 우리가 실제로 감사하고, 수정하며, 신뢰할 수 있는 대상으로 바꿉니다. 저자들은 이것이 AI의 모든 문제를 해결한다고 주장하는 것이 아니라, 올바른 지도와 좋은 감독관이 있다면 우리가 함께 더 높고 튼튼한 마천루를 건설할 수 있음을 보여줍니다.