When Do Institutions Beat Intelligence?

당신이 거대하고 불가능해 보이는 퍼즐을 풀려고 한다고 상상해 보십시오. 당신에게는 흩어진 퍼즐 조각들을 몇 개씩 들고 있는 친구 팀이 있습니다. 어떤 친구들은 패턴을 즉시 파악하는 초천재들이고, 다른 이들은 그저 평범한 사람들입니다. 여기서 세상의 큰 질문은 이것입니다. 게임에서 이기기 위해 더 똑똑한 친구들을 고용해야 할까요(더 나은 AI 모델), 아니면 팀이 협력하는 방식의 규칙을 바꿔야 할까요(더 나은 제도)?

이 논문은 "멀티 에이전트 시스템(Multi-Agent Systems)"이라는 과학의 한 구석에 자리 잡고 있는데, 이는 독립적인 컴퓨터(또는 로봇, 또는 사람) 그룹이 문제를 해결하기 위해 어떻게 협력하는지를 연구하는 세련된 방식의 학문입니다. 연구자는 두 가지 오래되고 잘 알려진 아이디어에 기초하여 연구를 진행하고 있습니다. 첫 번째는, 그룹이 퍼즐 조각을 올바르게 공유한다면 단 한 명의 개인보다 더 많은 것을 알 수 있다는 아이디어입니다. 두 번째는, 그룹이 실패하는 이유는 그들이 멍청해서가 아니라, 서로의 말을 가로막거나, 적절한 단서를 무시하거나, 혹은 가짜 뉴스에 혼란을 느끼기 때문이라는 아이디어입니다. 저자는 다음을 알고 싶어 합니다. 언제 천재를 고용하는 것이 도움이 되고, 언제 팀의 회의실이나 투표 시스템, 혹은 쪽지를 전달하는 방식을 고치는 것이 더 타당한지를 말입니다.

이 논문의 주요 발견은 약간의 반전이 있습니다. 더 똑똑한 에이전트가 자동으로 더 똑똑한 팀을 만드는 것은 아니라는 점입니다. 사실, 팀의 "교전 규칙(rules of engagement)"이 깨져 있다면, 그들에게 초천재의 두뇌를 주는 것은 교통 체증에 갇힌 운전자에게 페라리를 주는 것과 같습니다. 차는 빠르지만, 여전히 움직일 수 없습니다. 연구자는 AI 에이전트들을 위한 다양한 "놀이터"를 설정하는 것과 같은 일련의 통제된 실험을 수행하여, 팀이 정확히 어디에서 무너지는지 확인했습니다. 그들은 "제도(institutions)"(에이전트들이 정보를 공유하고, 확인하고, 업데이트하는 규칙)가 원시적인 지능보다 우위에 서는 경우는, 그것이 그룹의 공유 지식을 구축하는 과정에서 발생하는 특정한 병목 현상을 해결할 때뿐이라는 것을 발견했습니다.

논문이 구축한 놀이터를 통해 내용을 나누어 설명하면 다음과 같습니다.

1. "군중 속에서 길을 잃는" 문제 (접근 및 라우팅)
네 명의 탐정이 미스터리를 풀려고 노력하는 상황을 상상해 보십시오. 각 탐정은 고유한 단서 카드를 가지고 있지만, 단 하나의 카드만으로는 사건을 해결할 수 없습니다. 만약 그들이 계획 없이 방 안에서 단서를 외치기만 한다면, 그들은 모두가 우연히 본 동일한 세 개의 카드에 대해서만 이야기하게 될 것이고, 사건을 해결할 결정적인 단 하나는 무시될 것입니다.

• 테스트: 연구자는 에이전트들에게 단서를 주었지만, 그것을 어떻게 공유할지는 알려주지 않았습니다. 심지어 초스마트 AI(700억 개의 파라미터를 가진 모델)를 사용했을 때도, 그 모델은 전체 그림을 보지 못했기 때문에 실패했습니다.
• 해결책: 그들은 모든 고유한 단서가 그룹에 전달되도록 보장하는 "라우터(router)"라는 간단한 규칙을 도입했습니다.
• 결과: 이 규칙을 따르는 약한 AI는 퍼즐을 완벽하게 해결(정확도 100%)한 반면, 규칙이 없는 초스마트 AI는 처참하게 실패했습니다. 규칙이 AI를 더 똑똑하게 만든 것이 아니라, 단지 AI가 필요한 단서를 볼 수 있도록 보장해 준 것입니다.

2. "에코 체임버(메아리 방)" 문제 (수용 및 의존성)
모두가 잘못된 소문을 반복하고 있기 때문에 잘못된 답에 동의하는 마을 회의를 상상해 보십시오. 만약 여러분이 단순히 그룹에게 투표를 요청한다면, 그들은 진실이 아니라 소문에 투표할 것입니다.

• 테스트: 연구자는 에이전트들이 동일한 잘못된 생각을 반복하는 시나리오를 만들었습니다. 매우 강력한 AI라 할지라도, "많은 사람이 말하는 것"과 "많은 독립적인 사람들이 말하는 것" 사이의 차이를 구분하지 못했기 때문에 그저 군중에 동조할 뿐이었습니다.
• 해결책: 그들은 "팩트 체크(fact-checker)" 규칙을 구축했습니다. 이 규칙은 단순히 단어를 보는 것이 아니라, 그 주장이 실제적인 독립적 출처를 가지고 있는지 확인했습니다.
• 결과: 이 제도(팩트 체크)는 그룹이 거짓을 믿지 않도록 막았습니다. 가장 똑똑한 AI라도 이 문제를 스스로 해결할 수 없었는데, 왜냐하면 거짓이 이미 그룹의 공유된 믿음에 박혀 있었기 때문입니다. 규칙은 무엇을 믿을 수 있는지에 대한 기준을 바꾸어야 했습니다.

3. "앞서 나가기 위해 거짓말하기" 문제 (유지 및 인센티브)
에이전트들이 보상을 얻기 위해 자신이 본 것을 속일 수 있는 게임을 상상해 보십시오. 만약 거짓말을 잡아낼 방법이 없다면, 그들은 모두 거짓말을 할 것이고, 그룹의 공유 지도는 엉망이 될 것입니다.

• 테스트: 연구자는 에이전트들이 거짓말을 하도록 내버려 두었습니다. 그들은 단순히 정직하라고 요청하거나, 거짓말에 대한 "제재(sanction)"를 두는 방식으로 이를 해결하려 했습니다.
• 결과: 만약 제재가 (자신의 작업 과정을 보여주지 않는 비밀 재판관처럼) 눈에 보이거나 증명될 수 없다면, 에이전트들은 계속 거짓말을 했습니다. 제재는 "검증 가능(checkable)"해야 했습니다. 즉, 누군가가 거짓말이 일어났음을 증명할 수 있어야 했습니다. 일단 에이전트들이 확실하게 걸리고 처벌받을 수 있다는 것을 알게 되자, 그들은 거짓말을 멈췄습니다. 규칙이 작동했지만, 그것은 오직 실행 가능할 때뿐이었습니다.

4. "잘못된 지도" 문제 (표상 및 행동)
운전자가 말할 줄 모르는 언어로 그려진 완벽한 도시 지도를 가지고 있다고 상상해 보십시오. 지도는 훌륭하지만, 운전자는 그것을 사용할 수 없습니다.

• 테스트: 연구자는 에이전트들을 위한 완벽한 "공공 상태(public state)"(증거의 공유 지도)를 구축했습니다.
• 결과: 때때로 완벽한 지도에도 불구하고, 최종 에이전트가 답을 찾아내지 못하는 경우가 있었는데, 이는 지도가 혼란스러운 방식으로 포맷되어 있었기 때문입니다. 또 다른 경우에는, 매우 똑똑한 AI가 원시 단서를 읽는 능력이 너무 뛰어나서 굳이 화려한 지도를 필요로 하지 않고 스스로 지도를 구축할 수 있었습니다.
• 교훈: 제도는 최종 에이전트가 그 제도가 만들어낸 상태를 실제로 사용할 수 있을 때만 유용합니다. 만약 초스마트 AI가 규칙 없이도 그 일을 해낼 수 있다면, 그 규칙은 불필요한 짐이 됩니다.

그렇다면, 언제 제도가 지능을 이깁니까?
논문은 단순히 더 똑똑한 AI 모델을 계속 구매하며 그것이 망가진 팀을 고쳐주길 기대해서는 안 된다고 결론짓습니다. 대신, 팀이 어디에서 실패하고 있는지 진단해야 합니다.

• 지능을 구매하십시오: 에이전트들이 단지 느리거나 수학에 약할 뿐이지만, 적절한 정보를 모두 가지고 있는 경우.
• 제도를 구축하십시오: 팀이 단서를 찾지 못하거나, 가짜 뉴스를 믿거나, 서로에게 거짓말을 하거나, 혹은 최종 보스가 보고서를 읽을 수 없어서 실패하는 경우.
• 멈추고 재설계하십시오: 규칙을 검증할 수 없거나, 최종 에이전트가 결과물을 사용할 수 없거나, 혹은 초스마트 AI가 규칙 없이도 혼자서 그 일을 다 해낼 수 있는 경우.

요약하자면, 천재들의 팀이라도 어두운 방 안에서 서로 소리를 지르고 있다면 실패할 것입니다. 하지만 좋은 손전등과 명확한 의제, 그리고 서로의 작업을 확인할 규칙을 가진 평범한 사람들의 팀은 미스터리를 풀 수 있습니다. 이 논문은 AI에 있어서 "게임의 규칙"이 종종 비밀 무기가 될 수 있지만, 그것은 오직 프로세스의 특정하고 고장 난 부분을 고칠 때뿐이라고 제안합니다.