Constitutional governance for societies of AI agents in the built environment: a research agenda

보이지 않는 로봇 도시

여러분의 도시가 단순히 벽돌, 강철, 유리로만 만들어진 것이 아니라, 눈에 보이지 않는 초지능 로봇들로 가득 차 있다고 상상해 보세요. 이들은 옛날 영화에 나오는 투박한 금속 로봇이 아닙니다. 여러분의 온도 조절기, 전력망, 교통 신호등, 그리고 집주인의 결제 소프트웨어 속에 살고 있는 소프트웨어 에이전트들입니다. 이들의 임 숫은 결정을 내리는 것입니다. 온도를 높이거나 낮추고, 교통 경로를 변경하거나, 새로운 지붕 비용을 누가 지불할지 협상하는 일 말이죠. 현재 과학자와 엔지니어들은 주로 이 로봇들을 아주 똑똑한 망치와 같은 개별적인 도구로 취급하고 있습니다. 그들은 "이 로봇 하나가 안전한가?"라고 묻습니다. 하지만 이 논문은 그것이 잘못된 관점이라고 주장합니다.

건물을 하나의 기계가 아니라, 북적이는 시장이나 작은 마을로 생각해 보세요. 마을에는 서로 다른 목표를 가진 사람들이 있습니다. 집주인은 돈을 아끼고 싶어 하고, 세입자는 따뜻하게 지내고 싶어 하며, 전력 회사는 전력망의 균형을 맞추고 싶어 하고, 시 당국은 오염을 줄이고 싶어 합니다. 이러한 "로봇"들이 각자의 인간 주인들을 대신하여 행동하는 온 마을이 모였을 때, 그들은 하나의 게임을 시작하게 됩니다. 그들은 서로를 속이려 하거나, 정보를 숨기거나, 자원을 두고 싸울 수도 있습니다. 여기서 **게임 이론(Game Theory)**이 등장합니다. 이는 이해관계가 충돌할 때 사람(또는 로봇)이 어떻게 결정을 내리는지를 연구하는 수학의 한 분야입니다. 이 논문은 우리에게 이 마을을 위한 새로운 규칙, 즉 **헌법(Constitution)**과 같은 것이 필요하다고 제안합니다. 한 국가의 헌법이 누구도 어길 수 없는 최상위 규칙을 정하는 것처럼, 이 논문은 로봇으로 가득 찬 우리 건물을 위한 "디지털 헌법"을 제안합니다. 이는 모든 로봇이 이기적이더라도 전체 마을이 결국 좋은 상태에 도달할 수 있도록 게임의 규칙을 설계하는 것에 관한 것입니다.

논문의 핵심 아이디어: 로봇 도시를 위한 헌법

카디프 대학교의 알리 고로기(Ali Ghoroghi)가 작성한 이 논문은 연구 의제(research agenda)입니다. 이 논문은 문제를 이미 해결했다고 주장하는 것이 아니라, 혼란이 닥치기 전에 우리가 어떻게 문제를 해결해야 하는지에 대한 지도를 제시합니다. 저자는 우리가 현재 자율적인 AI 에이전트가 우리의 집과 도시를 통제하는 미래를 구축하고 있지만, 그들이 어떻게 상호작용해야 하는지에 대한 계획 없이 진행하고 있다고 주장합니다. 만약 우리가 각 로봇을 고립된 상태에서 안전하게 만드는 데만 집중한다면, 모든 로봇이 각자의 일을 완벽하게 수행하고 있음에도 불구하고 집단적인 결과는 재앙이 되는 상황—예를 들어, 모든 차가 법규를 준수하며 운전하고 있지만 아무도 움직일 수 없는 교통 체증과 같은 상황—에 직면할 수 있습니다.

이 논문은 관점의 전환을 제안합니다. 우리는 에이전트 자체뿐만 아니라 에이전트들의 사회를 설계해야 합니다. 이를 위해 저자는 경제학, 컴퓨터 과학, 물리학을 결합하여 세 가지 주요 연구 기둥을 제시합니다.

1. "분리된 인센티브(Split Incentive)" 퍼즐: 누가 지불하고, 누가 이득을 보는가?

오래된 건물을 개보수할 때 발생하는 가장 큰 문제 중 하나는 "분리된 인센티브"입니다. 비싼 히트 펌프를 새로 설치해야 하는 비용은 집주인이 부담하지만, 정작 전기 요금을 낮추는 혜택은 세입자가 누리는 상황을 상상해 보세요. 집주인은 업그레이드할 이유가 없고, 세입자는 비용을 지불할 여력이 없습니다. 현재 정부는 보조금이나 법률로 이를 해결하려 하지만, 이 논문은 이를 협상 게임으로 다룰 것을 제안합니다.

저자는 다양한 규칙을 테스트하여 집주인과 세입자가 어떻게 합의에 도달할 수 있는지 확인할 수 있는 컴퓨터 시뮬레이션인 "리트로핏 협상 체육관(Retrofit Negotiation Gym)"을 만드는 것을 제안합니다. 미래를 알 수 없기 때문에(에너지 가격이 폭락하거나 기후 규제가 변할 수 있음), 우리는 불확서한 상황에서도 작동하는 규칙을 설계해야 합니다. 이는 마치 다음 주에 비가 올지 맑을지 모르는 상태에서 휴가 계획을 합의하는 것과 같습니다. 논문은 때때로 정부가 격차를 메우기 위해 특정 금액을 지급하는 "메커니즘"으로서 역할을 해야 계약이 성사될 수 있으며, 공정하고 효율적으로 하기 위해 정확히 얼마를 지급해야 하는지 계산해야 한다고 제안합니다。

2. 심판으로서의 "디지털 트윈(Digital Twin)"

두 번째 기둥은 안전에 관한 것입니다. 현재 로봇 컨트롤러가 실수를 하면 방이 너무 뜨거워지거나 기계가 고장 날 수 있습니다. 이 논문은 새로운 종류의 "디지털 트윈"을 제안합니다. 보통 디지털 트윈은 실제 건물에서 일어나는 일을 보여주는 거울(컴퓨터 모델)에 불과합니다. 하지만 저자는 이 거울을 **심판(Referee)**으로 업그레이드하고자 합니다.

플레이어(AI 에이전트)들이 "온도를 28°C로 높이겠다"와 같은 움직임을 제안하는 게임을 상상해 보세요. 이 움직임이 실제로 일어나기 전에, 심판(디지털 트윈)이 규칙을 확인합니다. 그런데 이것은 단순한 소프트웨어 체크가 아니라 물리학적 체크입니다. 심판은 건물의 물리 모델을 사용하여 다음과 같이 예측합니다: "만약 이렇게 하면, 내부 사람들에게 너무 뜨거운 환경이 될 것이다." 만약 예측 결과가 "아니오"라면, 그 명령은 히터에 도달하기도 전에 차단됩니다. 이는 나중에 로봇을 처벌하는 것과는 다릅니다. 물리적으로 나쁜 결과를 사전에 방지하는 것입니다.

논문은 사무실의 더운 여름날이라는 구체적인 예를 듭니다. 전력망이 건물에 에너지 사용량을 줄여달라고 요청합니다. 건물의 AI는 돈을 아끼기 위해 에어컨 온도를 높이고 싶어 하지만, 세입자의 AI는 방을 시원하게 유지하고 싶어 합니다. 이때 심판은 규칙을 확인합니다: "온도를 조금 높일 수는 있지만, 사람들에게 해로우므로 절대 28°C를 넘어서는 안 된다." 심판은 위험한 움직임을 차단하고, 건물 AI가 더 안전한 대안을 시도하면 다시 승인합니다. 이 시스템은 AI 에이전트들이 서로 다투더라도 건물의 물리적 안전이 결코 훼손되지 않도록 보장합니다.

3. 혼돈으로부터 강해지기: 안티프래질(Antifragility)

세 번째 아이디어는 충격에 대처하는 법에 관한 것입니다. 보통 우리는 시스템이 충격을 받고 다시 회복할 수 있는 "회복 탄력성(Resilience)"을 갖추기를 원합니다. 하지만 이 논문은 **안티프래질(Antifragility)**을 목표로 해야 한다고 제안합니다. 이는 상황이 나빠질 때 오히려 더 좋아지는 시스템을 뜻하는 멋진 단어입니다.

근육을 생각해 보세요. 무거운 무게(충격)를 들면 근육은 더 강해집니다. 논문은 우리의 도시 인프라가 갑작스러운 폭염이나 정전과 같은 충격이 발생했을 때, 게임의 규칙이 AI 에이전트들로 하여데 정보를 공유하고 자원을 재배분하게 함으로써 전체 시스템을 더 똑똑하고 효율적으로 만들도록 설계되어야 한다고 주장합니다. 논문은 우리가 이것을 이미 구축했다고 주장하는 것이 아닙니다. 대신, 혼돈이 닥쳤을 때 시스템이 단순히 생존하는 것을 넘어 학습하고 개선할 수 있도록 규칙을 설계해야 한다고 제안합니다. 그들은 규칙이 재난을 학습의 기회로 바꿀 수 있는지 확인하기 위해 유럽의 시범 도시들로부터 얻은 데이터를 사용하여 이를 측정하는 방법을 연구하고 있습니다.

이것이 미래에 의미하는 바

이 논문은 자신이 무엇이고 무엇이 아닌지를 매우 명확히 밝히고 있습니다. 이 논문은 우리가 이미 이러한 시스템을 구축했거나 그것이 완벽하다고 말하는 것이 아닙니다. 사실, 저자는 "심판"(디지털 트윈)도 인간 판사와 마찬가지로 실수를 할 수 있음을 인정합니다. 만약 심판의 모델이 틀렸다면, 좋은 아이디어를 차단하거나 나쁜 아이디를 통과시킬 수도 있습니다. 따라서 논문은 심판의 결정에 이의를 제기하고 검토할 수 있는 시스템을 요구하며, 오류로부터 배우기 위해 모든 결정에 대한 기록을 남겨야 한다고 촉구합니다.

저자는 또한 흔한 실수에 대해 경고합니다. 즉, 각 AI 에이전트를 독립적으로 "착하게" 혹은 "안전하게" 만들기만 하면 모든 것이 괜찮을 것이라고 생각하는 것입니다. 논문은 이것이 교통 신호나 도로 규칙을 바꾸지 않은 채, 모든 운전자를 선한 사람으로 만드는 것만으로 교통 체증을 해결하려는 것과 같다고 주장합니다. 진정한 해결책은 이 에이전트들의 상호작용을 규정하는 상위 수준의 규칙인 헌법을 쓰는 것입니다.

논문은 연구자, 엔지니어, 정책 입안자들에게 행동을 촉구하며 결론을 맺습니다. 우리는 AI 에이전트들이 계획 없이 우리의 건물과 도시를 장악하기 전에, 지금부터 이 규칙들을 쓰기 시작해야 합니다. 우리는 인간과 로봇이 안전하고 공정하게 공존할 수 있는 사회를 만들기 위해 게임 이론의 수학, 건물의 물리학, 그리고 법의 윤리를 결합해야 합니다. 이는 큰 도전이지만, 논문은 우리가 규칙을 제대로 만든다면 우리의 미래 도시가 그 어느 때보다 더 똑똑하고, 안전하며, 적응력이 뛰어날 것이라고 제안합니다.