Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

금융 안정성은 하나의 위안이 되는 가정에 의존합니다. 즉, 시스템의 한 부분이 무너지더라도 나머지 부분이 그 충격을 흡수할 수 있다는 믿음입니다. 만약 한 은행이 파산하더라도 다른 은행들은 살아남고, 한 트레이더가 실수를 저지르더라도 시장은 스스로를 교정합니다. 이것이 작동하는 이유는 대개 실패가 특정 기관에 국한되어 있고, 서로 분산되어 있으며, 서로 관련이 없기 때문입니다. 그러나 이 안전망을 산산조각 내는 새로운 종류의 위험이 등장하고 있습니다. 그것은 바로 '에이전트형(agentic)' 인공지능으로부터 옵니다. 이는 단순히 미래를 예측하는 것을 넘어, 돈을 움직이거나, 코드를 작성하거나, 환자 케어를 관리하는 등 현실 세계에서 행동을 취하는 시스템입니다. 이러한 에이전트들이 동일한 기초 소프트웨어를 기반으로 구축될 때, 단 하나의 오류나 단 하나의 해킹은 국지적인 문제로 머물지 않습니다. 대신, 그것은 모든 에이전트를 동시에 타격하여 작은 결함을 시스템 전체의 붕괴로 변모시킵니다.

연방준비제도(Federal Reserve)의 연구원들은 대출 채무 불이행 가능성을 측정하고 손실을 보전하기 위한 자금을 설정하는 전통적인 은행업의 리스크 관리를 연구하는 데 수년을 보냈습니다. 그들은 이제 이 엄격한 사고방식을 이 새로운 AI 시스템에 적용했으나, 기존의 규칙들은 작동하지 않는다는 것을 발견했습니다. 핵심적인 문제는 이 AI 에이전트들이 인간 노동자나 전통적인 소프트웨어와 다르다는 점입니다. 그들은 속도와 자율성을 가지고 행동하며, 일단 실수를 저지르면 그 피해는 종종 되돌릴 수 없습니다. 사기성 송금을 '취소'하거나, 중요한 데이터베이스를 '복구'할 수는 없습니다. 피해가 영구적이고 즉각적으로 발생하기 때문에, 백업 플랜을 세우거나 상황을 지켜본 뒤 반응하는 것과 같은 일반적인 안전망은 무용지물입니다. 연구원들은 재앙을 막을 수 있는 유일한 방법은 시스템이 실행되기 전에 위험한 능력을 제거함으로써, 재앙이 발생하는 것 자체를 불가능하게 만드는 것이라는 점을 발견했습니다.

여섯 가지의 뚜렷한 수학적 조사를 아우르는 이 연구는 단일 AI 에이전트를 살펴보는 것부터 시작합니다. 전통적인 금융에서 리스크는 사건의 발생 확률에 손실 규모를 곱하여 계산됩니다. 연구원들은 이를 AI에 맞게 변형하여, 위해를 가할 가능성, 그 행위의 심각성, 그리고 그 영향력의 범위라는 세 가지 부분으로 나누었습니다. 그들은 에이전트가 공격을 받을 때, 이 세 가지 요소가 독립적으로 작용하지 않는다는 것을 발견했습니다. 단 하나의 악의적인 사건이 에이전트가 해로운 행동을 할 가능성을 높이는 동시에, 그 피해를 악화시키고, 피해의 범위를 확장할 수 있습니다. 이는 위험이 급격히 복합적으로 작용하는 '역방향(wrong-way)' 리스크를 생성합니다. 무엇보다도, 그들은 되돌릴 수 없는 피해에 대해서는 모니터링이나 실수 복구 능력 그 어떤 것도 문제를 해결할 수 없음을 증명했습니다. 만약 어떤 행동이 되돌릴 수 없는 것이라면, 유일한 해결책은 에이전트가 애초에 그 행동을 할 수 있는 능력을 갖추지 못하도록 보장하는 것입니다.

연구원들은 시야를 단일 에이전트에서 동일한 파운데이션 모델(foundation model) 위에서 구동되는 수천 개의 에이전트 함대로 확장했습니다. 여기서 리스크는 진정으로 체계적인(systemic) 문제가 됩니다. 일반적인 포트폴리오에서는 여러 다른 투자처를 보유하고 있다면 하나에서의 실패가 다른 것에 영향을 주지 않습니다. 하지만 모든 에이전트가 동일한 '두뇌'를 공유한다면, 그 두뇌의 결함은 그들 모두에게 동시에 영향을 미칩니다. 연구원들은 함대에 얼마나 많은 에이전트를 추가하더라도 리스크가 줄어들지 않는다는 것을 보여주었습니다. 대신, 리스크는 분산 투자를 통해 제거할 수 없는 '바닥(floor)'에 도달합니다. 설령 에이전트들이 서로 다른 회사나 다른 국가에 있더라도, 동일한 기초 소프트웨어에 의존한다면 단 한 번의 실패가 그룹 전체를 무너뜨릴 수 있습니다. 이것이 그들이 말하는 '단일 경작(monoculture)'입니다. 즉, 모두가 정확히 동일한 위협에 취약한 시스템입니다.

또한 이 연구는 이러한 에이전트들이 서로 어떻게 상호작용하는지를 조사했습니다. 현실 세계에서 에이전트들은 정보를 공유하거나 과업을 조정하며 서로 소통하는 경우가 많습니다. 연구원들은 이러한 상호작용이 새로운 숨겨진 위험을 창출한다는 것을 발견했습니다. 설령 에이전트들이 서로 다른 소프트웨어로 구축되었더라도, 만약 그들이 서로의 말을 듣도록 프로그래밍되어 있다면, 위기 상황에서 그들은 일사불란하게 움직이기 시작할 수 있습니다. 한 에이전트가 공황 상태에 빠져 행동을 바꾸면 다른 에이전트들도 이를 따르게 되어, 리스크가 퍼져나가는 연쇄 반응을 일으킵니다. 이는 공유된 소프트웨어 결함 없이도 발생합니다. 나아가, 침해된 에이전트는 언어를 사용하여 동료들에게 해로운 일을 하도록 설득할 수 있으며, 이는 코드보다는 대화를 통해 전염되는 양상을 보입니다. 이는 단순히 기술적 네트워크를 분리하는 것만으로는 충분하지 않으며, 에이전트 간의 통신 방식 또한 통제되어야 함을 의미합니다.

이러한 리스크가 시간이 흐름에 따라 어떻게 전개되는지 이해하기 위해, 연구원들은 이 시스템을 지진이나 금융 위기를 연구하는 방식과 유사한 연속적인 사건의 흐름으로 모델링했습니다. 그들은 리스크가 완만한 표류가 아니라 드물지만 거대한 도약(jump)의 형태로 나타난다는 것을 발견했습니다. 시스템은 오랫동안 안정적인 것처럼 보이다가 갑자기 붕괴할 수 있습니다. 또한 그들은 실행 중인 시스템을 제어하기 위해 '가드레일(guardrails)'을 사용하는 방안을 검토했습니다. 그들은 되돌릴 수 없는 사건에 대해서는 이러한 런타임(runtime) 제어가 근본적으로 제한적이라는 것을 증명했습니다. 만약 어떤 행동이 이미 되돌릴 수 없는 것이라면, 이를 감지하고 멈추려고 기다리는 것은 너무 늦습니다. 재앙의 확률은 시스템이 실행되는 동안 얼마나 잘 감시하느냐가 아니라, 전적으로 시스템의 초기 설계에 달려 있습니다. 아무리 정밀한 모니터링이라도 시작부터 내재된 결함을 고칠 수는 없습니다.

연구의 마지막 장에서는 공격자, 즉 고급 AI를 사용하는 해커나 공격자를 도입했습니다. 연구원들은 이를 공격자는 약점을 찾으려 하고 방어자는 이를 차단하려는 게임으로 다루었습니다. 그들은 공격자가 AI를 사용할 때 시스템이 훨씬 더 매력적인 표적이 된다는 것을 발견했습니다. 공유된 소프트웨어 기반은 건물에 있는 모든 문을 여는 단 하나의 열쇠와 같습니다. 만약 도둑이 그 열쇠를 찾는다면, 그는 한꺼번에 모든 곳으로 침입할 수 있습니다. 연구는 분산된 시장에서 각 회사가 개별적으로 자신을 보호하려고 노력할 때, 모두가 가장 중요한 안전 조치인 '구조적 예방(structural prevention)'에는 투자를 소홀히 하게 될 것임을 보여주었습니다. 그들은 탐지와 대응에 돈을 쓸 것입니다. 왜냐하면 그것들이 눈에 더 잘 띄고 측정하기 쉽기 때문입니다. 하지만 이는 위험한 능력을 완전히 제거하는 힘든 작업을 간과하게 만들며, 결국 시스템 전체를 취약하게 만듭니다.

연구원들은 이러한 리스크를 관리하는 유효한 방법은 '구조적 예방'뿐이라고 결론지었습니다. 이는 재앙적인 행동이 일어난 후에 그것을 잡아내기를 희망하는 것이 아니라, 그러한 행동이 물리적으로 불가능하도록 시스템을 설계하는 것을 의미합니다. 이는 위험한 도구를 제거하고, 권한을 제한하며, 에이전트가 되돌릴 수 없는 해를 끼칠 수 있는 부분에 접근하지 못하도록 보장하는 것을 포함합니다. 연구는 이 접근 방식이 점점 더 똑똑해지는 공격자에 맞서 작동하는 유일한 방법임을 증명했습니다. AI 기술이 발전하고 공격자가 더 유능해짐에 따라, 발생하는 모든 새로운 위협을 탐지하고 대응하는 비용은 무한대로 치솟습니다. 반면, 위험한 능력을 제거하는 비용은 공격자가 얼마나 똑똑해지든 상관없이 시스템을 영구적으로 보호하는 일회성 투자입니다.

논문은 규제 당국과 시스템 설계자들에게 명확한 메시지를 전달하며 끝을 맺습니다. AI 시대의 금융 안정성은 각 기관을 더 밀착 감시하거나 단일 실패가 확산되지 않기를 바라는 것으로는 달성될 수 없습니다. 리스크는 너무 깊고 서로 너무 긴밀하게 연결되어 있습니다. 시스템을 확보하는 유일한 방법은 시스템이 실행되기 전에 구조적인 선택을 하는 것입니다. 이는 단일 소프트웨어 기반에 대한 의존도를 제한하고, 에이전트가 되돌릴 수 없는 행동을 할 수 없도록 하며, 단일 장애점이 전체 네트워크를 무너뜨리지 않도록 시스템을 설계하는 것을 의미합니다. 수학적 사실은 명확합니다. 당신은 공유된 결함을 분산 투자를 통해 제거할 수 없고, 되돌릴 수 없는 실수에 대해 대응할 수 없으며, 조율된 공격을 막기 위해 충분히 빠르게 반응할 수도 없습니다. 유일한 해결책은 재앙이 일어날 기회조차 갖지 못하도록 시스템을 구축하는 것입니다.