SimVerity: When Does Simulated Agent Success Survive Physical Deployment?

우리 집의 조용한 구석에서, 새로운 종류의 지능이 깨어나고 있습니다. 그것은 걷는 로봇이나 인간처럼 생각하는 기계가 아니라, 우리 벽 안에 살며 단 한 번의 말로 불을 켜거나, 블라인드를 내리거나, 문을 잠글 준비가 되어 있는 디지털 비서입니다. 수년 동안 엔지니어들은 이 디지털 조력자들을 안전한 가상 세계에서 테스트해 왔습니다. 그들은 컴퓨터 안에 집의 완벽한 복사본을 구축하며, 그 안에서는 모든 전등 스위치와 센서가 코드에 적힌 대로 정확하게 작동합니다. 만약 컴퓨터 프로그램이 에이전트가 성공했다고 판정하면, 엔지니어들은 그 에이전트가 실제 가정으로 나갈 수 있도록 초록색 불을 켜줍니다. 이 과정은 단순한 가정에 의존합니다. 즉, 시뮬레이션에서 작동한다면 현실에서도 작동할 것이라는 가정입니다. 하지만 이 에이전트들이 화면에서 물리적 공간으로 이동함에 따라, 한 가지 중요한 질문이 해결되지 않은 채 남아 있었습니다. 가상 공간에서의 성공적인 테스트가, 전선이 낡고 불빛이 깜빡이며 시간이 다르게 흐르는 실제 집에서도 장치가 실제로 임무를 수행할 것임을 보장할 수 있는가 하는 점입니다.

임페리얼 칼리지 런던(Imperial College London)의 연구팀은 '심베리티(SimVerity)'라고 부르는 시스템을 구축함으로써 이 질문에 답하고자 했습니다. 컴퓨터의 말을 그대로 믿는 대신, 그들은 카메라를 독립적인 목격자로 삼아 실제 집에서 동일한 시나리오를 그대로 재현하는 방법을 만들어냈습니다. 그들은 단순히 에이전트가 과업을 마쳤는지 묻는 것에 그치지 않고, 물리적 세계가 가상 세계와 일치하는지 확인하기 위해 전체 과정을 초 단위로 관찰했습니다. 그들이 발견한 것은 극명한 괴리였습니다. 실험에서 정교한 컴퓨터 시뮬레이션은 전등을 끄는 모든 시험을 통과했습니다. 시뮬레이션은 작업이 완료되었다고 선언했습니다. 그러나 연구진이 고속 카메라로 실제 전구를 관찰했을을 때, 에이전트가 불을 껐다고 말한 후에도 전구가 아주 짧은 순간 동안 켜져 있는 것을 목격했습니다. 가상 세계에서 성공은 정적인 사실입니다. 즉, 불은 켜져 있거나 꺼져 있는 상태입니다. 하지만 현실 세계에서 성공은 시간이 걸리는 과정이며, 바로 그 시간 속에 문제가 발생합니다.

연구진은 성공 여부를 판단하는 '순간'이 성공 그 자체보다 더 중요하다는 것을 발견했습니다. 그들은 에이전트가 임무를 수행했는지 판단하는 네 가지 서로 다른 방식을 측정했습니다. 소프트웨어가 완료되었다고 말하는지, 에이전트가 올바른 상태를 보고하는지, 인간이 그 효과를 볼 수 있는지, 그리고 시스템이 최종적이고 안정적인 상태에 도달했는지였습니다. 실험 결과, 에이전트는 처음 세 가지 검사를 통과하고도 마지막 검사에서는 실패할 수 있었습니다. 전등 스위치와 관련된 특정 테스트에서, 시뮬레이션은 불이 꺼졌다고 말했습니다. 소프트웨어도 불이 꺼졌다고 보고했습니다. 하지만 궁극적인 진실을 말해주는 역할을 하는 카메라는, 시뮬레이션이 놓친 42번의 개별 사례에서 불이 빛나고 있는 것을 포착했습니다. 이것은 느리고 명백한 실수가 아니었습니다. 그것들은 1초도 채 되지 않는 짧은 순간에 발생했으며, 에이전트의 배포를 승인하는 데 사용되는 일반적인 검사로는 포착할 수 없는 것들이었습니다. 시뮬레이션은 가짜 합격 판정을 내렸고, 그 찰나의 순간 동안 여전히 잘못된 행동을 하고 있는 장치를 승인한 것입니다.

이러한 현상이 왜 발생하는지 이해하기 위해, 팀은 이러한 시스템이 어떻게 구축되는지를 살펴보았습니다. 시뮬레이션은 과업을 단일 시점으로 봅니다. 명령이 전달되고 상태가 변하면 작업은 끝난 것입니다. 그러나 실제 가정은 지연 시간으로 가득 차 있습니다. 신호가 네트워크를 통해 전달되고, 스위치가 움직이며, 전구가 달궈지고, 센서가 보고를 합니다. 이 단계들은 시간이 걸립니다. 연구진은 결과를 너무 빨리 확인하면, 에이전트가 이미 불을 끄라고 명령했음에도 불구하고 불이 여전히 켜져 있는 것을 볼 수도 있다는 것을 발견했습니다. 이것은 에이전트의 지능에 있는 버그가 아니라, 시뮬레이션이 시간을 계산하는 방식과 물리적 세계가 움직이는 방식 사이의 불일치입니다. 연구는 결과를 확인하기 전까지 조금 더 기다리는 것만으로도 성공률을 44%에서 62%로 바꿀 수 있음을 보여주었습니다. 에이전트가 실패한 것이 아니라, 관찰의 타이밍이 결과를 결정짓는 변수였던 것입니다.

이 연구에서 가장 놀라운 부분은 이러한 실패들이 예측 가능하다는 것이었습니다. 팀은 초기 테스트로부터 학습하여 다음 실패가 어디서 발생할지 추측하는 일종의 지도인 '리스크 프로필(risk profile)'을 구축했습니다. 그들은 이 지도가 정답에 의존할 수 없도록 최종 테스트를 시작하기 전에 이 지도를 고정했습니다. 새로운 시험을 실행했을 때, 이 지도는 자신이 물리적으로 측정해 본 적이 없는 경로에 대해서도 시뮬레이션이 실제 세계에서 실패할 것임을 성공적으로 예측했습니다. 이는 장치 유형이나 일반적인 경로만을 고려하는 표준 기준점보다 뛰어난 성능을 보였으며, 이는 과업의 구체적인 세부 사항과 확인 타이밍이 위험을 포착하는 핵심임을 입증했습니다. 이는 엔지니어가 에이전트를 집에 배송하기 전에, "컴퓨터상으로는 좋아 보이지만, 우리의 지도에 따르면 이 특정 시점에 실제 세계에서 실패할 가능성이 높다"라고 말할 수 있는 방법을 갖게 됨을 의미합니다.

또한 연구팀은 두 개의 서로 다른 컴퓨터 시뮬레이션이 서로 일치한다면 안전을 보장하기에 충분할지 테스트했습니다. 그들은 동일한 시나리오를 두 개의 서로 다른 시뮬레이터에서 실행하고 그 결과를 비교했습니다. 두 컴퓨터는 결코 의견이 일치하지 않은 적이 없었습니다. 두 시뮬레이터 모두 동일한 테스트를 통과했고, 동일한 실패를 놓쳤습니다. 이는 공유된 사각지대를 드러냈습니다. 만약 시뮬레이션이 특정 규칙 세트에 기반하여 구축되었다면, 두 시뮬레이터 모두 그 규칙을 따를 것이고 동일한 실제 세계의 문제를 놓칠 것이라는 점입니다. 오직 물리적 측정, 즉 실제 전구를 관찰하는 카메라만이 오류를 드러냈습니다. 이 발견은 여러 개의 시뮬레이션을 실행하는 것이 실제 세계에서의 테스트를 대체할 수 없음을 시사합니다. 만약 시뮬레이션들이 동일한 가설 위에 세워졌다면, 그들은 모두 똑같은 방식으로 틀릴 것이기 때문입니다.

마지막으로, 연구진은 에이전트 자체의 설계가 이러한 결과에 어떤 영향을 미치는지 조사했습니다. 그들은 에이전트의 구성 방식, 특히 에이전트를 실행하는 소프트웨어와 어떻게 연결되는지를 변경함으로써 문제를 완전히 해결할 수 있다는 것을 발견했습니다. 한 사례에서, 구성을 변경하자 에이전트의 행동이 시뮬레이션의 기대치와 AUC 1로 일치했습니다. 이는 문제가 항상 에이전트의 지능에 있는 것이 아니라, 에이전트와 집 사이의 보이지 않는 연결에 달려 있음을 보여주었습니다. 에이전트의 '감사 가능성(auditability)', 즉 우리가 그 결과를 얼마나 신뢰할 수 있는지는 이러한 기술적 세부 사항에 달려 있었습니다.

심베리티의 작업은 모든 시뮬레이션을 완벽하게 만드는 마법 같은 해결책을 제시하는 것이 아닙니다. 대신, 안전에 대해 생각하는 새로운 방식을 제안합니다. 시뮬레이션의 초록색 불빛을 최종적인 보증으로 취급하는 것을 멈춰야 한다는 것입니다. 대신, 그것을 물리적 가정의 무질서하고 느리며 예측 불가능한 현실에 대조하여 확인해야 할 출발점으로 취급해야 합니다. 연구진은 간단한 의사결정 과정을 제 제안합니다. 증거가 뒷받침될 때만 에이전트를 승인하고, 증거가 부족하면 보류하며, 시뮬레이션은 안전하다고 말하지만 실제 세계는 그렇지 않다면 문제를 격상하라는 것입니다. 우리의 집이 점점 더 똑똑해지는 세상에서, 가장 중요한 단계는 더 나은 에이전트를 만드는 것뿐만 아니라, 그들이 실제로 우리와 함께 살 준비가 되었는지 알 수 있는 더 나은 방법을 구축하는 것입니다. 컴퓨터의 초록색 체크 표시은 하나의 약속이지만, 이 연구가 보여주듯, 그 약속은 물리적 세계의 느리고 꾸준한 진실에 의해 검증되어야 합니다.