The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

인공지능이 급격히 진화하는 세상에서, 단순히 질문에 답하는 것을 넘어 행동을 취하는 새로운 종류의 소프트웨어가 등장했습니다. 이러한 시스템은 인간의 감독이 거의 또는 전혀 없는 상태에서도 일련의 단계들을 계획하고, 디지털 도구를 사용하며, 소프트웨어 코드나 웹 브라우저와 같은 복잡한 환경을 탐색할 수 있습니다. 연구자들은 이 에이전트들이 얼마나 유능해지고 있는지를 측정하기 위해 '시간 지평(time horizon)'이라는 개념을 사용하여 그 진보를 추적하는 방법을 개발했습니다. 이 개념은 인간 전문가가 완료하는 데 걸리는 시간을 기준으로 측정된 작업의 길이를 나타내며, AI 에이전트가 절반의 확률로 성공적으로 완수할 수 있는 범위를 의미합니다. 만약 어떤 에이전트의 시간 지평이 1시간이라면, 이는 해당 에이전트가 인간이 완료하는 데 약 1시간이 걸리는 문제를 신뢰성 있게 해결할 수 있지만, 2시간이 걸리는 작업에는 실패할 가능성이 높다는 것을 의미합니다. 이 지표는 AI의 발전을 설명하는 표준 언어가 되었으며, 보고서에 따르면 이 지평은 약 7개월마다 두 배씩 늘어나고 있는데, 이는 기계가 점점 더 복적인 업무를 처리할 수 있는 미래를 암시합니다.

하지만 에이전트가 평균적으로 할 수 있는 일과 매번 반드시 해낼 수 있다고 신뢰할 수 있는 일 사이에는 결정적인 차이가 존재합니다. 반복되는 업무를 할당하는 인간 관리자나 자율 시스템을 감독하는 규제 기관의 입장에서, 50퍼센트의 성공률은 종종 불충분합니다. 만약 어떤 작업이 반복적으로 발생한다면, 목표는 에이전트가 절반의 확률로 성공하는 것이 아니라, 그 작업이 나타날 때마다 매번 성공하는 것이어야 합니다. 두 번 시도 중 한 번꼴로 실패하는 시스템은 많은 실세계 응용 분야에서 신뢰하기에 부족하지만, 표준적인 '시간 지평' 지표는 이러한 위험을 포착하지 못합니다. 이 지표는 능력의 최전선을 측정할 뿐, 신뢰성의 하한선을 측정하는 것이 아닙니다. 평균적인 성능과 일관된 성능 사이의 이 간극은 새로운 연구가 해결하고자 하는 핵심 과제로, 에이전트의 실제 신뢰도가 화려한 헤드라인을 장식하는 능력 점수와 비교했을 때 얼마나 뒤처져 있는지를 묻습니다.

이를 밝히기 위해 연구자들은 2023년부터 다양한 작업에 대해 AI 에이전트 평가를 수행해 온 METR 조직의 방대한 공개 기록을 활용했습니다. 이 연구는 2023년부터 2026년 초 사이에 출시된 30개의 서로 다른 모델에 초점을 맞추었으며, 다양한 작업에 대한 6만 건 이상의 개별 시도를 분석했습니다. 연구자들은 에이전트가 단 한 번 성공했는지 실패했는지만을 보는 대신, 동일한 에이전트가 동일한 작업을 여러 번 시도했을 때 어떤 일이 발생하는지를 조사했습니다. 그들은 특히 에이전트가 전체 성공 확률 50퍼센트로 네 번 연속해서 작업을 완수할 수 있는 지점을 살펴보았습니다. 이 '신뢰 지평(reliability horizon)'은 에이전트가 가끔씩 해내는 것이 아니라, 지속적으로 처리할 수 있을 것으로 기대되는 작업의 길이를 나타냅니다.

연구 결과, 에이전트가 할 수 있는 일과 신뢰할 수 있는 일 사이에는 상당하고 지속적인 격차가 있음이 드러났습니다. 테스트된 모든 모델에 대해, 신뢰할 수 있는 반복적 성공을 위한 시간 지평은 표준적인 능력 지평보다 훨씬 짧았습니다. 평균적으로 신뢰 지평은 평균 성공 지평보다 약 2.4배 짧았습니다. 이를 구체적으로 설명하자면, 만약 최고 수준의 모델이 50퍼센트의 확률로 인간이 완료하는 데 715분이 걸리는 작업을 처리할 능력이 있다면, 동일한 모델은 약 355분이 걸리는 작업을 네 번 연속으로 동일한 확신도로 완수할 수 있다고 신뢰받을 수 있을 뿐입니다. 이 격차는 지난 3년 동안 유의미하게 좁혀지지 않았습니다. 모델들이 더 강력해졌음에도 불구하고, 평균 성능과 일관된 성능 사이의 거리는 거의 일정하게 유지되었습니다.

사람들은 에이전트가 작업을 실패한다면 그것이 단순히 운이 나쁘거나 무작위적인 오류 때문일 것이라고 가정할 수 있으며, 다시 시도하면 다른 결과가 나올 가능성이 높다고 생각할 수 있습니다. 그러나 연구는 이 가정이 틀렸음을 발견했습니다. 연구자들은 반복된 시도의 결과가 무작위적인 것이 아니라 특정 작업 자체와 강력하게 연결되어 있다는 것을 발견했습니다. 에이전트가 작업을 실패할 때는 해당 작업을 시도할 때마다 계속 실패하는 경향이 있습니다. 반대로, 성공할 때는 성공할 때마다 성공하는 경향이 있습니다. 이는 에이전트의 신뢰성이 매 시도마다 주사위를 던지는 것에 의해 결정되는 것이 아니라, 에이전트의 기술 대비 해당 작업의 고유한 난이도에 의해 결정된다는 것을 의미합니다. 이러한 강력한 연결 관계 때문에, 관찰된 신뢰도는 각 시도가 독립적일 때보다 훨씬 높게 나타납니다. 만약 시도들이 진정으로 무작위이고 서로 관련이 없다면 신뢰 지평은 훨씬 더 짧아지겠지만, 현실은 에이전트의 성능이 특정 문제의 맥락 안에서 일관적이라는 것입니다.

연구는 또한 이러한 불일치가 정확히 어디에서 발생하는지도 짚어냈습니다. 가장 예측 불가능한 행동은 에이전트가 지속적으로 실패하는 가장 어려운 작업에서도, 혹은 지속적으로 성공하는 가장 쉬운 작업에서도 나타나지 않습니다. 대신, '혼합된 결과(mixed outcomes)'—즉 에이전트가 어떤 때는 성공하고 어떤 때는 실패하는 경우—는 에이전트의 역량 경계 근처에 밀집되어 나타납니다. 이곳은 작업이 에이전트에게 도전적이기는 하지만 불가능할 정도는 아닌, 표준 시간 지평 바로 아래의 구간입니다. 바로 이 구간이 새로운 위임 작업들이 떨어질 가능성이 가장 높은 곳이며, 따라서 위험을 이해하는 데 있어 가장 중요한 영역이 됩니다.

이러한 격차의 명백한 증거에도 불구하고, 연구자들은 이 격차가 좁혀지는 속도가 통계적으로 유의미하지 않다는 것을 발견했습니다. 데이터상으로는 신뢰 지평이 능력 지평을 따라잡으려는 미세한 경향이 보이지만, 현재 테스트된 모델의 수를 고려할 때 이 추세는 무작위 변동과 구별될 만큼 작습니다. 이는 AI 에이전트가 더 어려운 문제를 해결하는 데는 능숙해지고 있지만, 실행의 일관성을 같은 속도로 높이고 있지는 않을 수도 있음을 시사합니다. 연구는 결론적으로, 이러한 시스템을 배포하려는 사람들에게 평균 성공률에만 의존하는 것은 미래에 대해 지나치게 낙관적인 전망을 제공한다고 경고합니다. 에이전트가 무엇을 할 수 있는지 진정으로 이해하려면, 반복적이고 지속적인 성공의 필요성을 고려한 '신뢰 조정 지평(reliability-adjusted horizon)'을 포함하여 보고해야 합니다. 이러한 조정 없이는, 자율 에이전트의 약속은 성능의 보장이 아닌 단지 잠재력의 척치에 머물게 될 것입니다.