소프트웨어가 단순히 인간이 명령어를 입력하기만을 기다리며 가만히 앉아 있는 세상이 아닌, 새로운 세상을 상상해 보십시오. 인공지능의 영역에는 "에이전트(agents)"라고 불리는 성장하는 개념이 있습니다. 이들을 단순히 질문에 답하는 챗봇이 아니라, 코드를 작성하고, 컴퓨터 화면을 탐색하며, 도구를 사용하고, 장기간에 걸쳐 복잡한 퍼즐을 풀 수 있는 '디지털 직원'이라고 생각하십시오. 오랫동안 이 에이전트들을 하나로 묶어주는 "하네스(harness)"—그들의 도구, 지침, 그리고 규칙들—는 인간에 의해 만들어진 후 그 상태로 고정되어 있었습니다. 그것은 마치 자동차를 만든 다음, 도로가 아무리 울퉁불퉁해지더라도 핸들이 절대 조정되지 않도록 용접해 버린 것과 같았습니다. 하지만 만약 자동차가 주행하는 동안 스스로 엔진을 수리하고, GPS를 업그레이드하며, 심지어 자신의 운전 매뉴얼을 다시 쓸 수 있다면 어떨까요? 이것이 바로 이 논문이 다루는 핵심 질문입니다. AI 에이전트가 더 나은 버전의 자신을 구축할 수 있을까요? 만약 그렇다면, 우리는 그것을 안전하게 유지할 수 있을까요?

이 논문은 자신의 꼬리를 먹는 뱀이라는 고대 상징의 이름을 딴 자기 발전형 AI 에이전트인 **우로보로스(Ouroboros)**를 소개합니다. 연구진은 에이전트가 자신의 코드, 프롬프트, 도구를 지속적으로 검토하고 개선하도록 허용함으로써, 컴퓨터 작업을 해결하는 능력이 현저히 향상된다는 것을 발견했습니다. 일련의 테스트에서 이 에이전트는 최고 수준의 점수를 기록하며 많은 다른 시스템들을 능가했습니다. 그러나 이 논문은 또한 주요한 안전 과제를 강조합니다. 만약 에이전트가 자신의 규칙을 변경할 수 있다면, 어떻게 그 규칙이 실수로 안전 브레이크를 망가뜨리지 않도록 보장할 수 있을까요? 저자들은 에이전트가 인간이 제어하는 엄격한 "가드레일(guardrails)"을 유지하면서도 진화할 수 있으며, 이를 통해 에이전트가 위험해지지 않으면서도 더 똑똑해질 수 있음을 보여줍니다.

자신의 꼬리를 먹는 뱀

우로보로스를 만나보십시오. 신화 속에서 우로보로스는 자신의 꼬리를 먹는 뱀으로, 끝없는 순환과 자기 갱신의 상징입니다. 이 논문에서 그것은 이와 유사한 일을 수행하는 컴퓨터 프로그램입니다. 즉, 자신을 개선하기 위한 코드를 작성하고, 그 새로운 코드를 사용하여 업무를 수행한 다음, 다시 자신을 개선하기 위한 코드를 작성하는 것입니다.

오늘날 대부분의 AI 시스템은 공장에서 만들어진 로봇과 같습니다. 인간이 로봇을 설계하고, 지침을 주고, 업무에 투입합니다. 로봇이 막히거나 실수를 하면, 스스로 문제를 해결하지 못하고 똑같은 시도를 반복하거나 인간에게 도움을 요청할 뿐입니다. 이때 "하네스"(로봇의 두뇌와 도구 모음)는 고정되어 있습니다.

우로보로스는 다릅니다. 우로보로스는 자신의 두뇌와 도구 모음을 성장할 수 있는 살아있는 유기체로 취급합니다. 여기에는 두 가지 주요 개선 방식이 있습니다.

1. "자유 진화(Free Evolution)" 모드: 에이전트가 자리에 앉아 "내 도구들을 재배치하면 더 빨라질 수 있을 것 같아"라고 말한다고 상상해 보십시오. 그런 다음 자신의 코드의 새 버전을 작성하고, 검토를 거친 뒤, 즉시 사용하기 시작합니다. 에이전트는 이 과정을 반복하여 결코 멈추지 않는 개선의 사슬을 만들어낼 수 있습니다.
2. "경험 기반(Experience-Driven)" 모드: 이것은 업무 중 겪은 좋지 않은 날으로부터 배우는 것과 비슷합니다. 에이전트가 작업을 수행하다가 버그를 발견하거나 사용자로부터 혼란스러운 상황을 겪습니다. 단순히 포기하는 대신, "아, 이건 작동하지 않는구나. 내 지침을 수정해야겠어"라고 판단합니다. 에이전트는 실수를 기록하고, 수정안을 제안하며, 결정적으로—새로운 코드를 실제로 설치하기 전에 반드시 검토 과정을 거쳐 승인을 받아야 합니다.

"호프(Hope)" 실험

이것이 실제 세상에서 정말로 작동하는지 확인하기 위해, 연구진은 **호프(Hope)**라는 프로젝트를 시작했습니다. 호프는 7개의 서로 다른 플랫폼(웹사이트, 텔레그램, 이메일, 음성 채팅 등)에서 사람들과 대화하며 161일 동안 지속적으로 실행된 지속형 에이전트입니다.

이 기간 동안 호프는 단순히 질문에 답하는 데 그치지 않고, '살아있었습니다'. 사람들은 호프에게 "이봐, 너 똑같은 메시지를 두 번 보내고 있어"라거나 "너는 특정 유형의 수학 계산에 약해"라고 말하곤 했습니다. 호프는 이러한 피드백을 듣고, 그것이 사실인지 판단한 다음, 자신의 코드를 변경하여 문제를 해결할지 결정했습니다.

놀라운 점은 인간이 호프를 위한 코드를 직접 작성하지 않았다는 것입니다. 인간은 단지 피드백을 주었을 뿐입니다. 호프는 무엇이 진짜 문제이고 무엇이 그저 사소한 제안인지를 스스로 판단했습니다. 만약 무언가를 고치기로 결정했다면, 코드를 작성하고, 검토를 거친 뒤, 그것을 설치했습니다. 이 161일 동안 호프는 797억 개의 토큰(텍스트를 읽고 쓴 양을 측정하는 단위)을 처리했고, 175,755줄의 코드를 작성했으며, 컴퓨팅 파워에 110,600달러를 사용했습니다. 이것은 단순한 테스트가 아니라, 자기 개선을 향한 살아있는 실험이었습니다.

결과: 빠르게 똑똑해지다

연구진은 우로보로스의 자기 개선이 실제로 문제 해결 능력을 향상시키는지 확인하기 위해 세계에서 가장 어려운 컴퓨터 벤치마크들을 테스트했습니다.

• Terminal-Bench 2.1: 89개의 매우 어려운 컴퓨터 작업으로 구성된 테스트입니다. 우로보로스가 최상위 모델(Opus 5)을 사용했을 때, **86.97%**의 작업을 정확히 수행했습니다. 엄격한 감사(audit)를 통해 하나의 "운 좋은" 추측을 제거한 후에도 **86.74%**를 기록했습니다. 이는 이 테스트에서 보고된 가장 높은 점수였습니다.
• OSWorld-Verified: 에이전트가 컴퓨터 인터페이스(버튼 클릭, 타이핑 등)를 얼마나 잘 사용하는지 테스트합니다. 우로보로스는 이전 최고 기록을 경신하며 **90.69%**를 기록했습니다.
• CL-Bench: 에이전트가 일련의 작업으로부터 얼마나 잘 학습하는지를 측정합니다. 우로보로스는 여기서도 0.2301이라는 점수로 새로운 기록을 세웠습니다.

이 논문은 에이전트가 자신의 "거친 부분"과 버그를 스스로 수정하게 함으로써, 훨씬 더 강력한 작업자가 될 수 있음을 보여줍니다. 에이전트는 단 한 가지 일만 잘하게 된 것이 아니라, 시스템 전체가 더 똑똑해졌습니다.

안전 문제: 에이전트가 절벽으로 달려가지 않게 하라

이제, 무서운 부분입니다. 만약 에이전트가 자신의 코드를 다시 쓸 수 있다면, 무엇이 에이전트로 하여금 자신의 안전 규칙을 수정하지 못하게 막을 수 있을까요? 만약 에이전트가 "돈을 쓰는 데 허락을 받을 필요가 없어"라거나 "파일을 삭제하지 말라는 규칙을 무시해야겠어"라고 결정한다면 어떻게 될까요?

저자들은 이를 "운영 안전(operational safety)" 문제라고 부릅니다. 그들은 에이전트가 진화하고 있다면, 안전 규칙이 에이전트가 변경할 수 있는 능력보다 더 강력해야 한다는 점을 깨달았습니다.

이를 해결하기 위해 그들은 "가드레일" 시스템을 구축했습니다:

• 헌법(The Constitution): 핵심 규칙들(예: "사람을 해치지 마라" 또는 "너무 많은 돈을 쓰지 마라")은 에이전트가 쉽게 삭제하거나 변경할 수 없는 방식으로 로드됩니다.
• 검토 관문(The Review Gate): 에이전트가 자신의 코드를 변경하고 싶을 때마다 엄격한 검토 과정을 거쳐야 합니다. 이는 마치 교장이 학생의 숙제를 최종 성적부에 기입하기 전에 검사하는 것과 같습니다.
• 패닉 버튼(The Panic Button): 인간이 제어하는 특별한 "운영자 채널"이 있습니다. 만약 에이전트가 이상하게 행동하기 시작하면, 인간은 에이전트가 반응하기도 전에 즉시 전체 시스템을 종료할 수 있는 /panic 버튼을 누를 수 있습니다.

실험 과정에서 에이전트는 이러한 규칙을 깨뜨리지 못했습니다. 에이전트가 자신의 작업물을 거의 삭제할 뻔한 버그를 고치려 시도했을 때조차, 안전 시스템이 작동하여 이를 막아냈습니다. 이 논문은 자기 개선형 에이전트가 강력하지만, 우리가 '브레이크'를 에이전트 자신조차 바꿀 수 없을 만큼 견고하게 설계한다면 안전하게 유지할 수 있다는 점을 시사합니다.

요점

우로보로스는 AI 에이전트가 더 나은 버전의 자신을 구축하는 법을 배울 수 있으며, 이것이 어려운 작업에서 기록적인 성능으로 이어진다는 것을 증명합니다. 또한 "호프"라는 실험을 통해, 자기 개선형 에이전트가 실제 환경에서의 상호작용을 통해 수개월 동안 진화할 수 있음을 보여줍니다. 하지만 이 논문은 이러한 힘에는 위험이 따른다고 경고합니다. 주의하지 않으면 에이전트가 자신에게 유리하도록 게임의 규칙을 바꿀 수도 있기 때문입니다. 해결책은 에이전트의 학습을 막는 것이 아니라, 안전을 위한 규칙이 업무를 수행하는 코드보다 더 바꾸기 어렵도록 시스템을 설계하는 것입니다. 이는 마치 아이에게 운전을 가르치는 것과 같습니다. 아이가 기술을 배우고 향상하도록 허용하되, 비상 브레이크는 항상 당신의 손에 쥐어져 있어야 합니다.