🤖 AI

Argus: A General-Purpose Agentic Runtime for Long-Horizon Reasoning

Argus는 특화된 역할들을 통해 관리되는 지속적이고 자기 진화적인 상태를 활용하여 미션 궤적을 자율적으로 검증, 복구 및 정교화함으로써 다양한 벤치마크 전반에 걸쳐 우수한 장기 추론 성능을 달성하는 범용 고정 가중치 에이전트 런타임입니다.

원저자: Boxiu Li, Zimo Wen, Yijia Fan, Junxiang Lei, Sufeng Guo, Jiaao Wu, Ruize Tang, Mukai Li, Yifei Shen, Xiaoyu Chen, Wanbo Zhang, Runjing Gu, Yifei Gao, Yuheng Wu, Xuyao Huang, Zelong Zhao, Jiachen Zhang

게시일 2026-08-06

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Boxiu Li, Zimo Wen, Yijia Fan, Junxiang Lei, Sufeng Guo, Jiaao Wu, Ruize Tang, Mukai Li, Yifei Shen, Xiaoyu Chen, Wanbo Zhang, Runjing Gu, Yifei Gao, Yuheng Wu, Xuyao Huang, Zelong Zhao, Jiachen Zhang, Shibo Hu, Hangxi Guo, Yilin Chen, Yuzhe Zhang, Fan Yang, Chuan Wen, Xian Zhang, Xuanhe Zhou, Zhijie Deng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

장기 추적 탐정: 왜 AI에게는 기억력과 코치가 필요한가

당신이 작동하는 로봇을 처음부터 만드는 법을 알아내거나, 실제로 앞뒤가 맞는 소설을 쓰는 것과 같이 며칠씩 걸리는 거대한 미스터리를 풀려고 노력하고 있다고 상상해 보십시오. 만약 당신이 몇 년 전의 컴퓨터 프로그램이었다면, 지시 사항을 읽고, 추측을 한 뒤, 다시 시도하기 전에 방금 했던 모든 것을 즉시 잊어버리는 방식으로 문제를 해결하려 했을 것입니다. 이것이 많은 초기 AI "에이전트"들이 작동하던 방식이었습니다. 그들은 단서 하나를 해결하면 바로 기억상실증에 걸려, 막다른 길에 부딪힐 때마다 처음부터 조사를 다시 시작해야 하는 탐정과 같았습니다. 그들은 읽는 속도는 빨랐지만, 긴 시간 동안 자신의 실수로부터 배우는 데는 형편없었습니다.

"장기 지평 추론(long-horizon reasoning)" 분야는 바로 이 문제를 해결하는 것에 관한 것입니다. 이 분야는 다음과 같은 질문을 던집니다: 어떻게 하면 AI가 며칠 또는 몇 주 동안 계획을 유지하고, 어제 무엇을 시도했는지 기억하며, 잘못된 방향으로 가고 있다는 것을 깨달았을 때 전략을 바꿀 수 있을까? 여기서 핵심 아이디어는, 똑똑하다는 것이 단순히 큰 뇌(강력한 모델)를 갖는 것만이 아니라, 좋은 노트(지속적인 기억)와 당신이 막혔을 때 스스로를 속이지 못하도록 막아주는 엄격한 코치(검증)를 갖는 것이라는 점입니다. 이 논문은 AI 시스템이 단순히 제자리를 맴도는 것이 아니라, 처음부터 다시 훈련될 필요 없이 시간이 흐름에 따라 스스로의 방법을 진화시키고 더 어려운 문제를 해결할 수 있도록 구축하는 방법에 대해 다룹니다.

아거스(Argus)를 만나보세요: 피벗(Pivot)하는 법을 배우는 AI

새로운 종류의 AI "런타임"(AI의 두뇌를 실행하는 운영 체제나 엔진이라고 생각하십시오)인 **아거스(Argus)**를 소개합니다. 마이크로소프트와 여러 유수 대학의 연구진으로 구성된 아거스 개발팀은, AI가 진정으로 어렵고 장기적인 프로젝트를 수행하려면 단순히 맹목적으로 앞으로 나아가기만 해서는 안 된다는 점을 깨달았습니다. 만약 AI가 거대한 소프트웨어 코드베이스의 버그를 수정하거나 복잡한 수학 정리를 증명하려고 한다면, 몇 시간 동안 결국 막다른 길이 될 경로를 따라 계속 나아갈 수도 있습니다. 일반적인 AI는 그냥 계속 밀어붙이며 시간과 에너지를 낭비할 수 있습니다. 아거스는 다릅니다. 아거스는 **피벗(방향 전환)**하도록 설계되었습니다.

아거스를 혼자 일하는 개인이 아니라, 공유 오피스에서 일하는 매우 조직적인 연구 팀이라고 생각해 보십시오. 이 팀에는 네 가지 뚜렷한 역할이 있으며, 서로의 업무를 절대 혼동하지 않습니다.

매니저(Manager): 큰 그림을 쥐고 있는 보스입니다. 일일 계획이 바뀌더라도 팀이 원래의 목표(예: "로봇 만들기")에 집중할 수 있도록 합니다.
플래너(Planner): 전략가로서 큰 목표를 하루 동안 수행 가능한 작은 작업들로 나눕니다.
엔지니어(Engineer): 실제로 코드를 작성하거나, 실험을 실행하거나, 수학 계산을 수행하는 빌더입니다.
리뷰어(Reviewer): 엄격한 품질 관리 검사관입니다. 엔지니어가 만든 결과물을 보고 "좋다", "수정이 필요하다" 또는 "멈춰라, 이 경로는 막다른 길이다"라고 말하는 것이 그들의 임무입니다.

아거스의 마법은 실패를 데이터로 취급한다는 점에 있습니다. 엔지니어가 어떤 방법을 시도했다가 실패하면, 리뷰어는 단순히 "앗" 하고 넘어가지 않습니다. 그들은 정확히 왜 실패했는지를 기록합니다. 이 기록은 영구적인 "프로젝트 상태"(팀의 공유 노트)에 저장됩니다. 나중에 팀이 동일한 막다른 길로 다시 가려고 하면, 시스템은 "헤이, 어제 이걸 시도했는데 안 됐었지"라고 기억하고 새로운 아이디어로 피벗합니다. 이것을 **검증 가이드형 지속성(verification-guided persistence)**이라고 부릅니다. 시스템은 리뷰어가 새로운 정보가 실제로 사실이고 유용하다고 검증했을 때만 "학습"(기억 업데이트)을 수행합니다.

발견한 점: 코드 수정 및 논문 작성 능력 향상

연구팀은 이 "기억력을 가진 팀" 접근 방식이 실제로 효과가 있는지 확인하기 위해 아거스를 매우 어려운 도전 과제들에 테스트했습니다.

1. 코드 수정 테스트 (SWE-Bench Pro)
그들은 아거스에게 731개의 실제 소프트웨어 버그를 수정하게 했습니다. 이는 프로그래머에게 엉망이고 망가진 코드베이스를 주고 인간의 도움 없이 수정하도록 요청하는 것과 같습니다.

결과: 아거스는 약 **78%**의 버그를 성공적으로 수정했습니다.
비교: 표준 AI 도구(Direct Copilot)는 이 중 **59%**만을 수정할 수 있었습니다.
비용: 아거스는 표준 도구보다 약 1.41배 더 많은 컴퓨터 "토큰"(생각의 기본 단위)을 사용했습니다.
시사점: 아거스는 생각을 조금 더 많이 했음에도 불구하고 훨씬 더 정확했습니다. 이는 작업을 확인하고 과거의 실수를 기억하는 데 시간을 들이는 것이 보상을 준다는 것을 입증했습니다.

2. "똑똑해지는" 테스트 (자기 진화)
가장 멋진 부분은 여기입니다. 연구진은 시간이 흐름에 따라 아거스를 관찰했습니다. 그들은 AI의 두뇌(모델 가중치)를 변경하지 않았습니다. 대신, 시스템이 기술과 기억이 담긴 "노트"를 쌓아 올리도록 두었습니다.

결과: 시스템이 더 많은 작업을 수행하고 검증된 기술로 노트를 채워감에 따라, 시스템은 더 빠르고 저렴해졌습니다. 테스트 후반 단계에서 아거스는 시작할 때와 비교하여 작업당 토큰을 21% 적게 사용했고 시간은 15% 덜 소요되었습니다.
의미: AI는 더 나아지기 위해 재훈련될 필요가 없었습니다. 단지 자신이 배운 것을 기억하기만 하면 되었습니다. AI는 근본적인 두뇌를 바꾸지 않고도 자신의 "런타임 상태"를 진화시켜 더 효율적인 작업자가 되었습니다.

3. "스스로를 속이지 마라" 테스트 (리뷰어의 개입)
팀은 리뷰어가 얼마나 자주 개입했는지 추적했습니다. 731개의 작업 중 리뷰어가 호출된 횟수는 466회였습니다.

구조: 43건의 사례에서 리뷰어는 "아직 완료되지 않았으니 다시 시도하라"고 말했습니다. 엔지니어가 다시 시도한 후, 그중 34건이 성공적으로 수정되었고, 22건은 두 번째의 더 엄격한 리뷰까지 통과할 정도로 완벽하게 수정되었습니다.
차단: 리뷰어는 또한 실제로 불가능하거나 고장 난 35건의 작업에 대해 승리를 선언하려는 시스템을 막았습니다. 이는 매우 중요합니다. 즉, 시스템이 가짜 해결책을 만들어내는 환각(hallucination)을 일으키는 대신 "나는 이것을 할 수 없다"라고 말하는 법을 배웠음을 의미합니다.

코드 그 이상: 수학, 칩, 그리고 논문

아거스는 코드 수정에만 머물지 않았습니다. 연구팀은 이 시스템이 다른 "장기 지평" 과제들도 처리할 수 있음을 보여주었습니다.

수학 연구: 복잡한 수학 정리를 증명하는 캠페인에서, 아거스는 하나의 경로가 거짓으로 판명된(falsified route) 기록을 유지했습니다. 그 경로를 삭제하는 대신, "진입 금지" 표지판으로 간직했습니다. 이는 시스템이 나중에 해당 막다른 길을 피하고 성공적으로 정리의 경계를 강화하는 데 도움이 되었습니다.
논문 작성: 그들은 과학 논문을 작성하기 위해 6개의 서로 다른 연구 프로젝트를 실행했습니다. 시스템은 254번의 미션을 수행했고, 16번의 주요 롤백(계획 전체를 되돌려야 했던 상황)을 견뎌냈으며, 여전히 6편의 논문을 모두 완성해 냈습니다. 한 프로젝트는 실패한 아이디어를 성공적인 "부정적 결과(negative results)" 연구로 바꾸어 놓았는데, 이는 때때로 무엇이 작동하지 않는지를 알아내는 것도 유효한 과학적 발견임을 입증했습니다.
칩 설계: 무서운 테스트에서 아거스는 컴퓨터 칩(ACE-2)을 설계했습니다. 시스템은 코드를 작성하고 타이밍을 체크했으며, 최종 설계는 모든 엄격한 하드웨어 검사를 통과했습니다. 시스템은 심지어 자신이 무엇을 체크하지 않았는지(예: 칩이 실제 환경에서 작동할지 여부)를 정확히 알고 있었으며, 그 한계점을 명확히 기재했습니다.

결론

아거스는 AI가 진정한 장기 작업을 수행하기 위해서는 단순히 큰 두뇌만으로는 부족하다는 것을 보여줍니다. AI에게는 "보스"와 "작업자"를 분리하고, 무엇이 작동하고 무엇이 작동하지 않는지에 대한 영구적인 기록을 유지하며, 가짜 답변을 내놓지 않도록 막는 엄격한 "리뷰어"가 있는 시스템이 필요합니다.

이 논문은 이러한 "검증 게이트(verification-gated)" 접근 방식을 사용함으로써, AI가 더 어려운 문제를 해결하고, 재훈련 없이도 시간이 흐름에 따라 더 효율적으로 변하며, 심지어 막혔을 때 인정할 수도 있다는 것을 시사합니다. 이것은 모든 것을 즉시 해결하는 마법 지팡이가 아닙니다. 하지만 AI가 우리와 함께 복잡하고 긴 프로젝트를 수행하면서 길을 잃거나 진행 상황에 대해 거짓말을 하지 않도록 만드는, 실질적인 발걸음입니다. 저자들이 언급했듯이, 이것은 단순히 테스트 점수를 높이는 것이 아니라, 현실 세계의 복잡하고 장기적인 과제들을 해결하기 위해 지속하고, 피벗하고, 스스로의 방법을 진화시킬 수 있는 시스템을 구축하는 것에 관한 것입니다.

기술 요약: Argus – 장기적 추론을 위한 범용 에이전트 런타임

1. 문제 정의

장기적 추론 과제(예: 소프트웨어 수리, 수학적 증명, 과학적 발견)는 단순히 정해진 계획을 더 많은 단계로 실행하는 경주가 아닙니다. 실제로, 사용자의 의도는 안정적으로 유지되는 반면, 운영 목적, 제약 조건 및 검증 기준은 증거가 축적됨에 따라 정교화되어야 합니다. 현재의 에이전트 시스템은 결정적인 모호함에 직면해 있습니다. 즉, 시스템이 명시된 목표를 포기했을 때, 이것이 목표가 잘못 설정되었음을 발견한 것인지, 아니면 실패를 합리화한 것인지 구분할 수 없다는 점입니다. 이러한 구분이 없으면 시스템은 실행 가능한 결과에 맞춰 목적이 저하되는 "목표 표류(goal drift)" 현상을 겪게 됩니다.

기존 방식들은 목적을 고정하고 이를 향한 실행을 최적화함으로써 선택지를 제거하거나, 컨텍스트가 압축될 때 연속성을 잃는 세션 제한적 트랜스크립트에 의존합니다. 이는 장기 실행 에이전트에서 세 가지 실패를 초래합니다:

연속성 실패 (Continuity Failure): 수정의 동기가 되는 증거가 트랜스크립트가 삭제될 때 함께 손실됩니다.
수용 실패 (Acceptance Failure): 작업을 수행하는 구성 요소가 완료를 선언하기도 하여 이해 상충이 발생합니다.
경험 실패 (Experience Failure): 최종 산물만이 생존하며, 기각된 경로가 미래의 피벗(pivot)을 위한 증거로 기능하지 못합니다.

2. 방법론: Argus 런타임

Argus는 "검증된 피벗(verified pivoting)"을 허용하고 안전하게 관리하도록 설계된 지속적이고 자기 진화적인 에이전트 런타임입니다. 이는 모델의 고정된 파라미터와 가변적이고 내구적인 런타임 상태를 분리합니다.

2.1 핵심 아키텍처

시스템은 **경계가 있는 미션(bounded missions)**으로 나뉜 내구성이 있는 프로젝트 상태 위에서 작동합니다. 이 시스템은 서로 다른 권한을 가진 네 가지 모델 기반 역할을 채택합니다:

매니저 (Manager): 고정된 사용자 의도( $\iota$ ), 캠페인 상태 및 단계 전환을 고정합니다. 운영 계약에 대한 실질적인 정교화를 승인합니다.
플래너 (Planner): 현재 상태를 경계가 있는 작업과 의존성으로 분해합니다.
엔지니어 (Engineer): 작업을 구현하고, 도구를 호출하며, 실험을 실행합니다. 저위험, 경계가 명확한 작업에 대해 자가 검토를 수행할 수 있습니다.
리뷰어 (Reviewer): 산물과 실행 기록을 독립적으로 검사합니다. 정책이나 요청에 따라 완료 판정(완료, 계속, 차단)을 내립니다.

이 역할들은 제어(Control)(스케줄링), 실행(Execution)(작업), 기록(Records)(불변의 이력)의 세 가지 평면에서 작동합니다.

2.2 검증 게이트 기반 지속성 및 자기 진화

Argus는 검증 게이트 기반 승인(verification-gated admission) 메커니즘을 도입합니다. 런타임 상태( $H_t$ )에는 메모리, 기술, 도구, 검증기 및 라우팅 정책이 포함됩니다.

고정 모델 진화: 기본 모델 가중치( $\theta$ )는 고정된 상태를 유지합니다. 진화는 오직 지속적인 상태와 제어 정책에서만 발생합니다.
승인 프로토콜: 후보 업데이트(메모리, 기술, 거부된 경로)는 다음 과정을 거친 후에만 재사용 가능해집니다:
1. 역할(예: 엔지니어)에 의한 생성.
2. 작업 고유의 증거 및 산물에 대한 검토.
3. 권한이 있는 소유자(예: 리뷰어 또는 매니저)의 확정(Commitment).
계약 정교화: 작업 계약은 스탠딩 인텐트(standing intent), 운영 목적, 제약 조건, 검증 기준을 나타내는 $K_t = (\iota, o_t, c_t, v_t)$ 로 모델링됩니다. 정교화는 증거( $e_t$ )와 권한( $u_t$ )을 요구하는 ManagerAdmit 연산자를 통해 승인되며, 이를 통해 피벗과 표류를 구분합니다.

2.3 프로세스-투-역량 이론 (Process-to-Capability Theory)

시스템은 프로세스 궤적을 최종 산물의 상위 집합으로 취급합니다. 시스템은 밀도 높은 지능 밀도( $\rho_I$ )를 단위 시간당 관련 추론, 효과적인 행동 및 유효한 검증의 비율로 정의합니다. 또한, 전체 프로세스 기록(실패한 브랜치 포함)을 보유하는 것이 최종 산물만을 보유하는 것보다 블랙웰 정보 순서(Blackwell information ordering) 측면에서 의사결정론적 이점을 제공하며, 이를 통해 미래의 미션이 막다른 길을 피하고 검증된 배제 사항을 활용할 수 있다고 상정합니다.

3. 주요 기여

본 논문은 일곱 가지 구체적인 기여를 설명합니다:

정형화: 장기적 관점에서 검증된 피벗을 위한 계약 모델( $K_t$ ) 및 ManagerAdmit 연산자.
런타임 설계: 계약 정교화가 역할별로 소유되고 기록되어, 안정적인 의도와 운영상의 변화를 분리하는 시스템.
리뷰어 라우팅 메트릭: 독립적인 리뷰어가 SWE-Bench Pro 작업의 63.7%에서 호출되며, 특정 복구율을 보인다는 경험적 데이터.
논문 작성 케이스 스터디: 640시간, 254개 미션에 걸친 6개 프로젝트 캠페인을 통해 롤백 및 부정적 결과 피벗을 포함한 엔드 투 엔드 연구 라이프사이클 관리 시연.
수학적 트레이스: 하나의 기각된 경로와 여섯 개의 증명 기반 업데이트를 유지하는 역할별 재구성된 수학적 캠페인.
벤치마크 성능: 최종 작업 성능을 희생하지 않으면서 역량을 확립하는 통합 평가.
업스트림 채택: Argus에 최적화된 RWKV6 커널이 업스트림 Flash Linear Attention 저장소에 병합됨.

4. 결과

4.1 벤치마크 성능

Argus는 일곱 개의 이질적인 아레나에서 평가되었습니다:

SWE-Bench Pro: Direct Copilot의 59% 대비 ~78%의 정확도를 달성 (1.41배의 총 토큰 사용).
AARRI-Bench: 연구 인턴 과제에서 68.3%의 레퍼런스 대비 76.8% 달성.
수학적 추론 데이터 합성: 28.0의 격차(pass@4 - pass@1)를 기록하여 레퍼런스(Arbor: 20.83, Claude: 8.33)를 능가함.
GPU 및 훈련: B200/H100 nanochat 훈련(0.9636 BPB vs 인간 최고 0.9646) 및 nanoGPT 스프린트(79.77s vs 인간 80.18s)에서 경쟁력 있는 결과 달성.
MLE-Bench Lite: 외부 검증을 통한 경쟁에서 9개의 메달(금 3, 은 3, 동 3) 획득.

4.2 종단적 효율성 (자기 진화)

SWE-Bench Pro 실행(731개 작업)에서 시스템은 검증 게이트 기반 런타임 자기 진화를 입증했습니다:

성숙 단계 vs 스타트업 단계: 성숙한 웨이브(W19–22)는 스타트업 웨이브(W1–6)에 비해 작업당 솔브 입력 토큰을 21% 적게 사용하고 활성 워크플로 시간을 15% 적게 사용했습니다.
리뷰어 복구: 리뷰어가 수정을 요청한 43개 작업 중 **34개(79.1%)**가 이후 공식 검증기를 통과했으며, **22개(51.2%)**가 엄격한 리뷰 루프 구조를 통해 완수되었습니다.
비단조성 (Non-Monotonicity): 궤적은 단조롭지 않았습니다. 어려운 작업 웨이브(W23–24)에서 자원 리바운드가 나타났으며, 시스템은 34회의 검증기 복구와 22회의 엄격한 구조를 기록하여 초기 실패로부터 회복하는 능력을 증명했습니다.

4.3 수직적 케이스 스터디

수학적 캠페인: 기각된 경로 하나와 여섯 개의 정리 프런티어 업데이트를 유지했습니다. 시스템은 실패한 축소(reduction)에서 증명 기반의 경계 강화(bound strengthening)로 성공적으로 피벗했습니다.
논문 제작: 6개 프로젝트가 제출 완료에 도달했습니다. 한 캠페인은 7번의 "no-go" 롤백 이후, 긍정적인 방법론 주장에서 4,500행 규모의 부정적 결과 진단 연구로 피벗했습니다.
하드웨어 (ACE-2): 런타임은 특정 범위(맵 합성, 정적 타이밍)에 대해 인증된 추론 가속기(Qwen2.5-0.5B W4A8)를 설계했으며, 명시적 제외 사항(전력 사인오프 및 실리콘 검증 제외)을 포함했습니다.
재료 과학: 런타임은 원래 비교에서의 혼란 변수를 식별하고 제거함으로써, 출판된 MOF 생성 방법을 단순화하고 더 효과적인 방법으로 개선했습니다.

5. 의의 및 주장

본 논문은 Argus가 모든 장기적 궤적을 성공 사례로 강요하지 않고도, 수정, 복구 및 검증된 접근 방식을 축적할 수 있는 일반적이고 자기 진화적인 하네스임을 보여준다고 주장합니다.

표류와의 구별: 상태 변경을 위해 증거 기반의 역할별 승인을 요구함으로써, 시스템은 합리적인 피벗과 실패의 합리화를 구분합니다.
데이터로서의 프로세스: 유지된 궤적은 향후 지도 학습 및 강화 학습을 위한 구조화된 데이터를 형성하며, 모델 출력과 구체적인 상태, 도구 및 리뷰 결정을 연결합니다.
제한된 범위: 저자들은 "자기 진화"가 고정된 모델(가중치가 아닌 상태 기반)임을 명시하며, 결과는 관찰적인 것임을 밝힙니다. 이들은 시스템이 범용 인공지능을 달성했거나 인간 연구자를 완전히 대체할 수 있다고 주장하지 않습니다. 시스템은 목표가 불분명할 때 무조건적으로 잘못된 목표를 향해 최적화하기보다, 사용자가 놓쳤을 수 있는 제약 사항을 드러내며 "멈추는" 도구로 제시됩니다.

결론적으로, 이 런타임은 광범위한 작업 능력, 미션 간의 검증된 축적, 그리고 지속적인 연구 전달을 성공적으로 결합하여, 고정된 계획이 아닌 검증을 통해 지속성과 피벗이 관리되는 새로운 장기 에이전트 시스템의 패러다임을 제공합니다.