The Horizon Gap: Planning, Memory, Execution, Training, and Evaluation for Long-Horizon LLM Agents
이 논문은 '호라이즌 갭(horizon gap)'을 다단계 과업에서 프런티어 언어 모델이 보이는 실패로 정의하고, 1,547개의 최근 연구를 조사하여 과업, 모델, 그리고 시스템의 속성을 구분하며, 과업의 호라이즌이 길어짐에 따라 결과 기반 피드백의 정보력이 감소하는 것에 대한 필연적인 대응으로서 단계별 신호의 밀도를 높이는 방향으로의 분야의 변화를 주장한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
장거리 문제: AI가 길을 잃을 때
당신이 아주 똑똑하고 매우 빠른 로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 만약 한 문장을 써달라고 요청한다면, 로봇은 순식간에 완벽하게 해낼 것입니다. 하지만 만약 소설 한 권을 쓰거나, 몇 시간이 걸리는 복잡한 프로젝트를 관리해 달라고 요청한다면 어떻게 될까요? 이것이 바로 AI 에이전트의 세계입니다. 단순히 질문 하나에 답하는 단순한 챗봇과 달리, 에이전트는 생각하고, 행동하고(버튼을 클릭하거나 코드를 작성하는 등), 결과를 보고, 그다음 무엇을 할지 결정할 수 있는 로봇입니다. 마치 디지털 직원과 같습니다.
과학자들이 현재 직면한 큰 과제는 바로 '지평선(horizon)'입니다. 일상적인 용어로 지평선이란 얼마나 멀리 내다봐야 하는지를 의미합니다. 짧은 지평선은 피자를 주문하는 것과 같습니다. 전화를 하면 배달이 오고, 당신은 먹기만 하면 됩니다. 긴 지파선은 집을 짓는 것과 같습니다. 기초를 다지고, 벽을 세우고, 지붕을 얹고, 페인트를 칠해야 하며, 이 모든 과정 동안 3일 전에 무엇을 했는지 기억해야 합니다. 문제는 아무리 똑똑한 AI 모델이라도 어려운 수학 문제를 즉시 풀 수는 있지만, 작업이 길어지면 종종 길을 잃는다는 점입니다. 이들은 이전의 결정을 잊어버리거나, 일이 절반밖에 끝나지 않았는데도 작업을 완료했다고 선언하거나, 조용히 목표에서 벗어나기도 합니다. AI가 한 번의 빠른 단계에서 할 수 있는 능력과 긴 시간 동안 신뢰성 있게 완수할 수 있는 능력 사이의 이 간극을 **'지평선 격차(Horizon Gap)'**라고 부릅니다. 이 격차를 어떻게 해결할지 이해하는 것은 매우 중요합니다. 왜냐하면 우리가 AI가 몇 시간 또는 며칠이 걸리는 실제 업무를 돕기를 원한다면, 왜 실패하는지, 그리고 어떻게 실패를 막을 수 있는지 알아야 하기 때문입니다.
위대한 AI 로드 트립: 지평선 격차 해결하기
이 논문에서 저자들은 2024년에서 2026년 사이에 발표된 1,500편 이상의 연구 논문을 검토한 거대한 탐정 팀처럼 행동합니다. 그들의 임무는 무엇이었을까요? 바로 AI 에이전트가 왜 긴 여행 중에 길을 잃는지, 그리고 연구자들이 이를 해결하기 위해 무엇을 하려 하는지를 정확히 파악하는 것이었습니다. 그들은 모델의 단일 단계 지능과 긴 작업을 완수하는 능력 사이의 거리를 **"지평선 격차(Horizon Gap)"**라고 부릅니다.
혼란을 정리하기 위해, 저자들은 먼저 사람들이 자동차의 엔진과 연료 탱크를 혼동하는 것처럼 자주 섞어서 사용하는 세 가지 단어를 구분해야 했습니다.
- 장기 지평선(Long-Horizon): 이것은 작업에 관한 것입니다. 이는 도로 여행처럼 많은 단계가 필요한 작업을 의미합니다.
- 긴 컨텍스트(Long-Context): 이것은 모델의 뇌에 관한 것입니다. AI가 한 번에 머릿속에 담을 수 있는 정보의 양입니다.
- 장기 기억(Long-Term Memory): 이것은 시스템의 노트에 관한 것입니다. 현재의 "대화"가 끝난 후에도 어제의 일을 오늘 사용하기 위해 기억할 수 있는지에 대한 것입니다.
논문은 당신이 아주 긴 노트(기억)를 가질 수도 있지만 짧은 뇌(컨텍스트)를 가질 수도 있고, 거대한 뇌를 가졌지만 노트는 전혀 없을 수도 있다고 주장합니다. 이것들은 서로 다른 문제이며 서로 다른 해결책이 필요합니다.
저자들은 발견한 내용을 다음과 같이 작업의 시작부터 끝까지의 과정을 추적하는 6개의 주요 장으로 정리했습니다.
1. 계획: 지도 vs 나침반
AI가 긴 작업을 시작할 때, 계획이 필요합니다. 어떤 연구자들은 움직이기 전에 전체 여정에 대한 완벽한 지도를 만들려고 노력합니다. 하지만 논문은 이것이 종종 실패한다고 말합니다. 세상은 예측 불가능하기 때문입니다. 만약 미리 전체 로드 트립을 계획한다면, 몰랐던 교통 체증에 갇힐 수 있습니다. 트렌드는 교차 실행(interleaving), 즉 한 단계를 밟고 주변을 살핀 다음 다음 단계를 계획하는 방향으로 이동하고 있습니다. 이는 고정된 지도 대신 나침반을 가지고 운전하는 것과 같습니다. 진행하면서 조정하는 것입니다.
2. 기억: 배낭 vs 도서관
AI가 더 많은 단계를 밟을수록, 많은 정보를 생성하게 됩니다. 만약 모든 것을 즉각적인 뇌(컨텍스트)에 담으려 한다면, 결국 공간이 부족해지거나 이야기의 앞부분을 잊어버리게 됩니다. 논문은 대부분의 연구자가 이제 AI가 필요할 때 노트를 꺼내 쓸 수 있는 외부 도서관(배낭이나 서류 캐비닛 같은)을 구축하고 있음을 보여줍니다. 하지만 함정이 있습니다. 만약 도서관이 너무 엉망이 되면, AI가 잘못된 노트를 꺼내거나 오래된 노트를 업데이트하는 것을 잊을 수 있습니다. 논문은 도서관을 유용하게 유지하기 위해 '망각'이 버그가 아닌 기능이 될 수도 있다고 제안합니다.
3. 실행: 안전망
이 부분은 AI가 실제로 작업을 수행하는 단계입니다. 논문은 성공의 비결이 단순히 더 똑똑한 AI 모델을 갖는 것이 아니라, 더 나은 하네스(harness, 외구/장치)(모델을 감싸고 있는 소프트웨어 래퍼)를 갖는 데 있다는 것을 발견했습니다. 모델을 엔진이라고 한다면, 하네스는 자동차의 서스펜션과 브레이크와 같습니다. 엔진이 멈추더라도, 좋은 하네스는 이를 잡아내고, 수정하고, 차가 계속 움직이도록 합니다. 연구에 따르면, 단순히 AI가 실수하지 않기를 바라는 시스템보다, 실수를 인지하고 즉시 수정하는 방법인 강력한 "복구(recovery)" 로직을 가진 시스템이 긴 작업에 훨씬 더 효과적입니다입니다.
4. 훈련: 매 단계로부터 배우기
보통 우리는 작업의 맨 마지막에 점수를 주는 방식으로 AI를 훈련시킵니다(마치 기말고사에서 A나 F를 받는 것처럼). 하지만 긴 작업의 경우, 끝날 때까지 기다렸다가 "너는 실패했다"라고 말하는 것은 너무 늦습니다. 논문은 **과정 보상(process rewards)**으로의 전환을 강조합니다. 결과에 대해서만 점수를 매기는 대신, 연구자들은 AI가 밟는 모든 단계에 대해 피드백을 주려고 노력하고 있습니다. 이는 시즌이 끝난 후에만 팁을 주는 코치가 아니라, 연습 중에 팁을 주는 코치와 같습니다. 이는 AI가 단순히 '정답이 무엇인지'가 아니라 '어떻게 더 잘할 수 있는지'를 배우도록 돕습니다.
5. 평가: 우리가 올바른 것을 측정하고 있는가?
여기서 논문은 비판적인 시각을 드러냅니다. 저자들은 우리가 AI가 긴 작업에 능숙한지 확인하기 위해 사용하는 많은 테스트가 고장 났다고 지적합니다. 예를 들어, 어떤 테스트는 코드가 실제로 틀렸음에도 불구하고, 단순히 간단한 테스트를 통과하는 패치를 찾아냈다는 이유로 AI가 코딩 문제를 "해결했다"고 말할 수 있습니다. 논문은 최종 점수(합격/불합격)만 볼 것이 아니라, AI가 거친 전체 **궤적(trajectory)**을 보기 시작해야 한다고 주장합니다. 길을 잃었나요? 회복했나요? 목표에서 벗어났나요? 논문은 현재의 많은 "성공" 점수가 약한 테스트나 AI가 정답을 암기함으로 인해 발생한 환상일 수 있다고 제안합니다.
6. 토대: 왜 모든 것이 무너지는가?
마지막으로, 논문은 이론을 살펴봅니다. 오류는 단순히 직선적으로 쌓이는 것이 아니라고 제안합니다. 때때로 AI는 오랫동안 괜찮게 작동하다가 갑자기 "멜트다운(mel meltdown)"과 함께 무너집니다. 또 어떤 때는 아무도 모르게 조용히 목표를 변경(목표 표류, goal drift)하기도 합니다. 저자들은 우리가 언제, 왜 이러한 실패가 발생하는지 정확히 예측할 수 있는 완벽한 이론을 아직 가지고 있지 않음을 인정합니다. 우리는 그것들이 일어난다는 것은 알지만, '언제' 일어날지를 예측하는 것은 여전히 미스터리입니다.
핵심 요약
이 논문이 제안하는 가장 중요한 점은 "하네스"(우리가 AI 주변에 구축하는 도구와 안전망)가 AI 모델 자체만큼이나 중요할 수 있다는 것입니다. 나쁜 하네스를 가진 똑똑한 모델은 긴 작업에서 실패할 것이고, 훌는 하네스를 가진 괜찮은 모델은 성공할 수 있습니다.
저자들은 또한 숨겨진 함정인 **상관 관계 측정 편향(Correlated Measurement Bias)**에 대해 경고합니다. 이것은 우리가 AI를 훈련시키는 데 사용하는 것과 동일한 종류의 "좋은 단계" 신호를 테스트에도 사용할 경우, 우리 자신을 속일 수 있다는 뜻입니다. 이는 학생이 선생님이 시험에 낼 연습 문제만을 공부하여, 시험 점수는 만점을 받지만 실제로는 과목을 이해하지 못한 상태와 같습니다.
요약하자면, 이 논문은 우리가 장기 지평선 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 전장의 지도를 그려주고 있습니다. 미래의 AI는 단순히 더 큰 뇌를 만드는 것이 아니라, 더 나은 배낭, 더 나은 지도, 더 나은 안전망, 그리고 AI가 실제로 단계별로 잘 수행하고 있는지 측정하는 더 나은 방법을 구축하는 것에 달려 있다는 것을 알려줍니다. 여정은 길고, AI는 여전히 넘어지지 않고 걷는 법을 배우고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.