기술 요약: 질문 답변에서 작업 완료로: 에이전트 시스템 및 하네스 설계에 관한 조사

1. 문제 정의

대규모 언어 모델(LLM) 기반 에이전트 분야는 수동적인 질문 답변(QA)에서 능동적이고 다단계적인 작업 완료로 전환되었습니다. 최첨단 모델들이 정적 벤치마크(예: MMLU, GPQA)에서는 포화 상태에 도달했으나, 상호작용적이고 장기적인(long-horizon) 에이전트 작업(예: SWE-bench, WebArena)에서는 상당한 신뢰성 격차를 보입니다. 본 조사에서 다루는 핵심 문제는 에이전트 시스템의 성능 병목 현상의 근원을 식별하는 것입니다. 저자들은 병목 현상이 더 이상 파운데이션 모델의 추론 능력에만 국한되지 않으며, 점차 실행 하네스(execution harness)—모델과 환경 사이의 상호작용을 중재하는 런타임 인프라—로 옮겨가고 있다고 주장합니다. 이 논문은 에이전트의 품질(성공, 효율성, 안전성, 일반화)이 모델 단독의 함수가 아니라, 모델과 그 하네스 간의 결합에서 나타나는 창발적 속성이라고 상정합니다.

2. 방법론 및 프레임워크

본 조사는 에이전트 엔지니어링의 진화를 분석하기 위해 **모델-하네스 렌즈(model–harness lens)**를 채택합니다. 새로운 알고리즘을 제안하는 대신, 특정 개념적 프레임워크를 통해 기존 문헌, 벤치마크 및 산업 보고서를 종합합니다.

• 기능적 관점 vs 구현적 관점: 본 논문은 에이전트의 기능적 정의(인식, 추론, 행동, 적응을 수행하는 목표 지향적 폐쇄 루프 시스템)와 구현적 관점(LLM과 실행 하네스가 결합된 형태)을 구분합니다.
• 형식적 분해: 실행 하네스($H$)를 다음의 여섯 가지 결합된 런타임 책임의 튜플로 공식화합니다:
  1. 관찰 인터페이스 ($I_{obs}$): 가공되지 않은 환경 신호(로그, DOM, diff)를 모델이 사용 가능한 관찰값으로 변환.
  2. 컨텍스트 관리자 ($C$): 모델의 컨텍스트 윈도우로 들어오는 정보를 큐레이션, 압축 및 갱신.
  3. 제어 루프 ($L$): 단계별 스케줄링, 위임, 중단 기준을 포함하여 관찰-추론-행동-피드백 주기를 조율.
  4. 행동 인터페이스 ($I_{act}$): 모델의 출력을 실행 가능한 작업(API, 쉘 명령, 도구 호출)으로 매핑.
  5. 상태 및 아티팩트 저장소 ($S$): 활성 컨텍스트 윈도우를 넘어 실행 상태, 계획, 체크포인트 및 생성된 아티팩트를 지속적으로 저장.
  6. 검증 및 거버넌스 ($V$): 결과를 확인하고, 안전 제약 조건을 강제하며, 권한을 관리하고, 복구/롤백을 처리.
• 진화적 분석: 문헌은 네 가지 순차적 에이전트 엔지니어링 패러다임으로 구성되며, 각 단계에서 지배적인 성능 레버가 어떻게 변화했는지 분석합니다:
  1. 프롬프트 엔지니어링: 단일 턴 지시문을 최적화 ( "표현" 문제 해결).
  2. 워크플로우 및 컨텍스트 엔지니어링: 정보 라이프사이클과 도구 정의를 큐레이션 ( "정보" 문제 해결).
  3. 하네스 엔지니어링: 피드백 기반 실행, 상태 지속성 및 에러 복구를 위한 런타임 인프라 설계 ( "실행" 문제 해결).
  4. 에이전트 네이티브 학습 및 공동 진화: 에이전트적 행동(계획, 검증)을 모델 파라미터 내부에 내재화하고 모델-하네스 쌍을 공동으로 진화시킴.

3. 주요 기여

본 조사는 이전 연구들과 세 가지 측면에서 차별화됩니다:

1. 진화 우선적 종합: 정적인 구성 요소 분류 대신, 프롬프트 최적화에서 런타임 시스템 설계 및 미래의 공동 진화로 이동하는 엔지니어링 병목 현상을 추적합니다.
2. 하네스 중심적 관점: 실행 하네스를 일급 기술 객체로 취급하여 이를 위의 여섯 가지 런타임 구성 요소로 분해합니다. 하네스 설계가 기본 모델이 고정되어 있더라도 신뢰성과 효율성을 결정한다고 주장합니다.
3. 경험적 증거 통합: 학술적 벤치마크와 산업적 관행을 연결하여, 런타임 설계 선택(예: 관찰 형성, 컨텍스트 관리)이 에이전트 성능에 직접적인 영향을 미친다는 것을 경험적 데이터를 통해 입증합니다.

구체적 기여:

• 모델 중심 스케일링의 한계: 모델 스케일링이 자원-성능 경계와 정적 벤치마크의 측정 포화로 인해 에이전트 작업에서 수확 체감의 법칙을 따르게 됨을 분석합니다.
• 태스크-하네스 매핑: 태스크의 특성(수평 범위, 환경 유형, 자율성 수준)을 특정 하네스 구성과 매핑합니다. 예를 들어, 소프트웨어 엔지니어링 태스크는 검증을 강조하는 반면, 웹/GUI 태스크는 관찰 및 행동 인터페이스를 강조합니다.
• 벤치마크 분석: SWE-bench, Terminal-Bench, WebArena에 대한 상세한 경험적 분석을 제공하여 다음을 입증합니다:
  • 동일한 백본 모델이라도 하네스에 따라 두 자릿수의 정확도 차이가 발생할 수 있음.
  • 인터페이스 설계가 최적화되어 있다면 최소한의 스캐폴드(예: mini-SWE-agent)가 복잡하고 기능이 풍부한 런타임의 성능에 근접하거나 이를 따라잡을 수 있음.
  • 벤더가 보고한 점수는 독점적인 하네스 최적화 덕분에 오픈 소스 결과보다 높은 경우가 많으며, 이는 "스캐폴드"의 중요성을 강조함.

4. 결과 및 발견

• 하네스 영향: SWE-bench Verified의 경험적 증거에 따르면, 고정된 모델(예: Claude 3.5 Sonnet)의 경우 하네스에 따라 해결률이 약 33%에서 53%까지 변동합니다. 마찬가지로 Terminal-Bench 2.0에서 동일한 모델(예: GPT-5.3-Codex)은 서로 다른 하네스에 따라 64.7%에서 78.4%까지 차이를 보입니다.
• 병목 현상의 이동: 태스크가 복잡해짐에 따라(L2 단기 수평에서 L4 개방형으로 이동), 병목 현상은 모델의 추론에서 상태 관리, 결과 검증 및 에러 복구 능력이라는 하네스의 역량으로 이동합니다.
• 비용 및 효율성: 높은 정확도는 종종 높은 자원 비용(토큰 사용량, 지연 시간, 타임아웃)과 상관관계가 있습니다. 논문은 "성공"이 재시도 예산 및 컨텍스트 정책을 포함한 런타임 구성에 조건적임을 명시합니다.
• 멀티 모델 및 학습 가능한 하네스: 최근 트렌드는 구성적 런타임(계획, 코딩, 검증을 위해 서로 다른 모델을 라우팅)과 런타임 정책이 아티팩트로 최적화되는 학습 가능한 하네스로의 이동을 보여줍니다.

5. 의의 및 주장

본 논문은 이 분야가 "프롬프트 기술"을 넘어 전체 시스템 연구로 이동했다고 주장합니다. 그 의의는 에이전트 개발을 재정의하는 데 있습니다:

• 에이전트 품질은 창발적임: 성공, 효율성, 안전성은 모델의 고유한 특성이 아니라 모델 역량, 런타임 인프라, 태스크 구조 및 평가 설계 간의 상호작용에서 나타납니다.
• 가치 인식 평가의 필요성: 저자들은 점수 중심의 리더보드에서 태스크 성공, 비용, 지연 시간, 안전성 및 프로세스 품질을 공동으로 최적화하는 **가치 인식 평가(value-aware evaluation)**로의 전환을 주장합니다. 이들은 비용, 지연 시간 및 리스크에 대한 제약 조건과 유틸리티 사이의 균형을 맞추는 공식적인 목적 함수를 제안합니다.
• 미래 방향: 본 조사는 검증 및 복구 행동이 모델 파라미터 내부에 내재화되는 **에이전트 네이티브 학습(Agent-Native Training)**과, 모델과 하네스가 실행 트레이스를 통해 공동으로 업데이트되는 **공동 진화(Co-Evolution)**로 가는 경로를 식별합니다. 다만, 모델 설계와 시스템 설계 사이의 경계가 여전히 재협상 중이며, 실제 환경에서의 신뢰성은 여전히 배포 요구 수준에 미치지 못한다는 점을 겸허히 언급합니다.

결론적으로, 본 조사는 실행 하네스를 이해하는 것이 이제 에이전트 엔지니어링의 핵심 과제라고 주장합니다. 왜냐하면 하네스가 모델의 능력을 신뢰할 수 있는 장기적 작업 완료로 어떻게 번역할지를 결정하기 때문입니다.