기술 요약: 프롬프트에서 하네스까지: 밑바닥부터 만드는 Coderlet

문제 정의

프로그래밍 에이전트에 관한 기존 문헌들은 에이전트의 행동을 제어하는 근본적인 메커니즘을 모호하게 다루는 경우가 많다. 소규모 데모에서는 대개 모델과 한두 개의 도구 사이의 단순한 루프로 에이전트 상호작용을 축소하여 보여주지만, 실제 프로덕션 시스템은 이러한 관계를 복잡하고 불투명한 구성 요소들로 분산시킨다. 이러한 복잡성은 모델의 생성이 어떻게 환경적 행동으로 변환되는지, 피드백이 어떻게 후속 결정에 통합되는지, 그리고 요청 전반에 걸쳐 상태가 어떻게 지속되는지를 조사하는 것을 어렵게 만든다. 모델 서비스, 도구 실행, 그리고 지속적 상태 사이의 경계를 명확히 구분하는 압축적이고 명시적인 설계가 부족하며, 이로 인해 컨텍스트를 구성하고, 호출을 검증하며, 액션을 디스패치하고, 히스토리를 관리하는 제어 계층인 '하네스(harness)'를 이해하는 것이 어렵다.

방법론

본 논문은 밑바닥부터 구현된 압축적인 하네스를 도입하는 실행 가능한 아티팩트이자 설계 프레임워크인 Coderlet을 소개한다. 방법론은 단일 사용자-에이전트 세션의 요청 라이프사이클에 초점을 맞추며, 명확한 제어 흐름을 유지하기 위해 요청을 순차적으로 처리한다. 설계는 세 개의 뚜렷한 경계와 5단계의 요청 라이프사이클로 구조화되어 있다.

1. 세 가지 경계

아키텍처는 관심사를 세 가지 리소스 도메인으로 분리한다:

• 모델 경계 (Model Boundary): 서비스 상호작용을 처리한다. 하네스는 컨텍스트와 도구 설명을 인코딩하여 모델로 보내고, 응답을 텍스트 및 구조화된 도구 호출로 디코딩한다.
• 실행 경계 (Execution Boundary): 도구 환경(파일, 프로세스, 서비스)을 관리한다. 스키마에 따라 제안된 도구 호출을 검증하고, 유효한 호출을 디스패치하며, 도구 결과(값 또는 예상되는 에러)를 캡처한다.
• 상태 경계 (State Boundary): 지속적인 저장을 관리한다. 컨텍스트 구성을 위한 히스토리/메모리 로딩을 처리하고, 세션 전반의 연속성을 보장하기 위해 요청 기록을 저장한다.

2. 요청 라이프사이클

단일 요청은 다섯 가지 관찰 가능한 지점을 통과한다:

1. 준비 (Preparation): 하네스는 입력을 읽고, 관련 히스토리를 선택하며, 도구 설명을 로드하고, 모델 컨텍스트를 조립한다.
2. 모델 결정 (Model Decision): 모델이 콘텐츠 또는 도구 호출을 제안한다. 하네스는 처리를 시작하기 전 모델의 완전한 응답을 기다린다.
3. 검증 및 디스패치 (Validation & Dispatch): 하네스는 응답을 디코딩하고, 호출 식별자를 확인하며, 도구 이름과 인자 형태를 검증한다.
   • 유효하지 않은 호출은 즉시 거부되며, 환경을 변경하지 않고 거부 관찰(rejection observation)을 생성한다.
   • 유효한 호출은 실행 단계로 진행된다.
4. 관찰 반환 (Observation Return): 도구 환경이 액션을 실행한다. 하네스는 결과를 기원하는 호출(originating call)에 바인딩하여, 다음 모델 컨텍스트에 포함될 관찰(observation)을 형성한다.
5. 상태 지속 (State Continuation): 하네스는 요청 기록(지침, 액션, 관찰 포함)을 조립하고 저장한다. 성공적인 저장 후에만 호출자에게 완료 알림을 보낸다.

3. 부트스트래핑 메커니즘

이 설계는 하네스가 자신의 도구를 사용하여 자신의 구현을 조사, 수정 및 테스트하는 "지속적인 부트스트래핑(continued bootstrapping)"을 지원한다. 에이전트에게 컨텍스트 규칙, 도구 인터페이스 및 제어 흐름을 노출함으로써, 시스템은 여러 실행에 걸쳐 자신의 메커니즘을 반복적으로 정교화할 수 있다.

주요 기여

• 명시적 하네스 설계: 본 논문은 모델 생성과 환경적 행동 사이를 연결하는 제어 계층의 명확하고 최소한의 구현을 제공하여, '무엇'(모델 출력)과 '어떻게'(실행 및 상태 관리)를 분리한다.
• 경계 정의: 모델, 실행, 상태의 경계를 공식적으로 정의하여 특정 전이(예: 검증, 지속성)가 발생하는 지점을 명확히 한다. 이러한 분리는 디버깅을 국소화한다. 예를 들어, 지침이 누락된 경우 컨텍스트 구성을, 환경적 효과가 누락된 경우 검증 또는 디스패치를 점검하게 한다.
• 추적 가능성 및 복구: 모든 단계(제안, 실행, 관찰, 기록)가 별도로 증거를 남기도록 설계되었다. 이를 통해 정밀한 실패 분석과 복구가 가능하다. 예를 들어, 도구 실행 후 저장이 실패하면 시스템은 관찰 내용을 보존하고 저장 실패를 전체 시스템 실패가 아닌 상태 계층의 문제로 취급한다.
• 컨텍스트 관리 규칙: 컨텍스트 선택을 위한 설계 규칙을 수립하며, 축소된 컨텍스트도 해석 가능성을 유지해야 함을 강조한다. 또한 관찰과 이를 생성한 호출 간의 연결을 보존하고, 압축된 자료에는 요약임을 라벨링하여 모델을 오도하지 않도록 규정한다.

결과 및 주장

본 논문은 작업 성공률이나 성능 지표에 대해 다른 에이전트와 비교하는 경험적 벤치마크를 제시하지 않는다. 대신, 그 "결과"는 건축적이고 개념적이다:

• 가시성 (Visibility): 설계는 요청 흐름을 가시화하는 데 성공하였으며, 최소한의 하네스가 복잡한 프로덕션 시스템의 불투명성 없이 어떻게 컨텍스트, 도구 디스패치 및 상태를 관리할 수 있는지 입증한다.
• 견고성 (Robustness): 경계의 분리는 부분적 실패(예: 도구는 실행되었으나 저장이 실패한 경우)가 상호작용 히스토리를 손상시키지 않도록 보장하여 명확한 복구 지점을 제공한다.
• 부트스트래핑 가능성 (Bootstrapping Feasibility): 논문은 압축된 루프가 자기 개선을 위한 시드(seed) 역할을 할 수 있음을 보여준다. 즉, 에이전트가 자신의 도구를 사용하여 하네스의 메커니즘을 수정할 수 있다.

의의

이 연구의 의의는 새로운 추론 알고리즘이나 메모리 방법을 제안하는 것이 아니라, 에이전트의 런타임 구조에 초점을 맞추고 있다는 점에 있다. 저자는 하네스가 고립된 모델 응답을 환경과의 지속적인 상호작용으로 바꾸는 핵심 구성 요소라고 주장한다.

하네스를 "제어 계층"으로 취급함으로써, 본 논문은 다음을 위한 실질적인 프레임워크를 제공한다:

1. 가독성 (Legality): 제안, 실행, 관찰을 분리하여 런타임 트레이스를 읽을 수 있게 만든다.
2. 복구 (Recovery): 특정 단계에서 발생한 실패에 대한 구체적인 복구 시작점을 제공한다.
3. 점진적 확장 (Gradual Extension): 에이전트가 전체적인 아키텍처 개편 없이 부트스트래핑을 통해 자신의 조직적 메커니즘을 반복적으로 개선할 수 있는 "시드 시스템"을 제공한다.

결론적으로, 이 설계는 풀 프로덕션 시스템과 동등한 기능이나 성능을 주장하지는 않지만, 에이전트의 행동을 정의하는 제어 계층을 이해하고 구축하기 위한 기초적이고 검사 가능한 접근 방식을 제공한다.