기술 요약: 범주적 아키텍처로서의 하네스 엔지니어링

1. 문제 제기

대형 언어 모델 (LLM) 을 둘러싼 프롬프트, 도구, 메모리, 그리고 오케스트레이션 로직으로 구성된 시스템 계층인'에이전트 하네스 (agent harnesses)'의 엔지니어링은 에이전트의 신뢰성을 결정하는 주요 요인이 되었습니다. 그러나 현재 하네스 설계는 여전히 **임의적 (ad hoc)**이며, 구성에 대한 형식적 이론, 컴파일 하에서의 속성 보존, 또는 프레임워크 간 체계적 비교에 대한 이론이 부재합니다. 실무자들은 구조적 보장 대신 시행착오에 의존하며, 이로 인해 엔지니어는 형식적 검증 없이 구축하고 이론가는 실용적 토대 없이 형식화하는 간극이 발생합니다.

2. 방법론

본 논문은 두 가지 기존 프레임워크의 형식적 통합을 제안합니다:

1. 외부화 기둥 (Zhou 등): 메모리, 기술 (Skills), 프로토콜, 그리고 하네스 엔지니어링.
2. ArchAgents 범주 (De los Riscos 등): 구문적 와이어링, 구조적 지식, 그리고 배포 맵을 나타내는 아키텍처 삼중체 $(G, Know, \Phi)$.

핵심 방법론은 네 가지 외부화 기둥을 아키텍처 삼중체의 구성 요소에 직접 매핑하는 것을 포함합니다:

• 메모리 $\rightarrow$ 코대수적 상태 (Coalgebraic State): 업데이트 규칙을 가진 동적 시스템으로 모델링 (예: 유효 시간 대 기록 시간을 추적하는 이중 시간 메모리).
• 기술 (Skills) $\rightarrow$ Operad-구성 객체: 유형화된 구성이 속성을 보존하도록 연산자 (operad) 를 통해 구성되는 절차적 능력 (직렬, 병렬, 추적 작업).
• 프로토콜 $\rightarrow$ 구문적 와이어링 ($G$): 유형화된 포트와 무결성 레이블 (렌즈, 프리즘, 이동) 을 가진 모듈의 그래프.
• 하네스 $\rightarrow$ 완전한 아키텍처 $(G, Know, \Phi)$: 구조적 보장이 Know-레벨 증명서로 인코딩된 완전한 시스템.

핵심 메커니즘: 증명서 보존
본 논문은 구조적 보장을 증명서 $(\tau, \sigma, evds)$—정리, 매개변수 매핑, 그리고 재생 가능한 증거—로 정의합니다. 프레임워크 간의 컴파일러 (준동사) 는 이러한 증명서를 보존할 때만 유효합니다. 보존은 모델 출력의 정확성을 확인함으로써가 아니라 구조적 재생을 통해 검증됩니다: 정리, 매개변수, 그리고 증거가 컴파일을 견디고 대상 프레임워크에서 기계적으로 재검증될 수 있도록 보장하는 것입니다.

3. 주요 기여

• 형식적 대응: 에이전트 외부화의 네 가지 기둥이 범주적 아키텍처 삼중체에 정밀하게 매핑됨을 확립하여 하네스 엔지니어링을 위한 수학적 기초를 제공합니다.
• 증명서 보존 불변성: 구조적 보장 (예: 무결성 게이트, 품질 기반 에스컬레이션) 을 기본 모델이나 프레임워크와 무관한 재생 가능한 산물로 취급하는 메커니즘을 도입합니다.
• 참조 구현 (Operon): 다음을 특징으로 하는 구체적인 구현:
  • Swarms, DeerFlow, Ralph, Scion, LangGraph를 대상으로 하는 다섯 개의 컴파일러 펑터.
  • 하네스 로직의 재구현 없이 가시성을 유지하면서 각 단계마다 하나의 노드를 생성하고 네이티브 run_single_stage() 메서드를 호출하는 LangGraph 컴파일러.
  • Ma 등의 다섯 가지 코딩 기술을 기반으로 하며, 연산자 구성에 매핑된 원자적 기술 카탈로그.
• 실증적 검증:
  • 컴파일러 검증: 세 가지 명명된 증명서 유형 (우선순위 게이팅, 오작동 방지, 진동 방지) 이 다섯 개의 컴파일러 대상 모두에서 100% 동일성과 검증을 통해 보존됨을 입증했습니다.
  • 모델 매개변수성: 검증자 점수에 따라 빠른 모델에서 깊은 모델로 에스컬레이션하는 품질 기반 제어 경로가 특정 모델과 무관하게 올바르게 작동함을 보여주는 에스컬레이션 실험을 통해, 하네스가 모델에 독립적임을 확인했습니다.

4. 결과

• 구조적 보존: 다섯 가지 다른 오케스트레이션 프레임워크 전반에 걸쳐 컴파일러 펑터가 그래프 구조와 증명서 불변성을 성공적으로 보존했습니다. 구조적 보장은 특정 그래프 위상이 아닌 보존된 후크와 매개변수에 의존하기 때문에 컴파일을 견딜 수 있었습니다.
• 에스컬레이션 제어: 두 모델, 한 작업 실험에서 품질이 임계값 아래로 떨어졌을 때 Phi-3 Mini(빠름) 에서 Gemma 4(깊음) 모델로 전환하는 품질 기반 에스컬레이션 메커니즘이 성공적으로 발동되었습니다. 이는 제어 로직이 모델이 아닌 하네스 구조 ($Know$) 에 있음을 확인시켰습니다.
• SWE-bench-lite 의 한계 (부정적 결과):
  • 8B 파라미터 모델 (Gemma 4 및 DeepSeek-R1 증류) 을 사용한 SWE-bench-lite 실험은 형식 규율의 천장을 드러냈습니다.
  • 근거 제공 (저장소 컨텍스트 제공) 과 형식 수정 재시도 루프에도 불구하고 0/30의 제출이 해결되었습니다.
  • 지배적인 실패 모드는 파일 선택 오류가 아닌 유효한 git apply 호환 diff 생성의 불가능성 (예: 빈 추출, 잘못된 hunck 헤더) 이었습니다.
  • 논문은 8B 규모에서 모델이 올바른 diff 형식을 생성하는 능력이 구속 조건이며, 3 단계 분해가 이 구속 조건을 완화하지 않는다고 결론지었습니다. 이 맥락에서 하네스의 가치는 보존과 원시적 재사용에 국한되며, 이러한 모델 크기와 특정 벤치마크에서의 작업 해결 향상과는 무관합니다.

5. 중요성과 주장

본 논문은 범주적 아키텍처가 하네스 엔지니어링 뒤의 형식적 이론이라고 주장합니다. 그 중요성은 다음과 같습니다:

1. 추상화의 전환: 형식적 보장을 갖춘'모델 중심'에서'하네스 중심'설계로 초점을 이동시킵니다.
2. 이식성: 구조 보존 준동사를 통해 서로 다른 소프트웨어 프레임워크 (예: 커스텀'생물체'에서 LangGraph 로) 간에 구조적 보장이 보존될 수 있음을 입증합니다.
3. 모델 독립성: 구조적 증명서 (Know) 가 배포 맵 ($\Phi$) 과 구별됨을 보여줌으로써, 동일한 하네스 로직이 무결성 속성을 잃지 않고 다른 모델에서 실행될 수 있음을 입증합니다.

저자들은 결과에 대해 겸손하게 명시합니다: 입증된 가치는 보존(컴파일러 간 증명서 동일성) 과 원시적 재사용(에스컬레이션 로직) 에 있으며, 현재 8B 로컬 모델로 SWE-bench-lite 에서 우수한 작업 해결을 달성하는 데에는 있지 않습니다. 이 작업은 하네스 속성을 정의하고 검증하기 위한 어휘와 도구 세트를 제공함으로써 이론적 범주 이론과 실용적 에이전트 엔지니어링 간의 간극을 메웁니다.