기술 요약: MemoHarness

문제 정의

LLM(대규모 언어 모델) 에이전트의 성능은 컨텍스트 구성, 도구 접근, 추론 오케스트레이션, 메모리 유지 및 출력 검증을 관리하는 외부 제어 계층인 **에이전트 하네스(agent harness)**에 크게 의존합니다. 실무자들의 경험에 따르면 하네스 설계는 작업 성공률을 수십 퍼센트 포인트까지 변화시킬 수 있지만, 현재의 자동화된 최적화 방법들은 전체 제어 계층보다는 좁은 범위의 산출물(예: 프롬프트, 파이프라인 또는 워크플로)에 집중하는 경향이 있습니다. 또한, 배포된 에이전트들은 대개 모든 케이스에 대해 단일한 정적 글로벌 하네스에 의依赖하며, 도메인, 모호성 또는 추론 깊이의 특정 변화에 적응하지 못합니다.

기존 방식들은 세 가지 주요 과제에 직면해 있습니다:

1. 고차원성 및 결합도: 하네스는 하나의 구성 요소(예: 검색)를 변경하면 다른 요소(예: 프롬프트 형식 또는 메모리 정책)에 영향을 미치는 복잡한 시스템입니다.
2. 약한 감독(Weak Supervision): 벤치마크 점수는 성공 또는 실패를 나타내지만, 어떤 하네스 차원이 실패를 유발했는지 또는 무엇을 미래의 케이스로 전이해야 하는지에 대한 진단을 제공하지 못합니다.
3. 테스트 타임 적응 격차(Test-Time Adaptation Gap): 배포된 에이전트는 새로운 라벨, 피드백 또는 새로운 탐색 실행을 요구하지 않고도 특정으로 들어오는 케이스에 맞춰 자신의 하네스를 전문화하는 능력이 부족합니다.

방법론: MemoHarness

MemoHarness는 에이전트 하네스를 최적화하기 위해 자신의 실행으로부터 학습하는 적응형 프레임워크입니다. 이는 **훈련 시 탐색(Training-Time Search)**과 **테스트 시 케이스 적응(Test-Time Case Adaptation)**의 두 단계로 작동합니다.

1. 6차원 하네스 공간

MemoHarness는 하네스를 단일한 프롬프트로 취급하는 대신, 추론의 시간적 흐름에 따라 6개의 편집 가능한 제어 차원으로 분해합니다:

• D1 컨텍스트 조립(Context Assembly): 모델 입력(지침, 제약 조건, 검색된 자료)의 구성.
• D2 도구 상호작용(Tool Interaction): 외부 도구 또는 리트리버를 호출하는 시점과 방식에 대한 제어.
• D3 생성 제어(Generation Control): 디코딩 파라미터(샘플링, 토큰 예산).
• D4 오케스트레이션(Orchestration): 워크플로 토폴로지(호출 및 추론 단계의 순서).
• D5 메모리 관리(Memory Management): 호출 간의 상태 지속성 및 컨텍스트 프루닝(pruning).
• D6 출력 처리(Output Processing): 원시 모델 출력의 후처리 및 검증.

2. 이중 계층 경험 뱅크(Dual-Layer Experience Bank)

탐색 단계 동안, MemoHarness는 구조화된 경험 뱅크($B_t = \{E_t, G_t\}$)를 축적합니다:

• 케이스별 항목 ($E_t$): 실행 궤적, 보상, 비용 및 각 케이스에 대한 **진단(diagnosis)**을 기록합니다. 진단은 주요 실패 차원, 부차적 기여 차원 및 자연어 분석을 식별합니다.
• 글로벌 패턴 ($G_t$): 실패 클러스터로부터 추출된 이 패턴들은 반복되는 현상, 뒷받침되는 증거, 그리고 목표로 하는 하네스 변경의 예상 효과를 포착합니다.

3. 훈련 시 최적화

시스템은 최소한의 하네스에서 시작하여 6차원 공간에 대해 가이드된 탐색을 수행합니다.

• 정확성 우선 선택: 기본 목표는 작업 보상(정확성)을 극대화하는 것입니다. 실행 비용(토큰 사용량)은 보조적인 타이브레이커(tiebreaker) 역할만 합니다.
• 반복적 정교화: 컨트롤러는 경험 뱅크에서 검색된 증거를 기반으로 새로운 하네스 구성을 제안합니다. 탐색은 $T$번의 반복 동안 실행되며, 단순한 스칼라 점수가 아닌 진단 지식을 축적합니다.

4. 테스트 시 케이스 적응

추론 시, 시스템은 새로운 탐색을 수행하지 않습니다. 대신, 학습된 글로벌 하네스($W^*$)를 특정 테스트 케이스($x_j$)에 적응시킵니다:

• 검색(Retrieval): 시스템은 케이스 특징 및 지침 유사성을 기반으로 동결된 경험 뱅크로부터 유사한 과거 케이스(성공 및 실패 모두)와 관련 글로벌 패턴을 검색합니다.
• 적응(Adaptation): 컨트롤러는 검색된 증거를 사용하여 글로벌 하네스를 케이스 특화 하네스($W(x_j)$)로 매핑합니다.
• 실행(Execution): 적응된 하네스가 실행되어 최종 출력을 생성합니다. 테스트 타임 피드백이나 그래디언트 업데이트는 사용되지 않습니다.

주요 기여

1. 구조화된 하네스 최적화: 단일한 하네스를 6개의 분리 가능한 제어 표면과 이중 계층 경험 뱅크로 분해하여, 탐색이 재사용 가능한 진단 지식을 축적할 수 있게 하는 프레임워크.
2. 테스트 타임 적응 메커니즘: 검색된 경험을 사용하여 개별 테스트 케이스에 대해 학습된 글로벌 하네스를 적응시키는 방법으로, 테스트 타임의 라벨이나 피드백 없이 작동함.
3. 경험적 검증: 인도메인(in-domain), 교차 데이터셋, 교차 모델 평가에서 향상된 작업 성공률을 입증하는 결과.

실험 결과

저자들은 Terminal-Bench(쉘 도구), LiveCodeBench(코드 생성), FinanceAgent(분석적 추론)의 세 가지 벤치마크에서 MemoHarness를 평가했습니다.

• 작업 성공률 (RQ1): Terminal-Bench에서 MemoHarness는 평균 성공률 0.806을 달 기록하며, 가장 강력한 고정 하네스 베이스라인인 Codex(0.722)를 능가했습니다.
• 탐색 진화 (RQ2): 하네스 품질은 반복에 따라 개선되었으며, 베이스 하네스에서 개선 여지가 컸던 장기 호라이즌(long-horizon) 작업(FinanceAgent)에서 가장 유의미한 이득이 관찰되었습니다.
• 교차 데이터셋 전이 (RQ3): 학습된 하네스는 미학습 평가 세트에 대해 **선택적 전이(selective transfer)**를 보여주었습니다. 예를 들어, Terminal-Bench에서 학습된 하네스는 MMMLU, StrongReject, SWE-Bench Pro의 성능을 향상시켰으나, 모든 세트에서 균일한 이득이 나타나지는 않았습니다.
• 교차 모델 전이 (RQ4): GPT-5.3-Codex를 사용하여 학습된 하네스를 재학습 없이 6개의 다른 모델에 적용했습니다. 모든 모델이 성능 향상을 보였으며, 전체적으로 +0.098의 평균 이득을 기록하여 학습된 제어 정책이 이식 가능하다는 것을 시사했습니다.
• 비용 효율성 (RQ5): MemoHarness는 추가적인 컨텍스트를 검색하지만, 이 입력의 대부분은 캐싱 가능합니다. 평가 결과, 캐싱 가정이 성립한다는 전제하에 MemoHarness는 Codex 및 Claude Code보다 더 낮은 총 달러 비용($6.89 vs. $10.28 및$9.51)으로 더 높은 정확도를 달성했습니다.

의의 및 주장

본 논문은 실행 경험이 더 적응적인 단일 정적 구성보다 더 나은 에이전트 하네스를 구축하기 위한 **실질적인 기질(substrate)**임을 상정합니다. MemoHarness는 LLM을 둘러싼 제어 계층이 엔드 투 엔드 성능을 개선하기 위해 최적화될 수 있음을 입증하며, 이는 모델 스케일링 및 수동 엔지니어링에 대한 실질적인 보완재 역할을 합니다.

저자들은 적응형 하네스의 효능에 대한 증거를 제공하면서도, 통계적 견고성 및 상세한 구성 요소 귀속에 관한 광범위한 주장은 향후 연구 과제로 남겨두고 있음을 명시적으로 밝힙니다. 그들은 관찰된 이득이 보편적이기보다는 선택적이며, 프레임워크가 비용 경쟁력을 유지하기 위해 검색된 경험이 효과적으로 캐싱될 수 있다는 가정에 의존하고 있음을 강조합니다.