🤖 machine learning

Adaptive Auto-Harness: Sustained Self-Improvement for Agentic System Deployment on Open-Ended Task Streams

이 논문은 성능 격차를 진화 및 적응 손실로 분해하고, 상태 유지 멀티 에이전트 진화기(stateful multi-agent evolver), 해결 시간 라우팅을 갖춘 하네스 트리(harness tree), 그리고 인간 유도 훅(human-steering hooks)을 활용하여 동적이고 이질적인 작업에서 기존 베이스라인을 능가하도록 설계된, 개방형 작업 스트림 내 LLM 에이전트의 지속적인 자기 개선을 가능하게 하는 프레임워크이자 시스템인 Adaptive Auto-Harness를 소개한다.

원저자: Zewen Liu, Zhan Shi, Yisi Sang, Bing He, Minhua Lin, Tianxin Wei, Dakuo Wang, Benoit Dumoulin, Wei Jin, Hanqing Lu

게시일 2026-06-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zewen Liu, Zhan Shi, Yisi Sang, Bing He, Minhua Lin, Tianxin Wei, Dakuo Wang, Benoit Dumoulin, Wei Jin, Hanqing Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 개념: "영원히 작동하는" 로봇

당신에게 아주 똑똑한 로봇 조수(AI 에이전트)가 있고, 이 로봇을 끝이 없는 업무에 사용하려고 한다고 상상해 보세요. 단순히 고정된 규칙 목록을 주고 내버려 두는 것이 아니라, 새롭고 기괴하며 다양한 작업들이 계속 도착할 때마다 매일 학습하고 더 발전하게 만들고 싶습니다.

문제는 현재 대부분의 AI 시스템이 특정한 시험 하나만을 위해 공부하는 학생과 같다는 점입니다. 그들은 그 한 가지 시험에는 매우 능숙해지지만, 다음 날 다른 과목을 주면 모든 것을 잊어버리거나 혼란에 빠집니다. 만약 미래에 발생할 수 있는 모든 가능성을 커버하기 위해 그들의 뇌에 새로운 규칙들을 계속 추가하려고 시도한다면, 그들의 뇌는 너무 복잡해지고, 속도는 느려지며, 예전에 잘했던 이전 작업들에서 실수를 하기 시작할 것입니다.

이 논문은 Adaptive Auto-Harness라는 새로운 시스템을 소개합니다. 이것을 로봇을 위한 도구 상자를 구축하고 정리하는 스마트한 워크숍 매니저라고 생각하세요. 이 매니저는 로봇이 필요하지 않은 도구들 때문에 압도당하지 않으면서도, 항상 현재 작업에 딱 맞는 도구를 가질 수 있도록 보장합니다.

세 가지 큰 문제점 (이유)

저자들은 현실 세계의 AI 작업들이 기존 시스템이 처리할 수 없는 세 가지 까다로운 특징을 가지고 있다고 말합니다.

끝없는 흐름 (Unbounded): 작업은 멈추지 않습니다. 새로운 작업이 영원히 계속 들어옵니다. 기존 시스템은 일어났던 모든 일을 기억하려고 노력하며, 이는 결국 메모리를 가득 채우고 시스템을 느리게 만듭니다.
- 비유: 지난 10년 동안 요리했던 모든 레시피를 기억하려고 애쓰는 요리사를 상상해 보세요. 결국 그들은 지금 당장 만들어야 할 새로운 요리를 기억하지 못하게 됩니다.
다양한 작업의 혼합 (Heterogeneity): 작업들이 온갖 곳에 널려 있습니다. 한 순간에는 로봇이 수학 문제를 풀고 있다가, 다음 순간에는 시를 쓰고, 그다음에는 보안 시스템을 해킹합니다.
- 비유: 스위스 아미 나이프가 드라이버, 코르크 따개, 톱의 역할을 동시에 수행하려고 하며 손에 영구적으로 붙어 있는 모습을 상상해 보세요. 그것은 무겁고 서투릅니다. 차라리 특정 도구들이 들어있는 서랍을 두고 작업에 맞는 것을 골라 쓰는 편이 훨씬 낫습니다.
움직이는 목표 (Non-Stationarity): 게임의 규칙이 시간이 지나면서 변합니다. 지난달에 통했던 방식이 오늘날에는 쓸모없을 수도 있습니다.
- 비유: 매일 지도가 바뀌는 비디오 게임을 한다고 상상해 보세요. 첫째 날에 보물로 가는 경로를 외웠다면, 열째 날에는 길을 잃게 될 것입니다.

해결책: "Adaptive Auto-Harness"

저자들은 세 가지 주요 기술을 사용하여 이 문제들을 해결하는 시스템을 구축했습니다.

1. "전문가 팀" (Multi-Agent Evolution)

하나의 AI가 스스로를 개선하려고 노력하는 대신(이는 어렵고 느립니다), 그들은 순환 구조 속에서 협력하는 특화된 AI 에이전트 팀을 사용합니다.

분석가 (The Analyst): 로봇이 어디서 실패했는지 살펴보고 "이봐, 이걸 더 잘할 수 있는 방법이 필요해"라고 말합니다.
연구원 (The Researchers): 문제를 해결하기 위한 새로운 아이디어나 도구를 찾아 나섭니다.
설계자 (The Builders): 실제로 코드를 작성하거나 지침을 업데이트합니다.
검증가 (The Verifiers): 새로운 지침을 테스트하여 로봇이 사용하기 전에 제대로 작동하는지 확인합니다.
비유: 혼자서 집을 지으려는 한 사람이 있는 대신, 건축가, 건설팀, 그리고 검사관이 있는 것과 같습니다. 이들은 교대로 근무하며, 아무도 지치거나 혼란스러워하지 않고 집을 더 잘, 더 빠르게 짓습니다.

2. "스마트 분기 시스템" (Solve-Time Routing)

이것이 가장 중요한 부분입니다. 시스템은 하나의 거대하고 엉망인 설명서를 유지하지 않습니다. 대신, **특화된 워크스페이스의 트리(Tree of Specialized Workspaces)**를 구축합니다.

도서관을 상상해 보세요. 모든 주제가 뒤섞인 하나의 거대한 책 대신, "스포츠", "정치", "금융"과 같은 서로 다른 섹션이 있습니다.
새로운 작업이 도착하면, **라우터 에이전트(Router Agent)**가 작업을 살펴보고 "이것은 스포츠 질문이다. 스포츠 브랜치로 가자"라고 판단합니다.
그러면 로봇은 해당 특정 브랜치를 "대출"하여 스포츠만을 위해 만들어진 도구와 규칙을 사용하고, 정치 관련 규칙은 무시합니다.
비유: 병원과 같습니다. 다리가 부러졌다면 정형외과로 가야 합니다. 정형외과에 가서 심장 수술 매뉴얼을 읽으려고 해서는 안 됩니다. 시스템은 각 "병동"을 분리하여 잘못된 조언이 섞이지 않도록 유지합니다.

3. "인간 안전망" (Human-in-the-Loop)

때때로 로봇은 비밀번호가 필요하거나 모르는 특정 웹사이트가 필요한 것처럼, 한 번도 본 적 없는 문제에 직면할 수 있습니다. 시스템은 이를 스스로 만들어낼 수 없습니다.

이런 드문 경우, 시스템은 인간에게 빠른 힌트를 요청하는 "패닉 버튼"을 가지고 있습니다.
비각: 로봇이 잠긴 문을 열려고 하는데 열쇠가 없다면, 문을 계속 두드리기만 하는 것이 아닙니다. 로봇은 인간에게 "열쇠가 있나요?"라고 묻습니다. 일단 인간이 열쇠를 주면, 로봇은 다음에 열쇠를 찾는 법을 배웁니다.

무엇을 발견했는가? (결과)

팀은 이 시스템을 세 가지 매우 다른 장기 실행 작업 스트림에 대해 테스트했습니다:

예측 시장 (Prediction Markets): 스포츠 및 정치적 사건의 결과를 예측함.
보안 챌린지 (Security Challenges): 컴퓨터 해킹 퍼즐(CTF) 해결.
이벤트 예측 (Event Forecasting): 미래의 뉴스 사건 예측.

결과:

기존 시스템: 처음에는 잘했지만, 이후 성능이 떨어졌습니다. "복잡해지고" 혼란에 빠졌습니다.
Adaptive Auto-Harness: 시간이 지남에 따라 계속해서 발전했습니다. "전문가 팀"을 사용하여 더 나은 도구를 만들고, "스마트 분기"를 통해 적절한 도구를 선택함으로써 기존 시스템보다 훨씬 더 많은 문제를 해결했습니다.
"인간" 요소: 시스템이 특정 정보(예: 웹사이트 링크)가 부족하여 막혔을 때, 인간의 짧은 도움은 시스템이 회복하고 학습하는 데 도움을 주었습니다. 이는 때때로 AI가 스스로 알아내기를 기다리는 것보다 약간의 인간의 도움이 더 효과적임을 증명했습니다.

결론

이 논문은 AI를 진정으로 현실 세계에서 유용하게 만들려면 단순히 정적인 규칙 세트를 주는 것만으로는 부족하다고 주장합니다. 우리는 다음과 같은 시스템이 필요합니다:

AI 작업자 팀을 사용하여 시간이 지남에 따라 새로운 기술을 구축하는 것.
AI가 혼란을 겪지 않도록 그 기술들을 별도의 "방"으로 정리하는 것.
작업에 따라 그 방들 사이를 즉각적으로 전환하는 것.

이를 통해 AI는 모든 것을 한꺼번에 기억하려다 발생하는 "브레인 포그(Brain Fog)" 현상 없이 영원히 발전할 수 있습니다.

기술 요약: 적응형 오토-하네스 (Adaptive Auto-Harness)

문제 정의

본 논문은 기존의 오토-하네스(Auto-Harness) 시스템(예: A-Evolve, GEPA, Meta-Harness)이 **개방형 태스크 스트림(open-ended task streams)**에 배치될 때 발생하는 한계를 다룹니다. 현재의 시스템들은 고정된 오프라인 벤치마크에서 실행 피드백을 통해 프롬프트, 스킬, 도구, 메모리를 최적화하는 데는 성공적이지만, 다음과 같은 세 가지 특정 차원의 특성을 가진 동적 배포 환경에서는 실패합니다:

무제한 스트림 (Unbounded Streams): 태스크가 고정된 종료점 없이 지속적으로 유입되어 히스토리가 무한히 성장합니다. 기존의 단일 에이전트 진화 모델은 이 확장되는 히스토리를 유한한 컨텍스트 윈도우로 압축하는 데 어려움을 겪으며, 이는 효과적인 하네스 구축의 병목 현상을 초래합니다.
태스크 이질성 (Task Heterogeneity): 스트림에는 서로 다른 출처와 도구를 필요로 하는 다양한 태스크 유형(예: 예측 시장에서의 정치, 스포츠, 금융)이 혼재되어 있습니다. 전체 스트림에 대해 최적화된 단일하고 정적인 밀집형(dense) 하네스는 솔브 타임(solve time)에 특정 태스크 컨텍락에 적응하지 못합니다.
분포의 비정상성 (Distributional Non-Stationarity): 유입되는 태스크의 분포가 시간이 지남에 따라 변화합니다. 최근 사이클에 최적화된 하네스는 새로운 태스크와 정렬이 어긋나게 되어, 풍부한 과거 데이터가 있음에도 불구하고 성능 저하를 야기합니다.

저자들은 단일하게 반복 업데이트되는 하네스가 취약해질 수 있다고 주장하며, 이로 인해 초기에는 정확도가 정점에 도달했다가 이전 태스크를 위한 특화된 스킬이 이후의 태스크를 방해하면서(오버피팅) 정확도가 하락하게 된다고 설명합니다.

방법론: 적응형 오토-하네스 (Adaptive Auto-Harness)

저자들은 적응형 오토-하네스를 제안하며, 이는 지속적인 자기 개선을 위해 설계된 프레임워크이자 시스템입니다. 이 접근 방식은 '오라클 하네스(oracle harness)'와의 성능 격차를 두 가지 손실 항으로 분해하는 분석적 프레임워크에 기반합니다:

진화 손실 ( $L_{evo}$ ): 진화 모델이 히스토리로부터 필요한 역량(예: 특정 인프라 또는 멀티 파일 추론 능력 부족)을 구축하지 못해 발생하는 격차.
적응 손실 ( $L_{adapt}$ ): 특정 태스크 컨텍스트를 관찰하기 전에 단일 하네스를 확정함으로써 발생하는 격차.

이러한 손실을 최소로 줄이기 위해, 시스템은 세 가지 핵심 메커니즘을 도입합니다:

1. 다중 에이전트 진화를 통한 지속적 오토-하네스

$L_{evo}$ 를 줄이기 위해, 시스템은 상태가 없는(stateless) 단일 에이전트 진화를 대신하여 지속적인 워크스페이스 내에서 작동하는 상태 유지형(stateful) 다중 에이전트 진화 모델을 사용합니다. 이 진화 모델은 4단계 사이클을 따릅니다:

분석 (Analyze): 분석(Analyst) 에이전트가 실패 패턴을 검토하고 격차의 우선순위를 정하며, "독성 아티팩트"(하나의 체제에는 도움이 되지만 다른 체제에는 해가 되는 스킬/도구)를 명시적으로 감사합니다.
연구 (Research): 병렬 연구(Researcher) 에이전트들이 특정 체제를 위한 솔루션을 조사합니다. 이때 데이터 누수를 방방지하기 위해 태스크 해결 후에만 결과 라벨을 노출하는 '시간적 공개 게이트(temporal-reveal gate)'를 활용합니다.
구축 (Build): 빌더(Builder) 에이전트가 검증된 솔루션(도구, 스킬, 프롬프트)을 워크스페이스에 구현합니다.
검증 (Verify): 검증(Verifier) 에이전트가 다음 사이클에 반영하기 전 새로운 코드를 테스트합니다.
이 아키텍처는 교차 사이클 메모리(태스크 보드, 연구 로그, 아키텍처 문서)를 포함하여, 시스템이 처음부터 다시 시작하는 것이 아니라 시간을 두고 구축 역량을 정교화할 수 있도록 합니다.

2. 하네스 트리 라우팅을 통한 솔브 타임 적응

$L_{adapt}$ 를 줄이기 위해, 시스템은 무거운 적응 과정을 진화 단계로 옮기고 솔브 타임에는 가벼운 연산자만을 사용합니다.

하네스 트리 (Harness Tree): 단일한 모놀리식 하네스 대신, 시스템은 특화된 브랜치(예: branch/crypto, branch/sports)를 가진 Git 기반 저장소를 구축합니다. 각 브랜치는 상호 오염을 방지하기 위해 격리된 체제별 프롬프트, 스킬 및 도구를 포함합니다.
에이전틱 라우팅 (Agentic Routing): 솔브 타임에 라우터(Router) 에이전트는 각 브랜치의 메타데이터를 읽고(git show 활용), 컨텍스트에 따라 유입된 태스크 $x_t$ 를 가장 적합한 브랜치로 라우팅합니다. 그 후 솔버(solver)는 해당 브랜치를 체크아웃하여 실행합니다.

3. 인간 참여형 (Human-in-the-Loop, HITL) 스티어링

과거의 경험( $H_t$ )에 결정적인 신호(예: API 자격 증명, 새로운 데이터 소스)가 부족할 수 있음을 인지하여, 시스템은 세 번째 축인 인간 참여형(HITL) 기능을 포함합니다.

태스크 보드 스티어링: 인간은 분석가의 실패 보드를 검토하여 항목을 추가하거나, 우선순위를 조정하거나, 도메인 가이드를 제공할 수 있습니다.
대화형 지원: 연구 에이전트가 장벽(예: 인증 벽)에 부딪히면, 훅(hook)을 통해 실시간으로 인간에게 자격 증명이나 소스 방향을 요청합니다.

주요 기여

배포 체제 분석: 논문은 왜 정적인 오토-하네스 평가가 무제한적이고 이질적이며 비정상적인 스트림에 불충분한지를 공식화하고, 후회(regret)를 진화 및 적응 손실로 분해하여 소개합니다.
시스템 아키텍처: 상태 유지형 다중 에이전트 진화 모델, 체제 격리를 위한 하네스 트리 구조, 그리고 구조적으로 트리거되는 HITL 훅을 도입했습니다.
실증적 검증: 세 가지 뚜렷한 스트리밍 벤치마크를 통해 종합적인 평가를 수행했습니다:
- PolyBench: 예측 시장 (정치, 스포츠, 금융).
- CTF-Dojo: 보안 챌린지 (바이너리 익스플로잇, 암호학 등).
- FutureX: 이벤트 예측 (이질적 소스, 시간적 제약).

결과

적응형 오토-하네스 시스템은 세 가지 벤치마크 모두에서 5개의 기존 오토-하네스 베이스라인(A-Evolve, GEPA, Meta-Harness, Continual Harness, SkillOS)과 인간 설계 시스템(OctoTools)을 능가했습니다.

PolyBench: 전체 시스템은 80.9%의 정확도와 +330%의 수익(커버리지 스케일 기준)을 달면, 가장 우수한 베이스라인(Meta-Harness, 50.8% 정확도)을 크게 앞질렀습니다.
CTF-Dojo: 전체 시스템은 50.2%의 Pass@1을 달성하여 가장 우수한 베이스라인(A-Evolve, 45.2%)을 넘어섰습니다.
FutureX: 전체 시스템은 47.3%의 Pass@1을 달성했습니다 (A-Evolve의 47.5%와 근소한 차이였으나, 전체 시스템이 슬라이스 전반에서 더 높은 일관성을 보였습니다).

**절제 연구(Ablation Studies)**를 통해 각 구성 요소의 필요성을 확인했습니다:

다중 에이전트 vs. 단일 에이전트: 다중 에이전트 구조나 교차 사이클 메모리를 제거하면 복잡한 인프라(CTF-Dojo) 처리 및 신뢰도 보정(PolyBench) 측면에서 성능이 크게 저하되었습니다.
라우팅 효과성: 실험 결과, 특화된 브랜치가 존재할 때(오라클 성능이 높음) 라우터가 그 잠재력의 상당 부분을 포착함을 보여주었으나, 여전히 개선의 여지가 남아있음을 확인했습니다.
HITL 영향: 인간의 스티어링은 역사적 데이터에 필요한 외부 신호(예: 특정 API 키 또는 중국어 소스)가 부족한 슬라이스에서 특히 유의미한 이득(+20% 상승)을 제공하여, 자율적 진화를 보완하는 역할을 확인시켜 주었습니다.

의의 및 주장

본 논문은 적응형 오토-하네스가 실제 세계의 개방형 환경에 에이전트 시스템을 배치하는 데 있어 실행 가능한 경로를 제공한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

정적 벤치마크를 넘어: 지속적인 개선을 위해서는 역량의 구축(진화)과 특정 태스크를 위한 전략의 선택(적응)을 분리해야 함을 입증했습니다.
밀집형 하네스의 "취약성" 해결: 하네스 트리를 사용함으로써, 하나의 도메인을 위한 스킬이 다른 도메인의 성능을 저하시키는 단일 하네스 방식의 오버피팅 및 간섭 문제를 방지합니다.
메커니즘의 상호 보완성: 저자들은 다중 에이전트 진화, 라우팅, 인간 스티어링이 서로 대체 가능한 것이 아니라 상호 보완적이라고 주장합니다. 각각은 서로 다른 실패 모드(역량 격차, 태스크 이질성, 누락된 외부 신호)를 해결합니다.

이 연구는 장기적인 배포를 위해 에이전트가 단순히 과거로부터 배우는 것을 넘어, 스스로 축적된 지식의 무게에 의해 무너지지 않고 진화할 수 있는 구조화되고 적응 가능한 인프라를 유지해야 함을 시사합니다.