🤖 machine learning

TTHE: Test-Time Harness Evolution

이 논문은 실행 트레이스(execution traces)를 기반으로 후보 하네스(candidate harnesses)의 집단을 진화시킴으로써, 모델 가중치를 업데이트하거나 정답 레이블을 요구하지 않고도 테스트 시점의 분포에 지속적인 적응을 가능하게 하는, 평가 중 LLM 에이전트의 실행 가능한 제어 프로그램을 동적으로 최적화하는 비지도 학습 프레임워크인 Test-Time Harness Evolution(TTHE)을 소개한다.

원저자: Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jun Nie, Yonggang Zhang, Jun Song, Qianshu Cai, Dahai Yu, Yike Guo, Xinmei Tian, Bo Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 코드를 작성하거나, 수학 문제를 풀거나, 비행기 표를 예약할 수 있는 아주 똑똑한 로봇 비서(LLM 에이전트)가 있다고 상상해 보세요. 보통 우리는 이런 로봇을 만들 때, 몇 주 동안 훈련시킨 후 그들의 뇌를 "얼려(freeze)" 버립니다. 일단 뇌가 얼려지면, 내부의 배선을 바꿀 수 없습니다. 만약 로봇이 실수를 한다 해도, "헤이, 다음에는 다르게 생각해 봐"라고 말하며 가르칠 수 없습니다.

하지만 만약 로봇의 지침(로봇이 뇌를 사용하는 방법을 알려주는 작은 프로그램)이 즉석에서 바뀔 수 있다면 어떨까요? 이것이 바로 **테스트 시간 하네스 진화(Test-Time Harness Evolution, TTHE)**라고 불리는 새로운 방법의 핵심 아이디어입니다.

"얼어붙은 뇌, 유연한 슈트" 비유

로봇의 뇌를 얼어붙은 조각상이라고 생각하세요. 당신은 그것을 녹이거나 모양을 바꿀 수 없습니다. 하지만 로봇은 하이테크 슈트(하네스)를 입고 있습니다. 이 슈트에는 도구를 넣을 수 있는 주머니, 단계별 체크리스트, 그리고 로봇이 실수를 했을 때 이를 확인하는 방법이 들어 있습니다.

대부분의 로봇은 **정적인 슈트(static suit)**를 입습니다. 로봇이 공장을 떠나면 슈트는 봉제되어 버립니다. 만약 로봇이 문을 열려고 시도했다가 실패한다면, 슈트는 다음 문을 어떻게 열어야 할지 알지 못합니다. 그저 똑같이 고장 난 방식으로 계속 시도할 뿐입니다.

TTHE는 로봇이 작업하는 동안 스스로의 재봉 지침을 다시 쓸 수 있는 슈트와 같습니다.

실제 작동 방식은 다음과 같습니다:

로봇의 시도: 로봇이 작업(예: SQL 쿼리 작성 또는 버그 수정)을 시도합니다. 로봇은 자신이 무엇을 했는지, 어떤 도구를 사용했는지, 어디에서 넘어졌는지를 보여주는 "빵 부스러기 흔적"(실행 추적, execution trace)을 남깁니다.
슈트가 빵 부스러기를 읽음: 슈트의 특별한 부분인 **제안자(Proposer)**가 그 빵 부스러기를 살펴봅니다. 제안자는 선생님이나 정답지가 필요하지 않습니다. 그저 이렇게 묻습니다. "음, 로봇이 문을 열려고 했지만 손잡이가 녹슬었네. 아마 다음에는 먼저 손잡이에 기름을 쳐야 할지도 모르겠어."
슈트가 스스로를 재작성함: 제안자는 슈트의 코드를 편집합니다. 녹슬었는지 확인하는 새로운 단계를 추가하거나, 손잡이를 다시 확인하는 새로운 규칙을 추가할 수 있습니다 있습니다.
슈트가 최선의 버전을 선택함: 슈트의 또 다른 부분인 **판사(Judge)**가 모든 새로운 버전의 슈트를 살펴보고, 로봇의 자체 성능을 바탕으로 가장 잘 작동하는 것처럼 보이는 것을 고릅니다.
로봇이 다음 단계로 이동함: 로봇은 이 개선된 새로운 슈트를 착용하고 다음 작업을 계속 수행합니다.

이 방법이 하지 "않는" 것들

이 방법이 무엇을 거부하는지 아는 것이 중요합니다:

뇌 수술 없음: 논문은 우리가 로봇의 얼어붙은 뇌(모델 가중치)를 변경하지 않는다고 명시적으로 밝히고 있습니다. AI를 재학습시키는 것이 아닙니다. 오직 슈트(하네스)만 바꿉니다.
마법 같은 정답지 없음: 로봇이 학습하는 동안 "골드 라벨"(정답)을 사용하지 않습니다. 로봇은 자신의 실수와 성공을 관찰함으로써 무엇이 효과적인지를 스스로 파악해야 합니다.
사전 계획 없음: 로봇이 작업을 시작하기 전에 완벽한 슈트를 찾기 위해 탐색하지 않습니다. 슈트는 작업 중에 진화합니다.

결과: 얼마나 잘 작동했는가?

연구진은 데이터베이스 쿼리 작성, 경쟁 프로그래밍, 소프트웨어 버그 수정과 같은 매우 어려운 과제들을 통해 이 방법을 테스트했습니다. 그들은 "얼어붙은 슈트"를 입은 로봇과 "진화하는 슈트"를 입은 로봇을 비교했습니다.

결과는 다음과 같습니다 (테스트의 정확한 수치를 사용):

Text-to-SQL (BIRD): 기본 로봇은 **12.0%**를 맞혔습니다. TTHE를 사용하자 **50.0%**로 뛰어올랐습니다. 엄청난 향상입니다!
경쟁 프로그래밍 (LiveCodeBench): **30.0%**에서 **38.3%**로 향상되었습니다.
소프트웨어 엔지니어링 (SWE-bench): **20.0%**에서 **35.0%**로 향상되었습니다.
데이터 과학 (DS-1000): **38.0%**에서 **44.0%**로 향상되었습니다.

그들은 또한 점수 체계가 조금 다른(0에서 1 사이의 등급) claw-eval이라는 도구 사용 작업에서도 테스트를 진행했습니다. 점수는 **48.9%**에서 **69.8%**로 상승했습니다.

한계점: 완벽하지는 않다

논문은 이 방법이 벽에 부딪히는 지점에 대해 매우 솔직하게 기술하고 있습니다. 최선의 슈트를 고르는 "판사"는 완벽하지 않습니다. 때때로 판사는 겉보기에는 좋아 보이지만 실제로는 숨겨진 테스트를 통과하지 못하는 슈트를 고르기도 합니다.

선택 후회 (Selection Regret): 한 테스트에서, 만약 판사가 후보군 중에서 가장 좋은 슈트를 골랐다면 **64.0%**의 정확도에 도달할 수 있었을 것입니다. 하지만 판사가 실수를 하여 약간 더 나쁜 것을 고르는 바람에 **50.0%**에 그쳤습니다.
커버리지 격차 (Coverage Gap): 설령 판사가 완벽했더라도, 어떤 작업들(한 테스트에서 50개 중 약 15개)은 어떤 슈트로도 해결할 수 없었습니다. 로봇에게 아직 적절한 도구나 아이디어가 없었던 것입니다.

결론

저자들은 테스트 시간 하네스 진화가 AI의 뇌를 건드리지 않고도 에이전트를 더 똑똑하게 만드는 강력한 방법이라고 제안합니다. 이 방법은 로봇의 작업 로그를 교사로 활용합니다.

하지만 저자들은 이것이 아직 "해결된 문제"가 아니라고 경고합니다. 이 방법은 판사가 운 좋게 맞춘 것과 실제 해결책을 구분할 수 있는지에 크게 의존합니다. 만약 판사가 까다로운 테스트 때문에 혼란을 겪는다면, 로봇은 잘못된 교훈을 배울 수 있습니다. 그러나 현재로서는, AI에게 작업하는 동안 스스로를 고칠 수 있는 슈트를 제공하는 것이 매우 유망한 방향임을 보여줍니다.

기술 요약: 테스트 타임 하네스 진화 (Test-Time Harness Evolution, TTHE)

문제 정의

현대의 대규모 언어 모델(LLM) 에이전트는 고정된 모델뿐만 아니라, 컨텍스트 구성, 도구 호출, 중간 검증 및 실패 복구를 관리하는 제어 프로그램인 주변 "하네스(harness)"에 의해 동작이 결정되는 실행 가능한 시스템으로서 점점 더 정교하게 구축되고 있습니다. 현재의 배포 관행은 일반적으로 평가를 위해 하네스를 동결하기 전, 라벨링된 개발 또는 학습 데이터 상에서 이를 최적화하는 데 집중합니다. 이러한 정적인 접근 방식은 테스트 분포, 실패 모드 또는 도구 상호작용이 개발 단계와 다를 경우 적응성을 제한합니다.

미세 조정(fine-tuning)이나 테스트 타임 트레이닝(test-time training)과 같은 기존의 적응 메커즘은 모델 가중치를 수정하거나, 셀프 디버깅 또는 리플렉션(reflection) 방법은 단일 응답을 수정하거나 텍스트 경험을 저장합니다. 자동화된 워크플로우 탐색은 보통 배포 전에 수행됩니다. 핵심적인 미해결 과제는 다음과 같습니다: LLM 에이전트가 모델 가중치를 업데이트하지 않고, 골드 라벨(gold labels)을 요구하지 않으며, 별도의 적응 모델을 훈련하지 않고도, 오직 자신의 라벨 없는 실행 트레이스(execution traces)로부터 주변의 실행 가능한 하네스를 수정함으로써 평가 중에 스스로 적응할 수 있는가?

방법론: 테스트 타임 하네스 진화 (TTHE)

TTHE는 실행 가능한 하네스를 테스트 타임 적응의 상태(state)로 취급함으로써 이 문제를 해결합니다. 라벨링된 데이터에서 고정된 워크플로우를 찾는 대신, TTHE는 하네스 최적화를 라벨 없는 테스트 배치(unlabeled test batches) 상에서 직접 수행되는 평가 프로세스 자체로 이동시킵니다.

핵심 메커니즘

TTHE는 후보 하네스들의 모집단(population)을 유지하며, 동일한 고정된 LLM을 기반으로 인스턴스화된 세 가지 역할의 에이전틱 루프를 통해 이들을 정교화합니다:

솔버 (Solver): 현재 하네스 내에서 과업을 실행하는 에이전트.
프로포저 (Proposers): 실행 트레이스를 추론하여 하네스 코드를 재작성하는 에이전틱 코딩 에이전트들.
저지 (Judge): 실행에서 유도된 신호를 바탕으로 개선된 하네스를 확정(commit)하는 에이전틱 선택기.

진화 루프

각 라벨 없는 입력 배치 $X_t$ 에 대하여:

관찰 (Observation): 현재 확정된 하네스 $H_t$ 가 $X_t$ 에 대해 실행되어 상세한 실행 트레이스(프롬프트, 도구 호출, stdout/stderr, 에러, 런타임 상태 등)와 경량화된 프록시 신호(proxy signals)를 생성합니다.
모집단 진화 (Population Evolution): TTHE는 $R$ 번의 라운드 동안 $G$ 개의 병렬 브랜치를 진화시킵니다. 각 라운드에서 $G$ 개의 프로포저가 각자의 부모 하네스를 편집하여 자식 하네스를 만듭니다. 프로포저는 컨텍스트를 위해 다른 브랜치의 트레이스를 읽지만, 자신만의 계보(lineage)를 편집합니다. 이는 계보(유용한 전략의 지속성)와 다양성(보수적 수리, 탐색, 적대적 공격 등 다양한 편집 방향의 탐색)을 모두 보장합니다.
선택 (Selection): 저지는 최종 후보 하네스 세트, 그들의 트레이스, 그리고 프록시 신호를 검사하여 다음 배치를 위한 단일 하네스 $H_{t+1}$ 을 확정합니다.
측정 (Measurement): 골드 라벨은 오직 선택 후에 정확도를 측정하기 위해서만 참조되며, 적응 루프에는 절대 개입하지 않습니다.

TTHE는 골드 라벨을 사용할 수 없으므로, 정답 오라클(correctness oracles)이 아닌 불완전한 증거인 실행 유도 프록시 신호에 의존합니다:

실행 건전성 (Execution Health): 출력이 에러 없이 실행되고 잘 형성된 결과를 반환하는지 여부.
왕복 일관성 (Round-Trip Consistency): 출력을 입력과 일치하는 설명으로 역전(invert)할 수 있는지 여부 (의미적 드리프트 감지).
공개 테스트 통과율 (Public-Test Pass Rate): 공개 예제 또는 저장소 테스트를 통과한 비율 (숨겨진 테스트는 실패할 수 있으므로 불완전한 증거임).

시스템은 이러한 신호들을 단일 스칼라 보상으로 축약하지 않고, 게임화(gaming)나 체계적인 오류 반복을 방지하기 위해 원시 트레이스와 신호를 에이전틱 프로포저와 저지에게 그대로 노출합니다.

주요 기여

테스트 타임 하네스 진화의 공식화: 본 논문은 모델 가중치는 고정하고 골드 라벨은 측정 시에만 격리된 상태에서, 평가 중 라벨 없는 트레이스로부터 실행 가능한 제어 프로그램을 적응시키는 새로운 적응 패러다임을 정의합니다.
모집단 기반 생성-판단 루프: 저자들은 이를 동일한 고정 LLM 주변에서 솔버, 프로포저, 저지가 서로 다른 역할을 수행하는 시스템으로 구현하여, 프로그래밍의 변경만을 통해 완전한 적응이 가능함을 보여줍니다.
실증적 검증: 이 방법은 다섯 가지 실행 기반 도메인(Text-to-SQL, 경쟁 프로그래밍, 소프트웨어 엔지니어링, 데이터 과학 코딩, 에이전틱 도구 사용)에서 입증되었으며, 접지(grounding), 검증 및 복구를 위한 검사 가능한 정책을 생성합니다.
진단 분석: 논문은 검색 예산(search budget), 배치 크기, 모델 백본에 대한 절제 연구(ablation studies)를 제공하며, 트레이스 감사를 통해 "선택 후회(selection regret, 좋은 후보가 선택되지 못함)"와 제한된 후보 커버리지와 같은 실패 모드를 규명합니다.

결과

TTHE는 BIRD (Text-to-SQL), LiveCodeBench, SWE-bench Verified, DS-1000, claw-eval (에이전틱 도구 사용)의 다섯 가지 벤치마크의 어려운 슬라이스에서 평가되었습니다.

성능 향상: DeepSeek-v4-flash 백본을 사용하여 TTHE는 베이스라인인 ReAct 하네스를 크게 개선했습니다:
- BIRD: 12.0% $\to$ 50.0%
- LiveCodeBench: 30.0% $\to$ 38.3%
- SWE-bench Verified: 20.0% $\to$ 35.0%
- DS-1000: 38.0% $\to$ 44.0%
- claw-eval: 48.9% $\to$ 69.8% (평균 등급 점수)
모델 독립성: 성능 향상은 다양한 백본(MiMo V2.5, Kimi K2.5)에서 일관되게 나타났으며, 이는 이 루프가 특정 모델에 종속되지 않음을 나타냅니다.
창발적 정책 (Emergent Policies): 진화된 하네스는 베이스라인에는 없던 검사 가능한 행동들을 도입했습니다. 예를 들어, 엄격한 재현 우선(reproduce-first) 워크플로우, SQL을 위한 실행 및 셀프 디버그 루프, 코딩을 위한 조건부 검증 및 복구 정책 등이 있습니다.
절제 연구 통찰:
- 검색 예산: 성능은 검색 예산에 따라 비단조적(non-monotonic)입니다. 병렬 계보( $G=3$ )가 단일 계보( $G=1$ )보다 우수한데, 이는 좋은 초기 후보를 잃는 것을 방지하기 때문입니다.
- 배치 크기: 성능은 중간 정도의 배치 크기( $B=10$ )에서 정점을 찍으며, 이는 결정당 증거와 적응 단계의 수를 균형 있게 조절합니다.
- 누적 (Accumulation): 확정된 하네스를 배치 간에 계속 유지하는 것이 각 배치마다 베이스라인으로 리셋하는 것보다 높은 정확도를 제공합니다.

의의 및 한계

본 논문은 TTHE가 LLM 에이전트를 위한 테스트 타임 적응을 실행 가능한 제어 프로그램에 대한 진화로 재구성한다고 주장합니다. 이는 가중치 업데이트나 골드 라벨 없이도 지속적이고 검사 가능한 개선이 가능함을 입증합니다.

그러나 저자들은 몇 가지 핵심적인 기술적 병목 현상을 식별했습니다:

프록시 신뢰성: 실행 유도 신호의 품질이 매우 중요합니다. 시스템은 쿼리가 성공적으로 실행되더라도 잘못된 질문에 답할 수 있는 불완전한 증거 하에서 최적화를 수행해야 합니다.
저지 신뢰성: 잠재적 이득의 상당 부분이 "선택 후회"로 인해 손실됩니다. 즉, 에이전틱 저지가 그럴듯하지만 틀린 프로그램을 확정하거나, 풀(pool)에서 더 나은 후보를 선택하는 데 실패합니다. 저지는 측정 가능한 수준으로 오작동하며, 종종 벤치마크와 호환되지 않는 출력 형태를 선호하는 경향을 보입니다.
커버리지 제한: 모든 생성된 후보에 대한 오라클이 있더라도 일부 과업은 여전히 해결되지 않은 채 남는데, 이는 현재의 탐색 공간 커버리지에 내재된 한계를 나타냅니다.

저자들은 TTHE가 모델 가중치를 변경하지 않고도 에이전트를 적응시키는 실용적인 메커니즘을 제공하지만, 이러한 진화의 견고함은 프록시 신호와 선택 메커니즘의 신뢰성에 크게 의존한다고 결론지었습니다. 향후 연구는 순차적 점수화(prequential scoring)를 통한 전방 일반화(forward generalization)를 확립하고 선택 병목 현상을 해결하는 데 집중되어야 합니다.