🤖 machine learning

The Interplay of Harness Design and Post-Training in LLM Agents

원저자: Kyungmin Kim, Youngbin Choi, Seoyeon Lee, Suhyeon Jun, Dongwoo Kim, Sangdon Park

게시일 2026-06-25

📖 4 분 읽기☕ 가벼운 읽기

원저자: Kyungmin Kim, Youngbin Choi, Seoyeon Lee, Suhyeon Jun, Dongwoo Kim, Sangdon Park

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 경험이 없는 로봇 집사에게 집을 청소하는 법을 가르치고 있다고 상상해 보세요. 당신에게는 두 가지 주요 작업이 있습니다:

훈련 (Training): 로봇에게 집안일을 하는 법을 가르치는 것 (사후 훈련).
지침서 (The Instruction Manual): 규칙을 작성하고, 도구 목록을 만들고, 로봇이 매 단계에서 무엇을 보고 있는지 설명하는 구체적인 방식 (하네스/Harness).

이 논문은 오랫동안 연구자들이 로봇을 훈련시키는 데 집중해 왔으며, 지침서는 고정되어 있고 지루한 세부 사항으로 취급했다는 점을 지적합니다. 그들은 만약 로봇을 충분히 훈련시킨다면 지침서는 중요하지 않을 것이라고 가정했습니다.

이 논문의 저자들은 이렇게 말합니다: "잠깐만요! 지침서도 훈련만큼이나 중요합니다. 특히 로봇이 새로운 상황에 직면해야 할 때 말이죠."

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다:

1. 세 가지 유형의 지침서 (하네스)

연구진은 어떤 버전의 "지침서"가 가장 효과적인지 알아보기 위해 세 가지 다른 버전의 "지침서"를 만들었습니다. 이를 h-low, h-mid, h-high라고 불렀습니다.

h-low (뼈대만 있는 지침서): 이것은 로봇에게 추가적인 도움 없이 동사 목록("가라", "집어라", "닦아라")만 주는 것과 같습니다. 로봇에게 무엇을 들고 있는지, 현재 어떤 도구를 사용할 수 있는지 알려주지 않습니다. 쓰기는 쉽지만 로봇이 사용하기에는 어렵습니다.
h-mid (도움이 되는 지침서): 이 버전은 "현재 상태" 줄을 추가합니다. 로봇에게 "참고로, 당신은 현재 접시를 들고 있습니다"라고 알려주고, "지금 바로 사용할 수 있는 도구 목록은 다음과 같습니다"라고 알려줍니다.
h-high (전문가용 지침서): 이것은 궁극의 가이드입니다. 도구들이 어떻게 함께 작동하는지 설명합니다 (예: "숟가락을 집기 전에 반드시 서랍을 열어야 합니다"). 또한 로봇이 무엇을 운반하고 있는지 끊임없이 상기시켜 줍니다.

연구 결과: 인간 학생이 모호한 단어 목록보다 상세한 교과서로 더 잘 배우는 것처럼, 로봇은 훈련을 시작하기도 전부터 h-high 지침서를 사용했을 때 훨씬 더 뛰어난 성능을 보였습니다.

2. "요리 수업" 비유 (훈련 vs. 지침서)

연구진은 다음과 같이 질문했습니다: 단순한 지침서로 먼저 로봇을 가르친 다음 나중에 상세한 지침서로 바꿀 것인가? 아니에는 첫날부터 상세한 지침서를 사용하여 가르칠 것인가?

실수: 많은 사람들은 "단순한 지침서(h-low)로 로봇을 훈련시키는 것이 더 쉬우니까 그렇게 하고, 실제로 일을 하러 갈 때 상세한 지침서(h-high)를 주면 된다"라고 생각했습니다.
현실: 이것은 학생에게 핸들 없는 빈 주차장에서 운전하는 법을 가르친 다음, 첫 시험 날 핸들이 달린 자동차를 건네주는 것과 같습니다. 로봇은 혼란에 빠집니다.
결 결과: 로봇은 반드시 상세한 지침서를 읽으면서 훈련을 받아야 합니다. 만약 단순한 지침서로 훈련시킨 뒤 나중에 바꾸면, 로봇은 실패합니다. 로봇은 지침서를 읽는 동안 '생각하는 법'을 배워야 합니다.

3. "이사 가기" 테스트 (분포 외 상황/Out-of-Distribution)

실제 삶은 무질서합니다. 때때로 로봇은 다른 집을 청소해야 하거나 (작업 전환), 도구의 이름이 바뀌기도 합니다 (도구 환경 변화).

예시: 훈련할 때의 도구 이름은 "Go(가다)"였습니다. 새로운 집에서의 이름은 "Navigate(이동하다)"입니다.
테스트: 연구진은 단순한 지침서(h-low)와 상세한 지침서(h-high)로 훈련받은 로봇들을 가져와서 이 "새로운 집"들로 보냈습니다.

충격적인 결과:

**단순한 지침서(h-low)**로 훈련된 로봇들은 도구의 이름이 바뀌었을 때 완전히 무너졌습니다. 그들은 적응할 수 없었습니다.
**상세한 지침서(h-high)**로 훈련된 로봇들은 카멜레온 같았습니다. 상세한 지침서 덕분에 도구의 논리를 이해했기 때문에, "Navigate"가 "Go"의 새로운 이름일 뿐이라는 것을 파악하고 완벽하게 계속 작동했습니다.

4. "신용카드" 문제 (왜 훈련이 중요한가)

논문은 또한 로봇이 어떻게 학습하는지도 살펴보았습니다. 그들은 두 가지 다른 교수법(알고리즘)을 사용했습니다:

GRPO: 작업이 끝난 후 마지막에 성적을 줍니다 (집 전체를 다 청소했습니까? 예/아니오).
GiGPO: 매 단계마다 피드백을 줍니다 (접시를 집은 것은 잘했습니다; 접시를 떨어뜨린 것은 잘못되었습니다).

그들은 가장 똑똑한 교수법(GiGPO)이라 할지라도 나쁜 지침서로 훈련받은 로봇을 구할 수는 없다는 것을 발견했습니다. 지침서가 너무 단순하면, 선생님이 아무리 훌륭해도 로봇은 길을 잃습니다. 하지만 지침서가 상세하다면, 가장 똑똑한 교수법은 로봇을 천재로 만들었습니다.

핵심 요점

당신은 어떻게 가르치는지(훈련 알고리즘)와 무엇으로 가르치는지(하네스/지침서)를 분리할 수 없습니다.

지침서를 아끼지 마세요: 상세하고 정보가 풍부한 지침서는 단순히 "추가적인 작업"이 아니라, 로봇이 효과적으로 학습할 수 있게 하는 토대입니다.
최종 도구로 훈련하세요: 로봇이 실제 세계에서 사용할 것과 동일한 상세한 지침서를 사용하여 훈련해야 합니다. 나중에 지침서를 바꾸는 것은 실패로 가는 지름길입니다.
변화에 대비하세요: 만약 당신의 로봇이 예상치 못한 변화(예: 새로운 도구 이름이나 다른 방)를 처리하기를 원한다면, 반드시 가장 정보가 풍부한 지침서로 훈련시켜야 합니다.

요약하자면: 훌륭한 선생님(훈련)이라도 학생이 이해할 수 없는 언어로 쓰인 교과서(하네스)를 가지고 있다면 아무 소용이 없습니다.

기술 요약: LLM 에이전트의 하네스 설계와 사후 학습 간의 상호작용

문제 정의

도구 통합형 대규모 언어 모델(LLM) 에이전트는 어떤 도구가 노출될지, 도구가 어떻게 설명될지, 그리고 관찰 결과에 어떤 부가 정보가 동반될지를 결정하는 스캐폴딩 코드인 "하네스(harness)"에 의존한다. 에이전트의 도구 사용 능력을 향상시키기 위해 사후 학습(post-training)이 일상적으로 수행되지만, 기존 연구들은 하네스를 고정된 엔지니어링 세부 사항으로 취급하며, 대개 학습이 필요 없는(training-free) 환경에서만 최적화한다. 또한, 표준적인 사후 학습 알고리즘은 정적인 배포 환경을 가정하며, 작업 분포(예: 워크로드 스케줄링에서 일정 계획으로의 변화)와 도구 환경(예: 호출 프로토콜이나 API 시그니처의 변화) 모두에서 발생하는 실제 세계의 변화를 간과한다.

본 논문은 하네스 설계가 사후 학습과 어떻게 상호작용하는지에 대한 이해의 격차를 다룬다. 구체적으로, 하네스 설계의 이점이 사후 학습 단계까지 확장되는지, 그리고 하네스의 정보성(informativeness)이 작업 변화 및 도구 환경 변화를 포함한 분포 외(Out-of-Distribution, OOD) 설정에서 에이전트의 강건성에 어떻게 영향을 미치는지 조사한다.

방법론

벤치마크 확장: ALFWorld

저자들은 도구 통합형 에이전트 작업을 위한 통제된 벤치마크 역할을 하도록 ALFWorld 텍스트 기반 플래닝 환경을 확장하였다. 이 확장은 체계적인 분석을 가능하게 하기 위해 세 가지 핵심 구성 요소를 모듈화한다:

하네스 설계: 하네스를 고정된 변수가 아닌 제어 가능한 설계 차원으로 취급한다.
도구 스키마: 도구 호출 프로토콜의 변화를 지원한다.
작업 유형: 난이도 수준에 따른 작업 분포의 변화를 지원한다.

하네스 변형

다양한 정보 수준을 가진 세 가지 하네스를 구현하였다:

h-low (Low Effort): 최소한의 가이드만 제공한다. 도구는 시스템 프롬프트에 한 줄의 설명만 포함하며, 단계별 히스토리에는 가공되지 않은 관찰 결과만 포함된다.
h-mid (Medium Effort): 현재 상태에서 사용 가능한 도구 목록을 단계별 히스토리에 추가하지만, 도구 설명은 한 줄로 유지한다.
h-high (High Effort): 풍부한 도구 설명(전제 조건 및 상호작용 포함)을 제공하고, 현재 소지하고 있는 객체를 단계별 히스토리에 추가하여 명시적인 인벤토리 확인이 필요 없게 한다.

도구 환경 변화

배포 시의 변화를 시뮬레이션하기 위해 도구 스키마를 수정하였다:

v1.0 (Base): 기존 ALFWorld 도구 이름 (예: Go, Take).
v1.1 (Mild Shift): 패러프레이징된 도구 이름 및 파라미터 (예: Go $\to$ NavigateTo, receptacle $\to$ destination).
v2.0 (Strong Shift): 구조적/기능적 유사성에 따라 도구를 통합 (예: NavigateTo, OpenContainer, CloseContainer를 하나의 ReceptacleControl 도구와 액션 파라미터로 병합).

실험 설정

모델: 오픈 소스 모델(Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct) 및 폐쇄형 모델(GPT-5 Mini).
알고리즘: 그룹 상대 정책 최적화(GRPO) 및 그룹 인 그룹 정책 최적화(GiGPO).
레짐(Regimes):
- Zero-shot: 사후 학습 없이 평가.
- In-distribution: 동일한 작업/도구 분포에서 사후 학습 및 평가 수행.
- OOD (Tool Shift): v1.0에서 사후 학습 후, v1.1 또는 v2.0에서 평가.
- OOD (Task Shift): 특정 난이도(예: t-easy)에서 사후 학습 후, 다른 난이도에서 평가.
비교: "학습 시간(training-time)" 하네스 적용(하네스가 포함된 상태에서 사후 학습)과 "사후(post-hoc)" 적용(하-low 환경에서 사후 학습을 진행한 후 더 풍부한 하네스를 평가 시에만 적용)을 비교한다.

주요 기여

제어 가능한 변수로서의 하네스: 본 논문은 하네스 설계를 고정된 엔지니어링 세부 사항으로 보는 가정을 넘어, 이를 사후 학습의 명시적인 변수로 다루는 프레임워크를 구축한다.
정보성에 대한 체계적 분석: 하네스가 제공하는 정보 수준(h-low에서 h-high까지)이 분포 내 성능과 OOD 강건성에 어떻게 영향을 미치는지에 대한 실증적 증거를 제시한다.
하네스 적용 시점: 하네스를 학습 중에 적용해야 하는지 아니면 추론 시에만 적용해야 하는지를 조사하며, 학습 시 적용하는 것이 필수적임을 밝힌다.
변화에 대한 강건성: 하네스 인지적 사후 학습이 도구 환경 변화 및 작업 변화에 대한 강건한 적응의 전제 조건임을 입증하며, 낮은 노력의 하네스 하에서의 사후 학습은 성능 붕괴를 초과함을 보여준다.

결과

Zero-Shot 및 분포 내(In-Distribution) 성능

단조적 개선: 하네스의 정보성은 제로샷 성능을 단조롭게 향상시킨다. 이러한 이득은 모델 용량에 따라 달라지며, 예를 들어 GPT-5 Mini는 h-high에서 상당한 이득을 보인다.
사후 학습 확장: 제로샷 설정에서 관찰된 단조적 이득은 사후 학습에서도 확장된다. h-high 환경에서 사후 학습된 에이전트는 더 큰 모델이나 더 발전된 알고리즘(GiGPO)을 사용하는 에이전트보다도 성능이 우수하다.
알고리즘 비교: GiGPO는 긴 호흡의 작업에서 더 정밀한 크레딧 할당(credit assignment) 덕분에 모든 구성에서 GRPO보다 일관되게 우수한 성능을 보인다.

사후(Post-Hoc) 적용 vs. 학습 시간(Training-Time) 적용

유의미한 격차: 사후 학습 후에만 하네스를 적용하는 것은 하네스를 포함하여 학습했을 때의 이득을 거의 회복하지 못한다.
정량적 영향: GRPO를 사용한 Qwen2.5-7B-Instruct의 경우, h-mid를 학습 시간에 적용했을 때가 사후 적용보다 20.7 퍼센트 포인트 더 높은 성능을 보였다. 이는 에이전트가 학습 과정 중에 하네스 구조에 적응해야 함을 나타낸다.

OOD 강건성

도구 환경 변화:
- h-low에서 사후 학습된 에이전트는 강력한 도구 환경 변화(v2.0) 상황에서 급격한 성능 저하를 겪는다. 예를 들어, GRPO를 사용한 Qwen2.5-7B-Instruct는 v2.0에서 55.6%(분포 내)에서 2.7%로 급락했다.
- 반면, h-high에서 사후 학습된 에이전트는 높은 도구 호출 유효성(v2.0에서 95.7% 유효한 형식)을 유지하며 강건성을 보였으나, 부적절한 액션(형식은 맞지만 상태에 맞지 않는 액션)으로 인해 일부 성능 저하가 발생했다.
- h-low 및 h-mid 에이전트는 v2.0에서 "Invalid tool format" 오류를 빈번하게 생성하며, 새로운 스키마로의 일반화 실패를 보여주었다.
작업 변화:
- 하네스의 정보성은 작업 간 전이(inter-task transfer)를 촉진한다. h-high에서 사후 학습된 에이전트는 h-low에 비해 미지의 작업 카테고리(예: t-med에서 t-hard로)에 대해 훨씬 더 나은 일반화 성능을 보였다.
- 예를 들어, GiGPO 환경에서 Cool 작업(OOD)에 대한 성능은 h-low일 때 0.0%에서 h-high일 때 51.4%로 상승했다.

의의 및 주장

본 논문은 하네스 설계와 사후 학습이 분리 가능한 설계 선택 사항이 될 수 없다고 주장한다. 저자들은 다음과 같이 단언한다:

하네스 인지적 사후 학습은 도구 통합형 LLM 에이전트의 강건한 성능을 위한 보조적인 최적화가 아니라 전제 조건이다.
정보가 풍부한 하네스(예: h-high)를 설계하는 비용은 OOD 강건성, 특히 도구 환경 변화에 대한 강건성을 달성하는 데 필수적이다. 낮은 노력의 하네스에 의존하는 사후 학습은 배포 조건이 변할 때 실패하는 취약한 에이전트를 만든다.
에이전트가 마주하게 될 특정 전이 역학(transition dynamics)과 컨텍스트 구조에 적응할 수 있도록 하네스는 사후 학습 전에 지정되어야 한다.

연구의 결론은 기존의 사후 학습 알고리즘(GRPO, GiGPO 등)이 효과적이긴 하지만, 기존 벤치마크(표준 ALFWorld 등)에서의 성공은 명시적으로 고려되지 않은 매우 정보가 풍부하고 고정된 하네스를 사용했기 때문에 발생한 혼란 변수(confound)일 수 있다는 점이다. 하네스를 명시적으로 모델링함으로써, 본 논문은 미래의 강건한 에이전트 개발을 위해서는 스캐폴딩과 학습 알고리즘에 대한 공동의 고려가 필요함을 강조한다.