🤖 AI

Recursive Self-Evolving Agents via Held-Out Selection

이 논문은 압축된 자연어 상태를 유지하고 엄격한 홀드아웃 선택 게이트(held-out selection gate)를 채택하여 다양한 벤치마크 전반에서 성능 저하의 위험 없이 안전하게 성능을 향상시키는 재귀적 자기 진화 에이전트인 RSEA를 소개하며, 단일 아티팩트 유형이 보편적으로 지배하는 것은 아니지만 보호된 진화가 보호되지 않은 컨텍스트 큐레이션에 비해 단조로운 안전성을 보장함을 입증한다.

원저자: Michael Nguyen, Quoc Nguyen, Paul Vuong

게시일 2026-06-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Michael Nguyen, Quoc Nguyen, Paul Vuong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하지만 약간은 고집스러운 로봇 비서가 있다고 상상해 보세요. 이 로봇은 사고력은 뛰어나지만, 자신의 뇌(가중치)를 직접 바꾸는 방식으로는 새로운 것을 배우지 못합니다. 대신, 우리는 일을 시작하기 전에 영어로 된 **'컨닝 페이퍼(치트 시트)'**를 전달하여 로봇을 돕습니다.

이 논문이 던지는 핵심 질문은 다음과 같습니다: 어떻게 하면 로봇에게 나쁜 조언을 주는 실수 없이, 최상의 컨닝 페이퍼를 작성할 수 있을까?

문제점: "나쁜 컨닝 페이퍼"의 함정

기존의 방법들은 로봇이 연습하고, 실수하고, 그 경험을 바탕으로 자신의 노트를 다시 쓰게 함으로써 이 컨닝 페이퍼를 개선하려고 시도했습니다. 하지만 여기에는 중대한 결함이 있었습니다. 이는 마치 특정 시험만을 위해 공부하며 정답만 달달 외운 학생과 같아서, 실제 시험에서는 '개념'을 이해하지 못해 결국 낙제하는 것과 같습니다.

저자들은 이를 **"컨텍스트 방해(Context Distraction)"**라고 부릅니다.

비유: 요리사가 새로운 레시피 북을 읽으며 요리 실력을 키우려는 상황을 상상해 보세요. 만약 요리사가 눈에 보이는 첫 번째 책을 집어 들어 주방에 억지로 끼워 맞춘다면, 실수로 짭짤한 수프에 초콜릿을 넣는 일이 발생할 수도 있습니다.
결과: 어떤 방법들은 특정 작업(예: 가상 공간의 집 정리)에는 매우 효과적이었지만, 다른 작업(예: 온라인 쇼핑)을 시켰을 때는 완전히 무너졌습니다. 이는 그들이 만든 '개선 사항'이 사실은 '방해 요소'였기 때문입니다.

해결책: RSEA ("엄격한 편집자")

저자들은 RSEA(Recursive Self-Evolving Agent, 재귀적 자기 진화 에이전트)라는 새로운 시스템을 소개합니다. RSEA는 단순한 작가가 아니라, 안전망을 갖춘 엄격한 편집자라고 생각하면 됩니다.

RSEA가 작동하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. 3층 구조의 노트

RDEA는 엉망진창인 커다란 한 페이지의 노트 대신, 깔끔하게 정리된 세 부분의 노트를 유지합니다.

전략 (The "Mantra"): 기억하기 쉬운 짧고 강렬한 규칙 (예: "책상을 보기 전에 항상 램프를 먼저 확인하라").
기술 (The "Toolbox"): 재사용 가능한 기술 목록 (예: "두 가지 물건을 동시에 집는 법").
플레이북 (The "Play Plan"): 흔히 발생하는 시나리오에 대한 단계별 지침 (예: "먼저 물을 끓인 다음, 찻잎을 넣는다").

2. "연습 경기" vs "실제 경기"

이 부분이 가장 중요합니다. RSEA는 단순히 노트를 다시 쓰고 결과가 좋아지길 기다리는 것이 아닙니다. RSEA는 엄격한 선택 관문을 사용합니다.

단계 A: 로봇은 "연습 경기장"(훈련 작업 세트)에서 연습하며, 발생한 일을 바탕으로 노트를 다시 씁니다.
단계 B: 이 새로운 노트를 "실제 경기"(실제 테스트)에서 사용하기 전, 반드시 **홀드아웃 분할(Held-Out Split, 본 적 없는 비밀 연습 테스트)**을 거쳐야 합니다.
규칙: 만약 새 노트가 이 비밀 테스트에서 이전보다 성능이 떨어지거나 심지어 동일한 성적을 낸다면, 그 새 노트는 쓰레기통에 버려집니다. 로봇은 기존의 안전한 버전을 그대로 유지합니다. 오직 새 버전이 확실히 더 나을 때만 새로운 버전을 채택합니다.

비유: 코치가 연습 중에 새로운 전술을 시도한다고 상상해 보세요. 이 전술을 공식 경기 계획에 넣기 전에, 코치는 "유령 팀"(홀드아웃 세트)을 상대로 먼저 실행해 봅니다. 만약 유령 팀이 그 전술에 점수를 낸다면, 코치는 "안 돼, 버려. 원래 하던 대로 해"라고 말합니다. 이는 로봇이 절대 나빠지지 않도록 보장합니다. 로봇은 더 나아지거나, 혹은 그대로 유지될 뿐입니다.

연구 결과

저자들은 네 가지 매우 다른 도전 과제(집 정리, 온라인 쇼핑, 도구 사용, 일반 질문 답변)에 대해 여섯 가지 다른 방법들과 RSEA를 비교 테스트했습니다.

"만능 열쇠"는 없다: 모든 것에 다 통하는 단 하나의 유형의 컨닝 페이퍼는 존재하지 않습니다. 집 정리에 효과적인 것이 쇼핑을 망칠 수도 있습니다.
"보호 장치 없는" 진화의 위험성: 엄격한 안전 점검 없이 노트를 업데이트하는 방법(Dynamic Cheatsheet)은 집 정리 작업에서는 놀라운 성과를 보였지만, 쇼핑 작업에서는 처참하게 실패했습니다(점수가 거의 0에 가까움). 이는 마치 화려한 기술을 배웠지만 기본적인 요리법은 까먹어버린 요리사와 같았습니다.
RSEA는 가장 안전한 선택이다: RSEA는 집 정리 작업에서 최고의 성적을 거두었습니다. 하지만 더 중요한 점은, 개선되지 않은 다른 작업들에서도 RSEA는 결코 상황을 악화시키지 않았다는 것입니다. RSEA는 단순히 원래의 신뢰할 수 있는 상태로 돌아갔을 뿐입니다.
영웅은 바로 '관문'이다: 이 논문은 컨닝 페이퍼의 내용보다 편집자의 엄격함이 더 중요하다고 주장합니다. 안전한 관문이야말로 전체 과정을 신뢰할 수 있게 만드는 핵심입니다.

결론

AI 에이전트가 미쳐버리지 않고 스스로의 실수로부터 배우게 하고 싶다면, 단순히 똑똑한 작가가 필요한 것이 아니라 엄격한 문지기가 필요합니다.

RSEA는 3부 구성의 노트와 "비밀 테스트를 먼저 거친다"는 엄격한 규칙을 통해, AI 에이전트가 안전하게 진화할 수 있음을 증명했습니다. RSEA는 할 수 있을 때는 개선될 것이지만, 할 수 없을 때는 스스로를 망가뜨리는 일은 결코 없을 것입니다.

기술 요약: 홀드아웃 선택을 통한 재귀적 자기 진화 에이전트 (RSEA)

문제 정의

본 논문은 LLM(대규모 언어 모델)의 가중치를 업데이트하지 않고도 에이전트를 개선하는 패러다임을 다룹니다. 이러한 방법들은 고정된 정책(policy)에 조건을 부여하는 자연어 아티팩트(예: 성찰, 워크플로우, 프롬프트)를 진화시킵니다. 유망한 접근 방식임에도 불구하고, 기존 방식들은 두 가지 결정적인 문제를 겪고 있습니다:

벤치마크 의존성: 어떤 특정 아티팩트 형태(예: 평면적인 프롬프트 vs. 워크플로우 목록)가 보편적으로 우수한 성능을 보이는 것은 아닙니다. 한 벤치마크에서 뛰어난 성능을 보이는 방법이 다른 벤치마크에서는 실패하거나 성능이 저하되기도 합니다.
보호되지 않은 진화 및 컨텍스트 방해: 엄격한 검증 없이 온라인상에서 컨텍스트를 진화시키는 방식(unguarded)은 높은 변동성을 보입니다. 이들은 주입된 아티팩트가 기본 정책의 성능을 저하시키는 "컨텍스트 방해(context distraction)"의 위험을 안고 있습니다. 본 논문은 "Dynamic Cheatsheet" 방식을 대표적인 사례로 듭니다. 이 방식은 ALFWorld에서는 최적에 가까운 결과를 얻었으나, 검증되지 않은 컨텍스트 주입으로 인해 WebShop에서는 성능이 처참하게 무너졌습니다(베이스라인 0.43에서 0.14로 하락).

저자들은 컨텍스트 진화의 신뢰성이 진화되는 아티팩트의 정교함보다는, 변경 사항을 확정할지 결정하는 **선택 게이트(selection gate)**에 달려 있다고 주장합니다.

방법론: RSEA

저자들은 재귀적 자기 진화를 "단조 안전(monotone-safe)"하게(즉, 기본 에이전트보다 성능이 크게 떨어지지 않도록 보장하는 것) 설계된 프레임팔인 **RSEA (Recursive Self-Evolving Agent)**를 제안합니다.

1. 3계층 진화 상태 (Three-Layer Evolving State)

단일한 평면 문자열을 최적화하는 방식과 달리, RSEA는 구조화된 3계층 자연어 상태( $s$ )를 유지합니다:

전략 (Strategy): 명령형 자연어 서문 (고수준 정책).
기술 (Skills): 재사용 가능한 서브 루틴 또는 조건부 규칙 목록.
플레이북 (Playbook): 성공적인 궤적(trajectories)으로부터 추출된 절차적 단계 목록.

2. 진화 루프 (The Evolution Loop)

RSEA는 데이터의 분리된 집합인 진화 세트( $D_e$ )와 홀드아웃 검증 세트( $D_v$ )를 사용하여 세대( $G$ )를 거쳐 작동합니다.

롤아웃 (Rollout): 현재 상태를 $D_e$ 에서 실행하여 궤적과 결과를 수집합니다.
자기 재작성 (Self-Rewrite): 고정된 LLM이 메타 최적화 도구로서 역할을 수행하며, 수집된 궤적(성공 및 실패)을 바탕으로 상태의 세 계층을 모두 다시 작성합니다. "추가만 하는(add-only)" 방식과 달리, 이 연산자는 무제한적인 컨텍스트 증가를 방지하기 위해 계층을 재작성하거나 삭제할 수 있습니다.
엄격한 홀드아웃 선택 (Strict Held-Out Selection): 후보 상태는 홀드아웃된 $D_v$ $D_{v}$ 에서 평가됩니다.
- 측면 수용 (Lateral Acceptance): 후보가 $D_v$ 에서 퇴보하지 않는다면, 이를 다음 세대의 작업 상태로 채택합니다 (탐색 허용).
- 엄격한 최선 업데이트 (Strict Best-Update): 고정된 최선 상태( $s^*$ )는 후보가 $D_v$ 에서 점수를 엄격하게 개선했을 때만 업데이트됩니다.
- 안전 메커니즘: 만약 후보가 홀드아웃 점수를 엄격하게 개선하지 못하면, 시스템은 빈 상태(vanilla ReAct)로 되돌아갑니다. 최종 테스트에는 오직 고정된 최선 상태만이 사용됩니다.

3. RSEAR (Evolution × Retry)

또한 저자들은 진화된 고정 프라이어를 태스크별 재시도(retry) 루프에 주입하는 RSEAR를 도입하여, 강력한 시작 정책과 태스크 내 자기 수정(self-correction)을 결합합니다 (Reflexion과 유사).

주요 기여

단조 안전한 정식화 (Monotone-Safe Formulation): 엄격한 홀드아웃 "Keep-better" 게이트를 중심으로 하는 교차 태스크 자연어 자기 진화 프레임워크를 제 통해, 진화된 에이전트가 기본 에이전트보다 성능이 크게 낮아지지 않음을 보장합니다.
충실한 재구현 (Faithful Re-implementation): 공정한 비교(apples-to-apples comparison)를 가능하게 하기 위해, 6개의 클래식 및 최신 베이스라인(ReAct, Reflexion, GEPA, AWM, ACE, Dynamic Cheatsheet)을 동일한 백본과 디코딩 예산 상에서 재구현한 통합 실험 하네스를 구축했습니다.
경험적 범위 조건 (Empirical Scope Conditions): 어떤 아티팩트도 보편적으로 승리할 수 없으며, 보호되지 않은 진화는 위험하다는 것을 보여주는 4개 벤치마크 연구를 수행했습니다.
절제 연구 (Ablation Studies): 각 상태 계층의 기여도를 격리하여 조사하고, 홀드아웃 선택 게이트를 제거했을 때 발생하는 심각한 과적합을 정량화했습니다.

실험 결과

연구는 네 가지 다양한 벤치마크(ALFWorld, GAIA, $\tau$ -bench, WebShop)를 대상으로 하며, 공유된 로컬 백본(ALFWorld용 Qwen2.5-7B, 도구 사용 태스크용 Qwen3-30B)을 사용합니다.

ALFWorld (절차적 전략 병목 현상):
- RSEA (single-pass)는 vanilla ReAct (69.3% vs. 64.6%, $p=0.015$ ) 및 기타 단일 패스 베이스라인을 유의미하게 능가합니다.
- RSEAR (retry 포함)는 최고의 전체 성공률(79.4%)을 달성합니다.
- 개선 사항은 해석 가능합니다: 개선은 진화된 상태가 특정 실패 모드(예: "물체를 조사하기 전에 를 사용하라")를 직접적으로 해결하는 태스크 군에 집중됩니다.
도구 사용 벤치마크 (GAIA, $\tau$ -bench, WebShop):
- 보편적 승자 없음: 강력한 백본 기반의 도구 사용 태스크에서는 어떤 자연어 아티팩트도 압도적이지 않습니다. AWM(구체적인 워크플로우)이 $\tau$ -bench와 WebShop에서 미세하게 가장 좋은 성능을 보입니다.
- RSEA의 안전성: RSEA는 이러한 벤치마크에서 ReAct보다 성능이 유의미하게 떨어지지 않습니다. 진화된 컨텍스트가 성능을 저해했던 WebShop의 경우, 엄격한 게이트 덕분에 RSEA는 빈 상태로 되돌아갔으며, 그 결과 ReAct와 통계적으로 대등한 성능을 보였습니다 (0.437 vs. 0.429).
- 보호되지 않은 방식의 실패: Dynamic Cheatsheet(unguarded)는 ALFWorld에서는 최고 수준(70.7%)이었으나, WebShop에서는 붕괴되었습니다 (0.136 vs. 0.429), 이는 보호되지 않은 진화의 높은 변동성을 보여줍니다.
절제 연구 결과:
- 계층 기여도: 모든 계층(Strategy, Skills, Playbook)은 ReAct보다 성능을 향상시키지만, 이들은 엄격히 직교하기보다는 중첩된 지식을 인코딩합니다.
- 과적합 위험: 홀드아웃 게이트를 제거하면 심각한 과적합이 발생합니다. 보호되지 않은 변형 모델은 인샘플(in-sample) 선택에서는 100%를 달성했으나, 테스트 세트에서는 가드된 버전보다 33포인트 낮은 성능을 보였습니다.

의의 및 주장

본 논문은 컨텍스트 진화의 신뢰성이 아티팩트의 형태가 아니라 선택 게이트에 의해 결정된다고 주장합니다. 홀드아웃 선택을 엄격하고 핵심적으로 만듦으로써, RSEA는 변동성이 크고 위험한 과정을 "단조 안전한" 연산으로 전환합니다.

범위 조건: 진화된 자연어 상태는 병목 현상이 절차적 전략(예: ALFWorld와 같은 텍스트 기반 가사 태스크)에 있을 때 가장 유익하며, 병목 현상이 검색/그라운딩(retrieval/grounding)에 있거나 백본이 이미 상세한 도구 API를 잘 따르고 있을 때는 효과가 적습니다.
안전 보장: 엄격한 게이트는 재귀적 자기 진화가 안전하게 배포될 수 있도록 보장합니다. 즉, 진화가 도움이 되지 않는다면 시스템은 성능을 저하시키는 대신 알려진 베이스라인(ReAct)으로 기본 설정됩니다.
재현성: 저자들은 향-후의 충실한 비교 연구를 지원하기 위해 전체 하네스, 6개 베이스라인의 재구현, 그리고 사전 등록된 매니페스트를 공개합니다.