🤖 AI

ReSkill: Reconciling Skill Creation with Policy Optimization in Agentic RL

ReSkill은 단언 기반 기술 수정(assertion-driven skill revision), 그룹 내 롤아웃 샘플링(within-group rollout sampling), 그리고 톰슨 샘플링(Thompson Sampling)을 GRPO 알고리즘에 내장함으로써 기술 생성과 정책 최적화를 조화시키고, 재사용 가능한 전략과 정책의 자동적 공진화를 가능하게 하여 미학습 작업에 대한 우수한 일반화 성능을 달성하는 새로운 에이전트 기반 강화학습(agentic RL) 프레임워크이다.

원저자: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

게시일 2026-06-02

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zelin He, Haotian Lin, Boran Han, Wei Zhu, Haoyang Fang, Bernie Wang, Xuan Zhu, Runze Li, Matthew Reimherr

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 RESKILL 논문에 대한 설명입니다. 이해하기 쉬운 언어와 창의적인 비유를 사용하여 번역되었습니다.

핵심 아이디어: 로봇이 배우는 '도중에' 배우는 법을 가르치기

당신이 로봇에게 복잡한 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요.

기존 방식: 당신은 로봇에게 규칙을 가르치고, 로봇이 게임을 하게 둡니다. 그러다 로봇이 실패하면, 다음에 따를 새로운 규칙(하나의 "기술/Skill")을 수동으로 적어줍니다. 하지만 여기에 문제가 있습니다. 로봇은 실력이 좋아짐에 따라 자신의 플레이 스타일을 끊임없이 변화시킨다는 점입니다. 만약 당신이 로봇이 어제 어떻게 플레이했는지를 바탕으로 새로운 규칙을 적는다면, 그 규칙은 오늘의 로봇에게 오히려 혼란을 줄 수 있습니다. 왜냐하면 로봇은 이미 진화했기 때문입니다. 이는 마치 성인을 위한 매뉴얼을 가지고 젖살이 채 빠지지 않은 유아에게 신발 끈 묶는 법을 가르치는 것과 같습니다. 아이는 이미 예전의 지침을 넘어섰지만, 새로운 지침은 아직 검증되지 않았습니다.
RESKILL 방식: 규칙을 별도의 노트에 적는 대신, RESKILL은 규칙을 만드는 과정 자체를 게임의 일부로 만듭니다. 이는 훈련 루프 내부에서 돌아가는 "규칙 생성 공장"을 구축합니다. 로봇은 학습하는 도중에 새로운 규칙을 시도해 보고, 그것이 도움이 되는지 확인하며, 좋은 것은 유지하고 나쁜 것은 버리는 과정을 실시간으로 수행합니다.

핵심 문제: "불일치(Mismatch)"

이 논문은 현재의 방법들이 기술-정책 갈등(Skill-Policy Conflict) 문제를 겪고 있다고 주장합니다.

정책(Policy): 이것은 로봇의 두뇌(게임을 플레이하는 전략)입니다. 이는 학습함에 따라 끊임없이 변합니다.
기술(Skills): 이것은 재사용 가능한 요령이나 지름길입니다 (예: "항상 냉장고부터 먼저 확인하라" 또는 "추측하기 전에 먼저 검색하라").
갈등: 기존 방식은 두뇌의 훈련과 별개로 기술을 생성합니다. 이 방식은 "과거의" 두뇌에는 효과적이었던 기술을 만들 수 있지만, "새로운" 두뇌와는 충돌할 수 있습니다. 이는 마치 코치가 선수가 새로운 동작을 실제로 이해하고 있는지 확인하지 않은 채, 경기 도중에 새로운 플레이북을 건네주는 것과 같습니다.

RESKILL의 작동 원리: "맛 테스트" 주방

RESKILL은 세 가지 주요 메커니즘을 통해 기술 생성을 훈련 과정에 직접 통합함으로써 이 문제를 해결합니다. 저자들은 이를 **기술 생성과 정책 최적화의 조화(Reconciling Skill Creation with Policy Optimization)**라고 부릅니다.

1. "그룹 맛 테스트" (그룹 내 샘플링 - Within-Group Sampling)

요리 대회에서 셰프(AI)가 요리를 만들어야 한다고 상상해 보세요.

표준 방식: 셰프가 동일한 레시피를 사용하여 요리 10개를 만듭니다. 그 후 비평가가 새로운 레시피를 작성합니다. 셰프는 나중에 그 새로운 레시피를 시도합니다.
RESKILL 방식: 셰프에게 10개의 주문이 주어집니다. 5개의 주문에는 기존 레시피를 사용합니다. 나머지 5개에는 (즉석에서 만들어진) 새로운 레시피를 사용합니다.
작동 원리: 셰프가 10개의 주문을 처리할 때의 기분과 상태가 모두 동일하기 때문에, 차이점은 오직 레시피뿐입니다. 시스템은 즉시 확인할 수 있습니다: "새로운 레시피가 지금 당장 셰프가 더 높은 점수를 얻는 데 도움이 되었는가?" 이를 통해 추가적인 시간이나 자원 없이도 공정하고 통제된 비교가 가능해집니다.

2. "자가 치유" 규칙서 (단언 기반 생성기 - Assertion-Driven Creator)

셰프가 요리에 실패했을 때, 보통 인간이 개입하여 "수프에 소금을 넣는 것을 잊었군요"라고 말합니다. RESKILL은 이를 자동화합니다.

시스템은 셰프가 성공했던 모든 순간과 실패했던 모든 순간을 담은 저장소(Reservoir)(양동이)를 유지합니다.
시스템은 "탐정"(LLM)을 사용하여 이 양동이를 살펴보고 질문합니다: "무엇이 잘못되었나? 오븐 확인하는 것을 잊었나? 아니면 잘못된 재료를 찾고 있는가?"
이러한 패턴을 바탕으로, 시스템은 자동으로 새로운 "기술"(예: 냄비를 보면 젓기 전에 온도를 확인하라)을 작성합니다.
결정적인 점: 시스템은 단순히 추측만 하지 않습니다. 위에서 설명한 "그룹 맛 테스트"를 통해 이 새로운 규칙을 기존 규칙과 즉시 테스트합니다.

3. "스마트한 도박사" (톰슨 샘플링 - Thompson Sampling)

시스템은 새로운 레시피를 시도할지 기존 레시피를 시도할지 얼마나 자주 결정할까요?

새로운 레시피가 유망해 보이면, 시스템은 그것을 더 자주 시도합니다.
새로운 레시피가 별로라면, 시스템은 시도 횟수를 줄입니다.
반전: 로봇의 두뇌는 매 초마다 진화합니다. 10분 전에 효과적이었던 규칙이 지금은 낡은 것이 될 수 있습니다. RESKILL은 적응형 할인(Adaptive Discounting)을 적용한 톰슨 샘플링이라는 수학적 기법을 사용합니다.
- 이것은 어제의 당첨 번호가 오늘에는 무용지물임을 아는 도박사와 같습니다.
- 로봇이 최근에 새로운 레시피를 많이 시도했다면, 시스템은 최신 데이터를 신뢰하고 오래된 데이터는 잊어버립니다(할인).
- 만약 로봇이 이를 많이 시도해보지 않았다면, 단 한 번의 나쁜 시도로 성급한 결정을 내리지 않도록 오래된 데이터를 유지합니다.
- 이를 통해 시스템은 항상 과거의 두뇌가 아닌, 로봇의 현재 두뇌에 가장 잘 맞는 기술에 베팅하도록 보장합니다.

결과: 왜 중요한가

논문은 여러 가지 "게임"(태스크)에서 RESKILL을 테스트했습니다:

가사 노동 (ALFWorld): 가상 공간의 물건들을 옮기는 작업.
검색 엔진: 웹 검색을 통해 복잡한 질문에 답하기.
과학 및 코딩: 물리 문제를 풀거나 SQL 코드를 작성하기.

연구 결과:

어려운 과제에 더 강함: RESKILL은 단순히 조금 더 잘하는 수준이 아니라, 보지 못한 태스크(Unseen Tasks)(한 번도 본 적 없는 과제)에서 경쟁자들을 압도했습니다. 이는 RESKILL이 배운 기술들이 단순 암기가 아니라 유연하고 일반적인 성격을 띠기 때문입니다.
추가 비용 없음: 로봇이 게임을 두 배로 오래 플레이할 필요가 없었습니다. 일반적인 훈련 단계 중에 기술 테스트를 함께 수행했습니다.
자가 수정: 시스템은 로봇이 똑똑해짐에 따라 더 이상 작동하지 않는 기술들을 자동으로 "가지치기(삭제)"했습니다. 이는 필요에 따라 커지고 작아지는 살아있는 기술 라이브러리입니다.

요약 비유

축구 팀을 상상해 보세요:

기존 방식: 코치가 경기를 관찰한 뒤, 화이트보드에 새로운 전술을 적고 다음 주에 팀에게 시도해보라고 말합니다. 그동안 선수들의 포메이션은 바뀌어 있고, 그래서 새로운 전술은 맞지 않게 됩니다.
RESKILL: 코치는 경기 도중 필드 위에 있습니다. 팀이 공격할 때마다, 절반의 선수들은 기존 전술을 사용하고, 나머지 절반은 지난 실수를 바탕으로 즉석에서 만들어진 새로운 전술을 시도합니다. 코치는 어떤 전술이 지금 당장 골을 넣는지 즉시 확인하고, 팀에게 그 전술을 고수하라고 말합니다. 팀은 자신의 전략과 플레이북을 동시에 진화시키며, 완벽한 조화를 이룹니다.

요약하자면, RESKILL은 "게임을 배우는 것"과 "규칙을 배우는 것"을 별개의 작업으로 취급하는 것을 멈춥니다. 이 둘을 하나로 합쳐, AI가 더 나은 두뇌와 더 나은 규칙서를 동시에 구축할 수 있게 해줍니다.

기술 요약: RESKILL – 에이전트 RL에서 스킬 생성과 정책 최적화의 조화

문제 정의

에이전트 강화 학습(Agentic Reinforcement Learning, RL)은 대규모 언어 모델(LLM) 에이전트가 환경 보상을 통해 지속적으로 개선될 수 있게 합니다. 그러나 결정적인 한계가 존재합니다: 결과물인 정책(policy)이 작업 전반에 걸쳐 재사용 및 전이가 가능한 전략을 체계적으로 축적하는 데 실패한다는 점입니다. 모듈형 스킬(작업별 전략을 인코딩한 재사용 가능한 스니펫)은 해결책을 제시하지만, 기존의 스킬 증강 RL 방식들은 일반적으로 **스킬 생성과 정책 최적화를 분리(decouple)**합니다.

이러한 분리는 "스킬-정책 충돌(skill-policy conflict)"을 야기합니다. 인간 참여형 테스트(human-in-the-loop testing)나 정적 증류(static distillation)를 통해 외부에서 스킬을 진화시키는 방식은 에이전트의 진화하는 정책과 정렬되지 않는 스킬을 채택할 위험이 있습니다. 반대로, 원칙적인 테스트 없이 스킬을 학습하는 방식은 효과적이지 않은 지식을 축적할 수 있습니다. 핵심 과제는 스킬 진화와 정책 학습이 **조화(reconciled)**되어, 스킬이 정책의 현재 학습 상태에 직접 반응하여 동적으로 생성, 테스트 및 정제되도록 하는 프레임워크를 만드는 것입니다.

방법론: RESKILL 프레임워크

RESKILL(Reconciling Skill Creation with Policy Optimization)은 스킬 생성 주기를 RL 학습 루프 내에 직접 내장함으로써 이 문제를 해결하며, 특히 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**의 그룹 단위 구조를 활용합니다. 이 프레임워크는 세 가지 통합된 메커니즘을 통해 작동합니다.

1. 그룹 내 스킬 테스트 (Within-Group Skill Testing)

별도의 비용이 드는 전용 테스트 롤아웃을 사용하는 대신, RESKILL은 GRPO가 동일한 작업에 대해 동일한 정책 하에서 $G$ 개의 궤적(trajectory)을 샘플링한다는 사실을 이용합니다.

메커니즘: 단일 학습 단계 내에서, 서로 다른 스킬 버전(예: 기존 뱅크 $S_{old}$ 대 후보 $S_{new}$ )이 **톰슨 샘플링(Thompson Sampling)**을 통해 동일한 그룹 내의 서로 다른 롤아웃에 할당됩니다.
이점: 이를 통해 스킬 버전에 대한 제어된, 비용 없는 비교가 가능해집니다. 작업과 정책은 그룹 전체에서 동일하므로, 오직 스킬 버전만이 변수가 되어 성능 차이를 스킬 자체의 결과로 직접 귀속시나할 수 있습니다.
삼중 역할의 롤아웃(Triple-Duty Rollouts): 각 롤아웃은 (i) GRPO 그래디언트를 통한 정책 최적화, (ii) 스킬 생성자를 위한 실패 진단, (iii) 스킬 버전 선택을 위한 밴딧(bandit) 평가라는 세 가지 역할을 동시에 수행합니다.

2. RL-in-the-Loop 스킬 생성

RESKILL은 Anthropic의 "Skill Creator" 파이프라인을 채택하되, 인간의 피드백을 RL 루프로부터 오는 자동화된 보상 기반 신호로 대체합니다.

경험 저장소(Experience Reservoir): 지속적으로 갱신되는 저장소 $R$ 은 스킬 버전과 보상이 주석 처리된 성공-실패 궤적 쌍을 수집합니다.
단언 기반 진단(Assertion-Driven Diagnosis): 단일 궤적을 분석하는 대신, 시스템은 전체 저장소에 동적인 규칙 기반 단언(assertion, 술어)을 적용하여 만연한 실패 모드를 식별합니다.
조건부 수정(Conditional Revision): LLM 기반 에이전트는 이러한 실패 프로필을 바탕으로 후보 스킬 버전(ADD, MODIFY, DELETE 연산)을 제안합니다. 결정적으로, 제안된 트리거(trigger)는 테스트 단계에 진입하기 전 충분한 활성화 커버리지를 확보했는지 검증하기 위해 저장소에 대해 검증됩니다.

3. 스킬 진화를 위한 적응형 톰슨 샘플링

새로운 스킬 버전을 탐색하는 것과 알려진 효과적인 스킬을 활용하는 것 사이의 트레이드오프를 관리하기 위해, RESKILL은 **적응형 할인(adaptive discounting)**이 적용된 톰슨 샘플링을 사용합니다.

할당: 각 단계에서 새로운 스킬 버전에 롤아웃을 할당할 확률은 새로운 버전이 더 우수할 사후 확률( $Pr(p_{new} > p_{old})$ )에 의해 결정됩니다.
적응형 할인: 평가 기간 동안 정책이 진화하기 때문에, 오래된 관측치는 구식이 됩니다. RESKILL은 메모리 파라미터 $M$ 을 도입하여 초기 증거를 할인합니다. 할인 계수 $w_t$ 는 새로운 에피소드 수 $n_t$ 에 따라 조정됩니다. 즉, $n_t$ 가 작으면 과거의 증거를 유지하고, $n_t$ 가 크면 현재 정책의 능력을 반영하기 위해 과거의 증거를 공격적으로 할인합니다.
수락/거절: 진화 주기가 끝나면, 할인된 사후 확률 하에서의 기대 성능이 기존 버전보다 높은 경우에만 새로운 스킬 버전이 수락됩니다.

주요 기여

조화된 공동 진화(Reconciled Co-Evolution): RESKILL은 스킬 생성을 정책 최적화 루프에 직접 통합한 최초의 프레임워크로, 분리된 접근 방식에서 발견되는 스킬-정책 불일치 위험을 제거합니다.
제로 오버헤드 테스트: GRPO의 그룹 구조를 활용함으로써, RESKILL은 추가적인 롤아웃 예산이나 별도의 테스트 단계 없이도 스킬 버전에 대한 제어된 비교를 가능하게 합니다.
적응형 스킬 라이프사이클: 프레임워크는 실시간 정책 성능 및 보상 신호를 기반으로 스킬의 생성, 테스트, 정제, 제거에 이르는 전체 라이프사이클을 자동화합니다.
정책 드리프트에 대한 강건성: 톰슨 샘플링에 도입된 적응형 할인을 통해 시스템은 진화하는 정책의 비정상성(non-stationarity)을 처리할 수 있으며, 이를 통해 스킬 평가가 계속 유효하도록 보장합니다.

실험 결과

RESKILL은 다섯 가지 도메인(체화된 추론(ALFWorld), 에이전트 검색(NQ, HotpotQA 및 5개의 미학습 데이터셋), 과학 발견(ScienceWorld), 코딩(InterCode-SQL), 웹 쇼핑(WANDS))에서 평가되었습니다.

성능 향상: RESKILL은 바닐라 GRPO, 메모리 기반 RL(MEMRL), 기존 스킬 기반 방식(SKILLRL, INSPO)을 포함한 베이스라인들을 일관되게 능가했습니다.
- ALFWorld에서 RESKILL은 90.0%(4B 모델) 및 92.7%(8B 모델)의 성공률을 달enc성하며, 가장 강력한 베이스라인인 SKILLRL을 상당한 차이로 앞질렀습니다.
- 에이전트 검색에서 RESILL은 본 데이터셋 분할(seen splits)에서 SKILLRL 대비 2.5~2.3% 향상된 성능을 보였으며, 미학습 분할(unseen splits)에서는 훨씬 더 큰 이득을 얻었습니다.
미학습 작업에 대한 일반화: 가장 상당한 개선은 미학습 및 어려운 작업에서 관찰되었습니다. 예를 들어, ALFWorld 미학습 작업에서 RESKILL(8B)은 95.3%를 달성하여 SKILLRL(82.6%)보다 12.7% 높은 격차를 보였습니다. 이는 조화된 진화가 더 잘 일반화되는 스킬 버전만을 보유한다는 것을 시사합니다.
교차 도메인 적응: 테스트 타임 적응 실험에서, ALFWorld로 훈련된 정책을 동결한 후 ScienceWorld에 적용했습니다. RESKILL은 정책 업데이트 없이도 새로운 도메인에 맞춰 스킬 뱅크를 빠르게 적응시킨 반면, 베이스라인 모델들은 진화에 실패했습니다.
효율성: RESKILL은 GRPO와 비교하여 경쟁력 있는 훈련 및 추론 속도를 유지했습니다. 조건부 트리거 메커니즘은 관련 있는 스킬만 로드하도록 보장하여, 모든 스킬을 무조건적으로 로드하는 방식에 비해 컨텍스트 길이를 콤팩트하게 유지했습니다.

의의 및 주장

본 논문은 스킬 생성과 정책 학습이 별개의 프로세스로 취급되어서는 안 된다는 것을 RESKILL이 입증한다고 주장합니다. 이 두 프로세스를 조화시킴으로써, 시스템은 새로운 스킬을 따르고 그로부터 혜택을 받는 일반적인 능력을 개발하며, 이는 복잡하고 미학습된 작업 및 도메인 외 작업에서 탁월한 성능으로 이어집니다.

저자들은 이러한 이득이 스킬 생성을 위한 특정 LLM보다는 조화된 공동 진화 메커니즘에서 주로 기인한다는 점을 강조합니다(절제 연구(ablation studies) 결과, 스킬 생성기로 기본 모델을 사용하더라도 성능이 높게 유지됨을 확인했습니다). 이 프레임워크는 스킬이 정적인 명령어가 아니라 에이전트의 정책과 함께 적응하는 동적인 구성 요소인 새로운 에이전트 RL 패러다임을 구축합니다.