🤖 machine learning

Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents

이 논문은 검증기 유도형 기술 추출(verifier-guided skill extraction)과 온라인 기술 내재화(online skill internalization)를 통해 온라인 평생 학습 에이전트가 테스트 시점의 피드백을 파라미터에 지속적으로 내재화할 수 있도록 하는 2단계 강화 학습 프레임워크인 LifeSkill을 제안하며, 이를 통해 정적 검색 기반 방식의 한계를 극복하고 장기 과제(long-horizon tasks)에서의 성능을 크게 향상시킨다.

원저자: Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

게시일 2026-06-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bo Mao, Jie Zhou, Yutao Yang, Xin Li, Xian Wei, Qin Chen, Xingjiao Wu, Liang He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 복잡한 비디오 게임을 하는 법을 가르치고 있다고 상상해 보세요. 예전 방식대로라면, 로봇이 레벨을 통과하지 못했을 때 로봇은 그저 노트에 "여기서 점프하지 말 것"이라고 적어두고, 다음에 시도할 때 그 노트를 기억해내려고 노력할 뿐이었습니다. 로봇의 두뇌(내부 코드)는 실제로 변하지 않았으며, 단지 실수를 피하기 위해 노트를 넘겨보는 것에 의존했을 뿐입니다.

LifeSkill이라는 논문은 AI 에이전트가 단순히 실수를 '기억'하는 것을 넘어, 자신의 작동 방식을 바꿈으로써 실수를 통해 실제로 '학습'하게 만드는 새로운 방법을 제안합니다.

이 시스템이 어떻게 작동하는지 간단한 단계로 나누어 설명하겠습니다.

1. 문제점: "노트"의 한계

현재의 AI 에이전트들은 마치 학습 자료를 공부하는 것이 금지된 채, 시험 중에 오직 '컨닝 페이퍼(메모리 뱅크)'만 볼 수 있는 학생들과 같습니다.

문제점: AI가 과업에 실패하면, "더 주의했어야 했다"와 같은 성찰을 적을 수 있습니다. 하지만 이 성찰은 노트 속의 텍스트로 남아 있을 뿐입니다. AI의 실제 "두뇌(파라미터)"는 변하지 않습니다. AI는 매번 그 노트를 계속 읽어야 하며, 노트가 거대해질수록 이 과정은 지저지고 느려집니다.

2. 해결책: "행동하며 배우기"

연구진은 LifeSkill이라 불리는 두 단계 프로세스를 만들었습니다. 이것은 실시간으로 협력하는 코치와 학생을 생각하면 됩니다.

단계 A: 코치가 적절한 교훈을 찾다 (검증기에 의해 유도되는 기술 학습)

AI(학생)가 과업에 실패했을 때, AI는 왜 실패했는지 알아내야 합니다.

기존 방식: AI는 수학 문제를 푸는 데 도움이 되지 않더라도, "더 예의 바르게 행동해야 한다"처럼 그럴듯하게 들리는 이유를 추측할 수도 있습니다.
LifeSkill 방식: AI는 여러 가지 가능한 "교훈(기술)"을 생성합니다. 그런 다음, 엄격한 검증기(Verifier)(마치 심판과 같은 역할)가 각 교훈을 테스트합니다.
- 비유: AI가 고장 난 자동차를 고치려고 한다고 가정해 봅시다. AI는 망치, 렌치, 드라이버라는 세 가지 도구를 제안합니다. 그러면 심판이 각 도구를 자동차에 사용해 봅니다. 만약 렌치가 실제로 엔진을 고친다면, AI는 렌치를 제안한 것에 대해 보상을 받습니다. 만약 망치가 소음만 낸다면, 보상을 받지 못합니다.
- 결과: AI는 단순히 그럴듯하게 들리는 텍스트가 아니라, 유용한 기술(예: "렌치를 사용하라")을 추출하는 법을 배웁니다.

단계 B: 학생이 교훈을 내면화하다 (온라인 기술 내면화)

일단 AI가 작동하는 기술(예: "렌치를 사용하라")을 찾으면, 다음을 위해 노트에 적어두기만 해서는 안 됩니다. 그것을 암기해야 합니다.

마법 같은 일: 시스템은 AI가 "렌치를 사용하라"는 기술을 사용했던 성공적인 시도를 가져와서, "렌치를 사용하라"는 지시를 제거한 뒤, 그 지시 없이도 문제를 해결할 수 있도록 AI의 두뇌를 훈련시킵니다.
비유: 요리사가 케이크를 굽는 법을 배우는 과정을 상상해 보세요. 처음에는 "설탕을 넣으시오"라고 적힌 레시피 카드가 필요합니다. 일단 숙달되면, 그 카드를 치워버립니다. 만약 그들이 카드 없이도 완벽하게 케이크를 구울 수 있다면, 그들은 진정으로 기술을 배운 것입니다.
결식: AI의 두뇌가 스스로 업데이트됩니다. 이제 더 이상 노트를 찾아볼 필요가 없습니다. 그 지식은 이제 AI의 DNA의 일부가 되었습니다.

3. 결과: 더 똑똑하고 빠른 학습자

연구진은 데이터베이스 관리, 운영 체제, 지식 그래프와 같은 과업을 포함하는 LifelongAgentBench라는 벤치마크에서 이를 테스트했습니다.

성적: LifeSkill은 다른 모든 방법들을 큰 차이로 앞질렀습니다 (평균 성능을 7점 향상시킴).
승리한 이유:
- 훈련 없는 방식(Training-Free methods) (노트만 사용하는 방식)은 두뇌를 바꿀 수 없었기 때문에 정체되었습니다.
- 다른 훈련 방식들은 학습하려고 시도했지만, 실패로부터 무엇을 배워야 할지 알아내는 좋은 방법이 없었습니다.
- LifeSkill은 적절한 교훈을 찾는 것(검증기를 통해)과 그 교훈을 암기하는 것(내면화를 통해)을 결 조합했기 때문에 성공했습니다.

요약

요약하자면, LifeSkill은 AI 에이전트를 점점 쌓여가는 컨닝 페이퍼에 의존하는 학생에서, 작업하는 동안 실제로 배우고 적응하는 숙련가로 변화시킵니다. 이는 AI가 과거의 경험을 단순히 "검색"하는 것을 멈추고, 그것을 "내면화"하게 함으로써, 방대한 텍스트 라이브러리를 계속 들고 다닐 필요 없이 시간이 지남에 따라 더 똑똑하고 효율적으로 만들어 줍니다.

기술 요약: LifeSkill – 온라인 평생 학습 에이전트를 위한 스킬 강화형 테스트 타임 공동 진화(Skill-Enhanced Test-Time Co-Evolution)

1. 문제 정의

동적인 상호작용 환경에서 작동하는 대규모 언어 모델(LLM) 에이전트는 변화하는 태스크 분포에 적응하고 경험으로부터 지식을 축적할 수 있는 평생 학습(lifelong learning) 능력을 필요로 합니다. 그러나 기존 방식들은 다음과 같은 세 가지 결정적인 한계점을 가집니다:

정적 파라미터(Static Parameters): 대부분의 에이전트는 배포 중에 모델 파라미터를 고정된 상태로 유지하며, 성능 향상을 위해 외부 메모리 검색(예: Synapse, AWM)에만 의존합니다. 이는 상호작용 단계에서의 진정한 학습을 방해합니다.
불충분한 스킬 감독(Insufficient Skill Supervision): 에이전트가 궤적(trajectory)을 요약하거나 실패를 성찰할 수는 있지만, 상호작용 피드백으로부터 재사용 가능한 **스킬(skill)**을 추출하는 데 있어 실행에 근거한(execution-grounded) 신뢰할 수 있는 감독 체계가 부족합니다. 현재 방식들은 종종 작업 성공 여부보다는 주관적인 LLM 판사나 휴리스틱 요약에 의존합니다.
외부 지식 표현(External Knowledge Representation): 습득된 지식은 일반적으로 이산적인 외부 텍스트 형태로 저장됩니다. 이는 모델이 이러한 스킬을 자신의 파라미터 지식의 일부로 내재화, 구성 및 일반화하는 것을 방지하여, 컨텍스트 비대화(context bloat)를 초래하고 경험을 지속적인 능력으로 변환하는 데 한계를 만듭니다.

핵심 과제는 정적 추론이나 외부 메모리 검색에만 의존하지 않고, 테스트 타임의 피드백을 지속적인 파라미터 성장으로 전환함으로써 에이전트가 행동하는 동안 지속적으로 개선될 수 있도록 하는 것입니다.

2. 방법론: LifeSkill 프레임워크

저자들은 온라인 평생 학습 에이전트를 위해 설계된 2단계 강화 학습 프레임워크인 LifeSkill을 제안합니다. 이 프레임워크는 태스크 스트림( $D_{stream}$ ) 상에서 작동하며, 동일한 백본을 사용하지만 서로 다른 파라미터를 가진 두 개의 모델을 유지합니다:

정책 모델 ( $\pi_\theta$ ): 태스크를 수행합니다.
스킬 추출 모델 ( $\pi_\phi$ ): 실패한 상호작용으로부터 재사용 가능한 스킬을 추출합니다.

두 모델은 다음의 두 가지 핵심 메커즘을 포함하는 **테스트 타임 공동 진화 루프(test-time co-evolution loop)**를 통해 상호작용합니다:

A. 검증기 유도 스킬 학습 (Verifier-Guided Skill Learning, VGSL)

이 단계는 스킬 추출을 위한 직접적인 감독의 부재를 해결합니다.

과정: 정책 모델이 태스크에 실패했을 때 ( $r=0$ ), 스킬 추출 모델은 실패 궤적을 바탕으로 후보 스킬( $s$ )을 생성합니다.
평가: 주관적인 LLM 판사를 사용하는 대신, 각 후보 스킬은 여러 스킬 조건부 정책 롤아웃( $K_\tau$ 개의 궤적)의 평균 검증기 성공률에 의해 평가됩니다.
최적화: 스킬 추출 모델은 DAPO(Direct Preference Optimization) 목적 함수를 사용하여 훈련됩니다. 스킬의 효용은 경험적 성공률( $R_i$ )로 정의됩니다. 높은 검증 성공률을 이끌어내는 스킬에 보상이 주어지며, 이를 통해 추출기가 단순히 텍스트적으로 그럴듯한 것이 아니라 실행에 근거한(execution-grounded) 스킬을 생성하도록 훈련합니다.

B. 온라인 스킬 내재화 (Online Skill Internalization, OSI)

이 단계는 스킬 가이드 탐색과 파라미터 적응 필요성 사이의 불일치를 해결합니다.

과정: 스킬이 에이전트를 솔루션으로 인도하여 성공한 궤적의 경우 ( $r=1$ ), 명시적인 스킬 텍스트를 입력 컨텍스트에서 제거합니다.
최적화: 정책 모델은 스킬( $s$ )이 아닌, 원래의 태스크 입력( $q$ )에만 조건화된 검증기 보상을 사용하여 업데이트됩니다.
목표: 이는 모델이 스킬 가이드 탐색 중에 발견한 추론 능력과 행동을 직접 파라미터로 내재화하도록 강제합니다. 이는 성공적인 "스캐폴딩(scaffolded)" 행동을 "언스캐폴딩(unscaffolded)" 파라미터 지식으로 변환하여, 향후 상호작용 시 스킬 텍스트를 재생성하거나 검색할 필요성을 제거합니다.

3. 주요 기여

LifeSkill 프레임워크: 외부 메모리를 통한 정적 파라미터 추론을 넘어, 온라인 평생 학습 에이전트가 배포 중에 개선될 수 있도록 하는 새로운 2단계 강화 학습 프레임워크입니다.
검증기 유도 스킬 학습: 주관적인 점수 매기기가 아닌 실행에 근거한 피드백(검증기 성공률)을 사용하여 스킬 추출기를 훈련하는 방법으로, 추출된 스킬이 실제로 태스크 해결에 유용함을 보장합니다.
온라인 스킬 내재화: 성공적인 스킬 가이드 궤적을 언스캐폴딩 정책 개선으로 변환하여, 에이전트가 추론 능력을 파라미터로 흡수하고 검색된 텍스트에 대한 의존도를 줄이도록 하는 메커니즘입니다.
실증적 검증: DB(데이터베이스), OS(운영체제), KG(지식 그래프)의 세 가지 환경에 걸친 장기(long-horizon) 상호작용 태스크를 위한 벤치마크인 LifelongAgentBench를 통해 광범리한 실험을 수행했습니다.

4. 실험 결과

프레임워크는 DB, OS, KG의 세 가지 환경에서 장기 상호작용 태스크의 지속적 적응을 위한 벤치마크인 LifelongAgentBench를 통해 평가되었습니다.

성능: LifeSkill은 평균 정확도 0.59를 달성하여, 가장 강력한 훈련 없는 베이스라인(Group Self-Consistency)보다 10 퍼센트 포인트, 가장 강력한 훈련 기반 베이스라인(RFT)보다 7 퍼센트 포인트 높은 성능을 보였습니다.
환경별 특이사항:
- DB: LifeSkill은 0.82에 도달했습니다 (최고 베이스라인 0.63 대비).
- OS: LifeSkill은 0.64에 도달했습니다 (최고 베이스라인 0.56 대비).
- KG: LifeSkill은 0.32를 기록하여, 가장 강력한 훈련 없는 베이스라인(0.36)보다 약간 낮았습니다. 저자들은 이를 장기 KG 태스크에서의 이진(binary) 보상 신호의 희소성 때문으로 분석하며, 이로 인해 스킬 추출과 내재화 모두에 대한 학습 신호가 약화되었다고 설명합니다.
절제 연구(Ablation Studies):
- VGSL을 LLM-Judge 감독으로 대체했을 때 성능이 감소하여, 실행에 근거한 보상의 필요성을 확인했습니다.
- 스킬 추출 모델을 제거했을 때 가장 큰 성능 저하가 발생하여, 이중 모델 공동 진화의 가치를 입증했습니다.
- OSI를 비활성화했을 때 성능이 감소하여, 스킬 추출만으로는 파라미터로의 내재화 없이는 불충분함을 증명했습니다.
하이퍼파라미터: 성능은 테스트 타임 연산량(더 많은 롤아웃)이 증가함에 따라 포화 지점(4회 롤아웃)까지 개선되었으며, 최적의 윈도우 크기는 환경마다 달랐습니다 (DB는 빠른 업데이트를 위해 작은 윈도우를 선호했고, OS는 안정성을 위해 큰 윈도우를 선호했습니다).

5. 의의 및 주장

본 논문은 LifeSkill이 LLM 에이전트를 위한 **진정한 지속적 적응(genuine continual adaptation)**을 향한 중요한 진전이라고 주장합니다. 스킬을 탐색을 가이드하고 이후 내재화되는 중간 학습 인터페이스로 취급함으로써, 이 프레임워크는 **경험 검색(experience retrieval)**과 파라미터 학습(parametric learning) 사이의 간극을 메웁니다.

저자들은 이 접근 방식이 에이전트로 하여드 다음을 가능하게 한다고 강조합니다:

신뢰할 수 있는 태스크 특정 검증기를 사용하여 어떤 스킬을 추출할지 학습합니다.
외부 메모리에만 의존하는 대신 배포 중에 온라인 파라미터 업데이트를 수행합니다.
원래의 태스크 입력을 통해 성공적인 행동을 내재화함으로써, 검색된 텍스트에 대한 장기적 의존도를 줄이고 컨텍스트 비대화를 완화합니다.

이 연구는 현재의 에이전트들이 경험을 '검색'할 수는 있지만, LifeSkill은 그 경험을 지속적이고 내재화된 능력으로 효과적으로 변환하는 경로를 보여준다는 점을 시사합니다. 향후 과제로 희소 보상(sparse-reward) 및 장기 태스크 환경에서의 성능 향상과 스킬 가이드 탐색에 따른 테스트 타임 연산 비용 절감을 꼽았습니다.