💬 NLP

SkillMAS: Skill Co-Evolution with LLM-based Multi-Agent System

SkillMAS 는 적응 병목 현상을 극복하고 다양한 작업에 걸쳐 배포 후 전문화를 효과적으로 가능하게 하기 위해 유틸리티 학습, 경계된 기술 정제 및 증거 기반 재구성을 통해 기술 진화와 다중 에이전트 시스템 구조 재구성을 동시에 결합하는 비모수적 프레임워크입니다.

원저자: Shuai Pan, Yixiang Liu, Jiaye Gao, Te Gao, Weiwen Liu, Jianghao Lin, Zhihui Fu, Jun Wang, Weinan Zhang, Yong Yu

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shuai Pan, Yixiang Liu, Jiaye Gao, Te Gao, Weiwen Liu, Jianghao Lin, Zhihui Fu, Jun Wang, Weinan Zhang, Yong Yu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 문제를 해결하도록 설계된 전문가 작업자 팀 (Multi-Agent System) 을 상상해 보세요. 예를 들어 집을 정리하거나, 컴퓨터를 수리하거나, 매장을 관리하는 일입니다. 보통 이러한 팀이 실수를 할 때, 우리는 두 가지 별개의 방법으로 이를 고치려 합니다:

작업자에게 새로운 기술을 가르치는 것: 더 나은 지시사항이나 새로운 도구를 제공합니다 (기술 진화, Skill Evolution).
팀 구조를 변경하는 것: 더 많은 사람을 고용하거나, 잘못된 사람을 해고하거나, 보고 체계를 변경합니다 (MAS 재구조화).

문제점:
이 논문은 이 두 가지를 별개로 수행하는 것이 재앙을 부르는 지름길이라고 주장합니다. 이는 마치 셰프가 완벽한 스테이크를 굽는 법 (기술) 을 배우는 동안, 레스토랑 매니저는 셰프와 대화 없이 주방 배치와 셰프 수를 계속 변경 (구조) 하는 것과 같습니다.

셰프가 새롭고 화려한 칼을 얻었더라도 주방이 너무 작다면, 그 새로운 기술은 쓸모가 없습니다.
매니저가 새로운 수석 셰프를 고용했더라도 기존 셰프가 새로운 장비 사용법을 배우지 못했다면, 새로 입사한 인원은 그저 혼란스러울 뿐입니다.

이러한 분리로 인해 팀이 막히거나, 압도당하거나, 누가 무엇을 해야 하는지 혼란스러워하는 '병목 현상'이 발생합니다.

해결책: SkillMAS
저자들은 SkillMAS를 소개합니다. 이는 새로운 기술을 배우는 것과 팀 구조를 변경하는 것을 하나의 연결된 대화로 취급하는 시스템입니다. 별개로 고치는 대신, SkillMAS 는 다음에 무엇을 할지 결정하기 위해 팀의 실제 수행 기록 (검증된 흔적, verified traces) 을 살펴봅니다.

간단한 비유를 들어 작동 방식을 설명하겠습니다:

1. "성적표" (유틸리티 학습, Utility Learning)

오직 증거에 기반하여만 점수를 주는 엄격한 매니저를 상상해 보세요.

작업자가 새로운 시도를 하고 성공하면, 매니저는 이를 '성공'으로 기록합니다.
작업자가 시도를 했으나 실패하면, 매니저는 정확히 왜 실패했는지 기록합니다.
중요하게도: 매니저는 작업자가 무언가 시도했다고 해서 점수를 주지 않습니다. 작업자가 실제로 그것을 수행하고 성공했을 때만 점수를 줍니다. 이는 팀이 단순히 추측한 쓸모없는 '기술'들을 쌓아두는 것을 방지합니다.

2. "도구 상자 업데이트" (경계된 기술 진화, Bounded Skill Evolution)

팀이 실패할 때, SkillMAS 는 작업자들에게 무작정 수많은 새로운 지시사항을 던지지 않습니다. 신중한 편집자처럼 행동합니다:

실패를 살펴보고 묻습니다: "이것은 단계를 잊어버리는 것과 같은 단순한 실수였는가?" 만약 그렇다면, 그 한 단계를 수정합니다.
묻습니다: "이것은 고장 난 도구 때문인가?" 만약 그렇다면, 도구를 갈아줍니다.
"경계된 (Bounded)" 부분: 절대적으로 필요하고 작동함이 입증된 경우에만 새로운 기술을 추가합니다. 반쪽짜리 아이디어로 가득 찬 지저분한 쓰레기 서랍처럼 도구 상자가 되는 것을 방지합니다.

3. "팀 재편성" (증거 기반 재구조화, Evidence-Gated Restructuring)

이것이 이 논문의 가장 큰 혁신입니다. 시스템은 현재 구조가 문제임을 증거가 입증할 때만 팀 구조 (고용/해고/병합) 를 변경합니다.

시나리오 A: 팀이 어떻게 작업을 수행할지 몰라 실패합니다. -> 해결책: 새로운 기술을 가르칩니다. 팀을 변경하지 마세요.
시나리오 B: 팀이 같은 일을 하려는 사람이 너무 많거나, 한 사람이 너무 많은 다른 일을 하려다 실패합니다. -> 해결책: 팀을 분리합니다. 전문가를 고용합니다.
게이트 (The Gate): 시스템은 '성적표'가 현재 팀 배치가 실패의 구체적인 원인임을 보여줄 때에만 팀을 재편성합니다. 불필요한 드라마와 지속적인 재고용을 피합니다.

논문 속 실제 사례

저자들은 세 가지 다른 '직장'에서 이를 테스트했습니다:

가상 주택 (ALFWorld): 어지러운 방을 청소하려는 로봇을 상상해 보세요.
- 결과: 시스템은 로봇이 '물건을 찾는 것'과 '물건을 집어 올리는 것' 사이에서 혼란을 겪고 있음을 깨달았습니다. 로봇에게 단순히 더 잘 가르치는 것이 아니라, '검색자 (Searcher)'와 '이동자 (Mover)'라는 두 명의 전문 작업자로 업무를 분리했습니다. 이로 인해 성공률이 크게 향상되었습니다.
컴퓨터 터미널 (Lifelong Agent Bench): 컴퓨터 파일을 수리하는 작업자를 상상해 보세요.
- 결과: 시스템은 '텍스트 로그' 전문가와 '파일 권한' 전문가를 만들었습니다. 한 사람이 모든 일을 하려던 것을 막아 오류를 줄였습니다.
리테일 매장 (τ-Bench): 반품과 교환을 처리하는 고객 서비스 에이전트를 상상해 보세요.
- 결과: 놀랍게도 시스템은 팀을 분리하지 않기로 결정했습니다. 이 특정 업무에서는 위원회보다 한 명의 고도로 숙련된 관리자가 더 낫다고 판단한 것입니다. 대신 팀원을 추가하는 대신 단일 관리자의 기술을 향상시켰습니다. 이는 시스템이 언제 재구조화를 하지 말아야 하는지 알 만큼 똑똑하다는 것을 증명합니다.

결론
SkillMAS는 다음과 같은 프레임워크입니다: "팀에 새로운 기술을 가르치기만 하거나, 단순히 카드를 섞기만 하지 마세요. 증거를 보십시오. 문제가 기술 부족이라면 가르치십시오. 문제가 나쁜 팀 구조라면 재편성하십시오. 하지만 다른 하나가 실제로 병목 현상일 때에만 하나를 수행하도록 하십시오."

'학습'과 '조직화'를 단단한 증거로 묶어두는ことで, 이 두 가지 프로세스가 따로 돌아갈 때 발생하는 혼란과 비효율을 시스템이 피할 수 있습니다.

기술 요약: SkillMAS

1. 문제 제기

본 논문은 현재 대규모 언어 모델 (LLM) 에이전트 시스템의 중요한 한계인 **기술 진화 (skill evolution)**와 다중 에이전트 시스템 (MAS) 재구성 사이의 적응 분해 (adaptation decoupling) 문제를 다룹니다.

기존 접근법은 일반적으로 이 두 적응 목표를 별도의 문제로 취급합니다. 한 연구 흐름은 실행자 경계를 동시에 조정하지 않고 재사용 가능한 기술을 진화시키거나 궤적 교훈을 증류하는 데 초점을 맞춥니다. 다른 흐름은 기본 기술 라이브러리를 동적으로 정제하지 않고 MAS 조직 (에이전트 생성, 역할 업데이트, 또는 토폴로지 선택) 에 집중합니다. 저자들은 이러한 분리가 세 가지 반복적인 실패 모드를 초래한다고 주장합니다.

중복 증거: 컨텍스트가 적절히 관리되지 않으면 검증된 실행 흔적이 기술 진화를 위한 저가치 증거를 도입할 수 있습니다.
라우팅 과부하: 기술 진화는 MAS 조직의 라우팅과 유지 보수를 더 어렵게 만들어 컨텍스트 압박과 잘못된 전문화를 초래할 수 있습니다.
구조적 지연: 고정된 MAS 조직은 변화하는 작업 구조나 런타임 복잡성 뒤에 뒤처져 기술이 개선되더라도 병목 현상이 될 수 있습니다.

공유된 증거 표면이 없으면 시스템이 다음에 필요한 개입이 기술 진화인지, MAS 재구성인지, 아니면 아무런 변경도 없는 것인지 판단할 수 없습니다.

2. 방법론: SkillMAS

SkillMAS 는 공유된 **검증된 흔적 증거 표면 (verified-trace evidence surface)**을 사용하여 기술 진화와 MAS 재구성을 결합하도록 설계된 비모수적 프레임워크입니다. 이는 기본 언어 모델을 재학습시키지 않습니다. 대신, 시스템이 에피소드를 실행하고 유용성을 학습하며 경계된 업데이트를 적용하는 이산적 적응 라운드에서 작동합니다.

2.1 핵심 구성 요소

이 프레임워크는 기술 라이브러리 ( $L_r$ ), 실행자 집합 ( $A_r$ ), 기술 유용성 ( $Q^s_r$ ), 실행자 유용성 ( $Q^a_r$ ), 검증 풀 ( $P_r$ ), 그리고 정책에서 유도된 전문가 인덱스 ( $K_r$ ) 로 구성된 라운드 상태 $X_r$ 을 유지합니다.

A. 유용성 학습

SkillMAS 는 검색만으로가 아니라 검증된 실행 흔적을 기반으로 엄격하게 크레딧을 할당합니다.

기술 유용성 ( $Q^s$ ): 실행자 로컬 흔적 조각에 의해 명시적으로 호출되거나 지원된 기술에 대해서만 업데이트됩니다.
실행자 유용성 ( $Q^a$ ): 검증된 실행에 참여한 실행자에 대해서만 업데이트됩니다.
메커니즘: 시스템은 몬테카를로 크레딧 할당 규칙을 사용합니다. 흔적이 사용 (가드 및 단계 패턴 매칭) 을 확인한 경우에만 기술에 크레딧이 부여됩니다. 이는 단순히 검색되었지만 사용되지 않은 기술에 긍정적 크레딧을 부여하는 것을 방지합니다. 업데이트율은 특정 항목에 대한 이전 검증 업데이트 횟수에 따라 자동으로 감소합니다.

B. 경계된 기술 진화

유지된 증거 (반복된 실패, 간신히 놓친 경우, 재사용 가능한 성공으로 필터링됨) 는 기술 라이브러리에 대한 경계된 편집을 주도합니다.

진단 가능성: 실패 흔적은 지배적인 원인 (예: 누락된 전제 조건, 잘못된 순서) 에 매핑됩니다.
경계된 업데이트: 원인이 고유하게 식별 가능한 경우에만 시스템이 로컬 수리를 제안합니다. 허용되는 동작에는 add-guard(가드 추가), reorder-step(단계 재순서), tighten-retrieval(검색 강화), 또는 split-skill(기술 분할) 이 포함됩니다.
제약 조건: 제안은 필터링되지 않은 성장을 피하기 위해 기존 라이브러리와 통합됩니다. 새롭거나 대폭 수정된 기술은 충분한 사용 증거가 수집될 때까지 검증 풀 ( $P_r$ ) 에 보관됩니다.

C. 증거 게이트형 MAS 재구성

MAS 재구성 (실행자 추가, 병합, 또는 수정) 은 유지된 실패와 실행자 유용성이 구조적 불일치를 나타낼 때 유일하게 발생합니다.

트리거: 재구성은 유사한 실행자 간의 높은 불확실성, 기술 수리 후 특정 작업 계열에 집중된 반복된 실패, 또는 상호 간섭하는 기술 클러스터를 소유한 광범위한 실행자 등의 증거에 의해 게이트됩니다.
동작: 시스템은 책임 경계를 유지, 추가, 병합/제거, 또는 수정할 수 있습니다.
제약 조건: 라운드당 최대 하나의 재구성 편집이 적용되며, 이는 유지된 증거 집합에 의해 엄격하게 정당화됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다.

문제 공식화: 배포 후 전문화에서 적응 분해를 시스템 수준의 문제로 식별하고 형식화하여, 기술 진화와 MAS 조직이 공동으로 최적화되어야 한다고 주장합니다.
SkillMAS 프레임워크: 단일 검증된 흔적 증거 표면 아래에서 유용성 학습, 경계된 기술 진화, 증거 게이트형 MAS 재구성을 통합하는 비모수적 발판을 도입합니다.
실증 평가: 이 발판을 물리적 조작 (ALFWorld), 명령줄 OS 워크플로우 (Lifelong Agent Bench), 그리고 소매 서비스 상호작용 ( $\tau$ -Bench) 의 세 가지 서로 다른 도메인에서 평가합니다.

4. 실험 결과

저자들은 Direct LLM, ReAct, CDMem, Traj-Bootstrap 을 포함한 베이스라인에 대해 SkillMAS 를 평가했습니다.

ALFWorld (물리적 조작): SkillMAS 는 전체 보지 못한 분할 (126/134 작업) 에서 **94.0%**의 성공률을 달성하여, 93.0% 의 가장 강력한 출판된 참조 점수 (Traj-Bootstrap) 를 능가했습니다.
- Ablation: 최종 기술 라이브러리를 시드 MAS 조직에 이식하면 성능이 68.7% 로 떨어졌고, 시드 기술을 가진 전문화된 MAS 를 사용하면 50.0% 로 떨어졌으며, 이는 불일치하는 구성 요소가 성능을 저하시킨다는 것을 보여줍니다.
- 궤적: 시스템은 5 개에서 13 개로 성장한 활성 기술과 필요에 따라 추가된 전문 실행자 (검색, 조작, 가전제품) 를 보였습니다.
Lifelong Agent Bench (OS 작업): SkillMAS 는 150 개 작업 평가에서 **76.7%**의 성공률을 기록하여, Traj-Bootstrap 재실행의 70.0% 와 비교되었습니다.
- 궤적: 성공률은 10 개의 활성 기술과 4 개의 실행자로 라운드 3 에서 78/100 으로 정점을 찍었습니다. 주목할 점은 라운드 4 는 기술 수를 유지했지만 성능이 하락했는데, 이는 기술 수만으로는 성공을 보장하지 않는다는 것을 시사합니다.
$\tau$ -Bench (소매): SkillMAS 는 공식 기본 세트 (114 개 작업) 에서 **70.2%**를 달성했습니다.
- 궤적: 다른 벤치마크와 달리, 여기서 최고의 체크포인트는 단일 에이전트 시스템을 유지했습니다. "사전 비행 실행자"를 갖춘 다중 에이전트 설정으로 확장하면 실제로 성능이 하락 (32/74) 하여, SkillMAS 가 불필요할 때 MAS 재구성을 선택하지 않았음을 나타냅니다.

5. 중요성과 주장

본 논문은 개별 업데이트 목표 (기술 진화 또는 MAS 재구성은 이전 연구에서 고립되어 존재함) 의 새로움이 아니라, 공유된 증거 표면을 통한 이러한 목표들의 결합이 핵심 혁신이라고 주장합니다.

귀속: 이 프레임워크는 배포 후 전문화가 어떻게 귀속되고, 업데이트되며, 적용되는지를 명확히 하여, 크레딧이 실행 지원 동작에만 할당되도록 보장합니다.
적응 논리: 전문화가 균일하게 유익한 것은 아님을 보여줍니다. 시스템은 경험적 증거에 기반하여 MAS 를 확장하지 않거나 ( $\tau$ -Bench 에서와 같이) 재구성할 수 있어야 합니다 (ALFWorld 에서와 같이).
한계: 저자들은 겸손하게 증거가 벤치마크 국한적이며 프로토콜 의존적임을 지적합니다. 통제된 고정 목표 재학습 Ablation 과 인과적 기여에 대한 공식적 유의성 검사가 부족함을 인정하며, 아직 도메인 중립적 우월성을 주장하지는 않습니다. 또한 토큰/비용 회계는 아직 완전히 규명되지 않았다고 덧붙입니다.

요약하자면, SkillMAS 는 결합된 적응 메커니즘을 제시하며, LLM 에이전트가 배포 후 개선되려면 그들의 "도구"(기술) 의 진화와 "조직"(MAS 구조) 이 공유되고 검증된 실행 역사를 통해 조정되어야 한다고 주장합니다.