🤖 machine learning

FederatedSkill: Federated Learning for Agentic Skill Evolution

FederatedSkill은 원시 궤적 대신 의미론적 기술 패치를 집계함으로써 협력적인 에이전트 진화를 가능하게 하는 프라이버시 보존 프레임워크로, 고립된 자기 개선 베이스라인과 비교하여 작업 성공률을 크게 높이고 계산 비용을 줄이는 개인화된 기술 라이브러리 업데이트를 허용합니다.

원저자: Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

게시일 2026-06-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 웹을 탐색하거나, 데이터를 분석하거나, 업무를 자동화하는 등의 작업을 돕는 스마트 로봇 비서(AI 에이전트)를 가지고 있다고 상상해 보세요. 이 로봇들이 이러한 직무를 정말 잘 수행하기 위해서는 **기술 라이브러리(Skill Library)**가 필요합니다. 이는 도구 사용법, 문제 해결 방법, 그리고 여러 동작을 하나로 묶는 방법을 담은 디지털 도구 상자와 같습니다.

문제점: "외로운 학습자"와 "개인정보 유출"

현재 이 로봇들은 두 가지 방식으로 학습하며, 두 방식 모두 큰 결함이 있습니다.

외로운 학습자: 만약 로봇이 오직 자신의 사용자로부터만 학습한다면, 로봇은 정체됩니다. 로봇은 세상의 아주 좁은 단면만을 보게 됩니다. 만약 새로운 작업에 실패한다면, 로봇은 그 특정 문제를 해결하기 위한 적절한 "레시피"를 가지고 있지 않을 수 있습니다. 왜냐하면 그런 구체적인 문제를 본 적이 없기 때문입니다. 이는 마치 한 사람만을 위해 요리하는 요리사와 같습니다. 그들은 다른 사람들이 주문하는 특이한 재료들을 어떻게 다뤄야 하는지 결코 배울 수 없습니다.
개인정보 유출: 이 "외로운" 문제를 해결하기 위해, 로봇들은 중앙 서버와 경험을 공유하여 모두가 서로에게서 배울 수도 있습니다. 하지만 이는 위험합니다. 자신의 경험을 공유하기 위해서 로봇은 자신의 원시 일기(스크린샷, 개인 이메일, 기밀 스프레드시트 등)를 서버로 보내야 합니다. 이는 마치 요리사에게 새로운 요리 팁을 공유하기 위해서, 고객의 신용카드 번호와 집안의 비밀 레시피가 포함된 주방 전체의 영상을 보내라고 요구하는 것과 같습니다. 아무도 그런 것을 원하지 않습니다.

해결책: FederatedSkill

이 논문은 이러한 로봇 비서들이 개인적인 일기(데이터)를 전혀 공유하지 않고도 함께 학습할 수 있는 새로운 방법인 FederatedSkill을 소개합니다. 이것은 안전하고 협력적인 레시피 교환이라고 생각하면 됩니다.

작동 방식은 다음과 같습니다.

1. "일기" 대신 "패치(Patch)"

각 로봇은 자신의 주방을 찍은 원시 영상(개인 데이터)을 보내는 대신, 방금 자신이 무엇을 했는지 살펴보고, 무엇이 잘못되었거나 잘되었는지를 파악하여, 작고 구조화된 노트인 **"기술 패치(Skill Patch)"**를 작성합니다.

비유: 당신이 요리사라고 상상해 보세요. 당신의 하루 전체를 찍은 영상을 보내는 대신, 중앙 주방에 다음과 같은 짧은 노트를 보냅니다. "수프 레시피에 타는 것을 방지하기 위한 새로운 단계를 추가했습니다," 또는 "매운 소스 단계를 삭제했습니다. 너무 매웠기 때문입니다."
마법 같은 점: 이 노트(패치)에는 교훈은 담겨 있지만, 개인적인 세부 사항은 담겨 있지 않습니다. 누가 수프를 먹었는지, 혹은 그들의 알레르기가 무엇이었는지는 말하지 않습니다. 단지 수프를 어떻게 고쳐야 하는지만을 말해줍니다.

2. "스마트 매니저" (서버)

서버 측에는 특별한 "진화 에이전트(Evolution Agent, 스마트 매니저)"가 있습니다. 매니저의 역할은 단순히 모든 사람의 노트를 하나의 거대한 책으로 복사해서 붙여넣는 것이 아닙니다. 그렇게 한다면 재앙이 될 것입니다. 왜냐하면 로봇마다 서로 다른 뇌와 도구를 가지고 있기 때문입니다.

비유: 가스레인지나 전기 오븐 등 서로 다른 오븐을 사용하고 숙련도도 제각각인 요리사 팀을 관리하는 마스터 셰프를 상상해 보세요.
- 만약 가스 오븐을 사용하는 요리사가 스테이크를 굽는 새로운 방법을 제안한다면, 매니저는 그것이 전기 오븐을 사용하는 요리사에게는 맞지 않을 수도 있다는 것을 압니다.
- 매니저는 노트들을 살펴보고, 어떤 로봇이 무엇에 능숙한지 파악한 뒤, 업데이트 내용을 **맞춤화(Customize)**합니다.
- 가스 오븐 요리사에게는 "이 새로운 시어링(searing) 기술을 사용하세요"라고 말할 수 있습니다. 반면, 전기 오븐 요리사에게는 "그것은 무시하되, 당신의 오븐에 맞는 다른 기술을 알려주겠습니다"라고 말할 수 있습니다.

3. 결과: 개인화된 성장

매니저가 업데이트를 맞춤형으로 제공하기 때문에, 모든 로봇은 자신의 특정 필요와 역량에 맞는 개인화된 라이브러리를 갖게 됩니다.

개인정보 손실 없음: 원시 데이터(고객의 신용카드, 비밀 레시レシピ 등)는 로봇의 로컬 주방을 절대 떠나지 않습니다. 오직 추상화된 "교훈"만이 이동합니다.
성능 향 향상: 이 논문은 20가지 다양한 유형의 작업(금융 분석이나 웹 탐색 등)을 통해 이를 테스트했습니다. 연구 결과, 이 시스템을 사용하는 로봇은 혼자 학습하는 로봇보다 작업 성공률이 44% 더 높았습니다.
비용 절감: 로봇들이 더 잘 학습하고 똑같은 실수를 반복하며 시간을 낭비하지 않았기 때문에, 작업을 완수하는 데 필요한 컴퓨팅 자원(및 비용)을 37% 적게 사용했습니다.

요약

FederatedSkill은 요리사들이 (개인적인 고객 명단 같은) 원시 데이터 대신 *팁과 기술(기술 패치)*을 공유하는 글로벌 요리 클럽과 같습니다. 그런 다음 스마트 매니저가 그 팁들을 가져와 각 요리사의 특정 주방에 맞게 변형하여, 비밀을 침해하지 않으면서도 모두가 더 나은 요리를 할 수 있도록 돕습니다.

이 논문은 이것이 실제로 작동함을 증명합니다. 이는 AI 에이전트를 더 똑똑하고, 빠르고, 프라이버시를 보호하며 발전하게 만들어, 데이터 유출의 위험 없이도 협력적으로 기술을 진화시킬 수 있게 해줍니다.

기술 요약: FederatedSkill

문제 정의

현대의 대규모 언어 모델(LLM) 에이전트는 복잡하고 다단계적인 작업을 처리하기 위해 재사용 가능한 절차적 기억의 집합인 **스킬 라이브러리(skill libraries)**에 점점 더 의존하고 있습니다. 에이전트는 로컬 실행 궤적(trajectories)을 기반으로 라이브러리를 진화시킴으로써 스스로 개선할 수 있지만, 단일 사용자 데이터 스트림은 데이터 병목 현상을 겪습니다. 즉, 롱테일(long-tail) 작업이나 까다로운 작업을 위한 포괄적인 스킬을 구축하는 데 필요한 다양성이 부족합니다.

기존의 협업 방식은 이를 극복하기 위해 원시 실행 궤적을 중앙 서버로 공유하려고 시도합니다. 그러나 이 패러다임은 두 가지 결정적인 장애물에 직면해 있습니다:

개인정보 보호 위험: 원시 궤적에는 민감한 정보(예: 개인적인 웹 콘텐츠, 기밀 스프레드시트 데이터)가 포함될 수 있으며, 사용자는 이를 신뢰할 수 있는 서버라 할지라도 안전하게 전송할 수 없습니다.
클라이언트 이질성: 단일한 글로벌 스킬 라이브러리가 모든 사용자에게 최적의 해답이 되는 경우는 드뭅니다. 스킬의 효과는 특정 모델 제품군, 에이전트 프레임워크(harness), 그리고 클라이언트의 작업 분포에 따라 달라집니다. 단순한 결합(aggregation)은 이질적인 사용자들에게 적절히 대응하지 못하는 "일률적인(one-size-fits-all)" 라이브러리를 초래합니다.

본 연구가 다루는 핵심 질문은 다음과 같습니다: 사용자들이 개인정보를 보호하면서도 자신의 특정 요구에 맞춘 스킬 라이브러리를 얻으며 협력적으로 스킬을 진화시킬 수 있는가?

방법론: FederatedSkill

저자들은 클라이언트-서버 루프로 작동하는 개인정보 보호형 협업 에이전트 진화 프레임워크인 FederatedSkill을 제안합니다. 이는 연합 학습(federated learning)에서 영감을 얻었으나, 통신 단위를 모델 가중치에서 **의미론적 스킬 차분(semantic skill diffs)**으로 변형하여 적용했습니다.

1. 클라이언트 측: 로컬 실행 및 패치 증류(Patch Distillation)

클라이언트는 원시 궤적을 업로드하는 대신 로컬 자가 성찰(self-reflection) 및 증류를 수행합니다:

로컬 실행: 클라이언트 에이전트는 현재의 스킬 라이브러리( $L_i$ )와 백본 모델( $\rho_i$ )을 사용하여 작업을 수행하고, 궤적 배치( $B_i$ )를 생성합니다.
패치 증류: 로컬 패처(클라이언트의 백본을 공유함)는 궤적과 현재 라이브러리를 분석하여 **스킬 패치( $\delta_i$ $δ_{i}$ )**를 생성합니다.
- 구조: 패치는 라이브러리 파일(예: SKILL.md)에 대한 ADD(추가), EDIT(수정), 또는 DELETE(삭제) 연산을 포함하는 구조화된 튜플입니다.
- 설계에 의한 개인정보 보호: 패처는 작업별 특정 값, ID, 원시 상호작용 로그를 제거하도록 명시적으로 프롬프트됩니다. 이는 오직 고수준의 재사용 가능한 절차적 지식(playbooks)과 구조적 경로만을 출력합니다. 원시 궤적과 민감한 데이터는 엄격하게 로컬에 머뭅로 유지됩니다.
- 출력: 클라이언트는 라이브러리에 대한 의미론적 변경 사항을 기록한 패치 $\delta_i$ 만을 업로드합니다.

2. 서버 측: 개인화된 진화 에이전트

서버는 부분 관측 가능성(partial observability) 하에서 작동하는 **진화 에이전트( $M$ )**를 호스팅합니다(이 에이전트는 패치와 클라이언트 프로필만 볼 수 있으며, 원시 데이터는 볼 수 없습니다). 이 에이전트는 집합 과정을 **부분 관측 가능 마르코프 결정 과정(POMDP)**으로 취급합니다.

역량 모델링: 에이전트는 **역량 매트릭스(Capability Matrix)**와 2단계 메모리를 유지합니다:
- 공유 메모리(Shared Memory): 연합 전체에서 어떤 작업 워크플로우가 해결되었는지, 흡수되었는지, 깨졌는지, 또는 누락되었는지를 추적합니다.
- 프라이빗 메모리(Private Memory): 각 클라이언트별 모델 특유의 실패 모드와 역량 경계(capability boundaries)를 기록합니다.
개인화된 계획: 에이전트는 패치를 하나의 글로벌 평균으로 병합하는 대신, 각 클라이언트를 위한 개인화된 진화 계획을 생성합니다. 에이전트는 어떤 피어(peer)의 스킬을 채택할지, 대상 클라이언트의 모델/하네스에 맞게 어떻게 리팩토링할지, 그리고 어떤 것을 거부할지를 결정합니다.
실행: 에이전트는 이러한 지침을 적용하여 각 클라이언트의 라이브러리( $L_i^{t+1}$ )를 업데이트하며, 이를 통해 결과물이 각 클라이언트의 특정 "역량 경계"에 맞춤화되도록 보장합니다.

주요 기여

개인정보 보호 프로토콜: 본 논문은 에이전트들이 원시 궤적 대신 의미론적 스킬 패치를 교환하는 메커니즘을 도입했습니다. 이는 기존의 궤적 공유 방식에서 발생하는 민감한 사용자 데이터(PII, 기밀 비즈니스 로직 등)의 유출 문제를 제거합니다.
개인화된 연합 진화: 전통적인 연합 학습(파라미터를 집합함)이나 기존의 협업 스킬 연구(단일 글로벌 라이브러리를 생성함)와 달리, FederatedSkill은 의미론적 스킬 수준에서 개인화를 달성합니다. 이는 클라이언트의 이질성을 동적으로 모델링하여 각 클라이언트에 최적화된 별도의 라이브러리를 생성합니다.
프레임워크 구현: 이 시스템은 서버가 "병합 에이전트"로서 역할을 하며 스킬을 큐레이션하고 적응시키는 클라이언트-서버 루프로 구현되었습니다. 이를 통해 다양한 모델 백본(예: Qwen, GLM, Kimi)과 에이전트 하네스(예: Claude Code, Qwen Coder)의 복잡성을 처리합니다.

실험 결과

본 프레임워크는 20개의 서로 다른 작업 제품군을 아우르는 SkillFlow 벤치마크에서 다양한 LLM 백본과 에이전트 하네스를 포함하는 이질적인 설정으로 평가되었습니다.

성능 향상: FederatedSkill은 자가 진화 베이스라인(에이전트가 고립되어 진화하는 경우)보다 성능이 크게 뛰어납니다.
- 최대 44.4%의 작업 성공률 증가를 달알성했습니다.
- 동질적 및 고도로 이질적인 설정(서로 다른 모델 및 하네스) 모두에서 견고한 성능 향상을 입증했습니다.
비용 효율성: 라이브러리 비대화(자가 진화에서 나타나는 통제되지 않은 스킬 증가)를 방지함으로써 비용을 절감했습니다.
- 해결된 작업당 비용을 최대 37.5% 감소시켰습니다.
- 다양한 모델에 걸쳐 시행당 API 비용을 7%에서 24%까지 줄였습니다.
개인화의 필요성: FederatedSkill을 "글로벌(Global)" 베이스라인(단일 공유 라이브러리)과 비교한 절제 연구(Ablation study) 결과, 개인화된 진화가 비개인화 접근 방식보다 평균 **12.2%**의 성능 향상을 가져왔음을 보여주었으며, 이는 단일 글로벌 라이브러리가 이질적인 클라이언트에게 최적이 아님을 확인시켜 줍니다.
개인정보 보호 검증: 경험적 개인정보 감사 결과, 외부로 나가는 스킬 패치는 민감한 엔티티를 단 **5.08%**만 유출했습니다(단순 요약 방식의 경우 52%). 또한 클라이언트로 다시 방송되는 개인화된 업데이트의 유출률은 미미한 **0.09%**였습니다.

의의 및 주장

본 논문은 FederatedSkill이 에이전트 자가 개선을 위한 매우 효과적인 연합 단위로서 스킬 라이브러리를 확립했다고 주장합니다. 이 연구의 의의는 협업 학습과 개인정보 보호 사이의 트레이드오프를 해결하는 데 있습니다:

데이터 프라이버시를 침해하지 않으면서도 다양한 사용자층의 집단적 경험으로부터 에이전트가 학습할 수 있게 합니다.
현재의 협업 프레임워크가 가진 "글로벌 평균"의 한계를 넘어, 서로 다른 에이전트가 서로 다른 역량을 가지고 있으며 이에 따른 맞춤형 솔루션이 필요함을 인정합니다.
의미론적 수준의 추상화(패치)가 고성능 전이를 위한 충분한 수단임을 입증하며, 원시 데이터나 파라미터 수준의 연합 학습과 관련된 막대한 대역폭 및 개인정보 비용을 피할 수 있음을 보여줍니다.

저자들은 신뢰할 수 있는 서버 환경을 가정한다는 점(악의적이거나 오염된 패치에 대한 방어 부재)과 계산 자원으로 인해 현재 동시 접속 클라이언트 수가 제한적이라는 점을 한계로 언급했습니다. 그러나 이들은 본 프레임워크가 확장 가능하고 개인정보를 보호하는 협업 에이전트 생태계를 향한 기초적인 단계가 될 것이라고 주장합니다.