AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

이 논문은 대화 경험을 재사용 가능한 기술로 자동 추출하고 진화시켜 LLM 에이전트가 재학습 없이도 개인화된 능력을 지속적으로 습득하고 공유할 수 있게 하는 'AutoSkill'이라는 경험 기반의 평생 학습 프레임워크를 제안합니다.

핵심

이 논문은 **"AutoSkill"**이라는 새로운 시스템을 소개합니다. 쉽게 말해, 인공지능 (AI) 이 사람과 대화할 때마다 그 경험을 잊지 않고, 마치 '기술'이나 '요령'으로 만들어서 나중에 다시 쓸 수 있게 해주는 시스템입니다.

기존의 AI 는 대화를 마치면 그 내용을 기억하지 못하거나, 매번 똑같은 실수를 반복하곤 했습니다. 하지만 AutoSkill 은 AI 가 "아, 이 사용자는 이런 스타일을 좋아하구나", "이런 실수는 하지 말아야겠다"라고 배운 것을 **명확한 '기술 카드' (Skill Card)**로 만들어서 저장해 둡니다.

이 개념을 더 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

🧠 비유 1: "기억력 좋은 비서" vs "기술을 배우는 도제"

• 기존 AI (기억력 좋은 비서):
  사용자가 "내일 회의 자료는 파란색으로 만들어줘"라고 하면 그 자리에서는 잘 따라합니다. 하지만 다음 날 새로운 대화에서 "회의 자료"를 요청하면, 비서는 "어? 파란색이 필요했었나? 기억이 안 나는데?"라고 하며 다시 물어보거나 실수할 수 있습니다. 과거의 경험을 '단순한 대화 기록'으로만 저장하기 때문입니다.

• AutoSkill (기술을 배우는 도제):
  사용자가 "파란색으로 만들어줘"라고 한 경험을 바탕으로, 비서는 **"파란색 회의 자료 작성법"**이라는 기술 카드를 만들어서 책장에 꽂아둡니다.
  다음에 회의 자료를 요청하면, 비서는 책장에서 그 카드를 꺼내어 "아! 이 사용자는 파란색을 좋아했지!"라고 바로 적용합니다. 그리고 만약 사용자가 "이번엔 좀 더 간결하게 해줘"라고 수정하면, 비서는 그 카드를 **수정 (업데이트)**해서 다시 책장에 꽂아둡니다.

🛠️ 비유 2: "요리 레시피"와 "요리사"

• 일반적인 AI:
  요리사에게 "오늘 저녁은 매운탕을 만들어줘"라고 하면 그 자리에서 만들어줍니다. 하지만 내일 다시 "매운탕"을 시키면, 요리사는 "어? 어제처럼 얼마나 매운 걸로 만들어야 하지? 다시 물어봐야지"라고 할 수 있습니다.

• AutoSkill 시스템:
  AI 는 매번 새로운 요리를 할 때마다, 사용자의 취향을 반영한 **새로운 레시피 (기술 카드)**를 작성합니다.

  • 1 단계 (추출): "사용자가 매운탕을 만들 때 '고춧가루를 많이 넣지 말고, 멸치 육수를 쓰라고 했다'는 것을 발견함."
  • 2 단계 (카드화): 이 경험을 **'멸치 육수 매운탕 레시피'**라는 카드에 적어둠.
  • 3 단계 (재사용): 다음에 매운탕을 시키면, AI 는 이 카드를 꺼내어 "아, 이 레시피대로 하면 되네!"라고 바로 적용함.
  • 4 단계 (진화): 사용자가 "이번엔 고추기름을 추가해줘"라고 하면, 레시피 카드를 수정해서 더 완벽한 버전으로 만듦.

🔄 이 시스템이 어떻게 작동하나요? (3 단계 과정)

1. 배우기 (추출):
   사용자가 AI 와 대화할 때, AI 는 "아, 이 사람은 기술 용어를 쓰지 말라고 했구나", "이 사람은 항상 이메일 형식을 원하구나"라는 반복되는 패턴을 찾아냅니다. 이때 AI 는 단순히 대화 내용을 저장하는 게 아니라, **"어떻게 해야 이 사용자를 만족시킬 수 있을까?"**라는 **요령 (기술)**을 뽑아냅니다.

2. 정리하기 (관리):
   뽑아낸 요령이 이미 있는 것과 비슷한지, 아니면 새로운 것인지 확인합니다.

   • 비슷하다면? 기존 요령 카드를 업데이트합니다. (예: 버전 1.0 → 1.1)
   • 완전히 새로운 거라면? 새로운 카드를 만들어 책장에 추가합니다.
   • 쓸모없는 거라면? 버립니다.

3. 쓰기 (활용):
   사용자가 다음에 질문을 하면, AI 는 먼저 책장에 있는 기술 카드들을 뒤져서 가장 적합한 것을 찾아냅니다. 그리고 그 카드를 읽으며 답변을 만듭니다. 이렇게 하면 AI 는 매번 처음부터 배우는 것이 아니라, 배운 기술을 바로 적용할 수 있습니다.

✨ 왜 이것이 중요한가요?

• 재학습 불필요: AI 의 두뇌 (모델 자체) 를 다시 훈련시킬 필요가 없습니다. 그냥 '기술 카드'만 추가하거나 수정하면 되니까 빠르고 저렴합니다.
• 투명성: AI 가 왜 그런 답변을 했는지 알 수 있습니다. "아, 내가 '파란색' 카드를 봤기 때문에 파란색으로 만들었구나"라고 사용자가 직접 카드를 확인하고 수정할 수도 있습니다.
• 개인화: 사용자마다 자신만의 '기술 카드 책장'이 만들어집니다. A 사용자는 "공손한 말투"를, B 사용자는 "간결한 말투"를 선호한다면, AI 는 두 사람 모두에게 완벽하게 맞춰진 답변을 줄 수 있습니다.

📝 결론

이 논문은 **"AI 가 사람과 대화할 때마다 그 경험을 잊지 않고, 명확한 '기술'로 만들어서 계속 발전하게 하자"**는 아이디어를 제시합니다.

마치 우리가 새로운 일을 배울 때, 실수를 반복하며 '요령'을 익히고 그 요령을 나중에 다시 쓰는 것처럼, AI 도 사람과 대화하며 '요령 (기술)'을 스스로 만들어내고 발전시키는 것입니다. 이를 통해 AI 는 단순한 대화相手を 넘어, 사용자의 습관과 취향을 완벽하게 이해하는 **'개인 비서'**가 될 수 있게 됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

대규모 언어 모델 (LLM) 기반 에이전트가 실제 환경에 배포되면서, 사용자는 세션 간에 일관된 선호도와 요구사항 (예: 환각 현상 감소, 특정 기관의 작성 양식 준수, 전문 용어 회피 등) 을 반복적으로 표현합니다. 그러나 기존 시스템은 다음과 같은 한계를 가지고 있습니다:

• 재사용 가능한 지식의 부재: 반복되는 상호작용 경험이 재사용 가능한 지식으로 축적되지 않습니다.
• 세션 간 능력 누락: 매번 새로운 세션이 시작될 때마다 사용자의 습관이나 작업별 기대치를 처음부터 다시 설정해야 합니다.
• 기존 접근법의 부족:
  • 파라미터 업데이트: 비용이 많이 들고 세밀한 개인화가 어렵습니다.
  • 메모리 기반 접근 (RAG 등): 과거 대화를 단순히 '텍스트'로 검색할 뿐, 이를 실행 가능한 '행동 (Behavior)'으로 전환하지 못합니다.
  • 스킬 학습: 스킬이 프롬프트나 정책에 암묵적으로 숨겨져 있어 수정, 공유, 유지 관리가 어렵습니다.

이러한 문제를 해결하기 위해 명시적이고 재사용 가능하며 유지 관리 가능한 '스킬 (Skill)'로 상호작용 경험을 변환하는 메커니즘이 필요합니다.

---

2. 방법론 (Methodology)

AutoSkill은 LLM 에이전트가 대화 및 상호작용 흔적 (traces) 에서 스킬을 자동으로 유도, 유지, 재사용할 수 있도록 하는 모델 무관 (Model-agnostic) 인 경험 기반 평생 학습 프레임워크입니다. 핵심은 모델 파라미터를 업데이트하지 않고 외부 '스킬 메모리'를 통해 능력을 축적하는 것입니다.

2.1 핵심 아키텍처 및 모듈

시스템은 5 개의 프롬프트 기반 모듈로 구성되며, 학습 없이 추론 시 (Inference-time) 만 작동합니다.

1. 쿼리 재작성 (Query Rewriting): 현재 사용자 입력을 검색 최적화 된 독립적인 쿼리로 변환합니다.
2. 대화 응답 생성 (Dialogue Generation): 검색된 스킬 컨텍스트를 기반으로 응답을 생성합니다.
3. 스킬 추출 (Skill Extraction): 사용자 쿼리 (모델 응답이 아님) 에서 재사용 가능한 제약 조건, 워크플로우, 선호도를 추출하여 SKILL.md 형태의 스킬 후보를 생성합니다.
4. 스킬 관리 판단 (Skill Management Judge): 새로 추출된 후보를 기존 스킬과 비교하여 추가 (Add), 병합 (Merge), 폐기 (Discard) 중 하나를 결정합니다.
5. 스킬 병합 (Skill Merging): 기존 스킬과 새로운 피드백을 통합하여 버전이 업데이트된 새로운 스킬을 생성합니다.

2.2 스킬 수명 주기 (Skill Lifecycle)

1. 추출 (Extraction): 대화에서 재사용 가능한 패턴 (스타일 제약, 도구 사용 절차, 도메인 규칙 등) 을 식별하여 구조화된 스킬 아티팩트 (SKILL.md) 로 변환합니다.
2. 관리 및 버전 관리 (Management & Versioning):
   • 하이브리드 검색: 밀도 벡터 (Semantic) 와 BM25 (Lexical) 점수를 결합하여 유사한 기존 스킬을 찾습니다.
   • 판단: 새로운 스킬이 기존 스킬의 확장이면 병합 (버전 증가), 완전히 새로운 기능이면 추가, 일회성 요청이면 폐기합니다.
   • 버전 제어: 스킬은 v0.1.0과 같은 버전 번호를 가지며, 지속적인 피드백을 통해 점진적으로 정제됩니다.
3. 검색 및 재사용 (Retrieval & Reuse): 새로운 요청 시, 쿼리 재작성 후 관련 스킬을 검색하여 프롬프트에 주입 (Injection) 하고, 이를 통해 모델이 사용자 선호도에 맞춰 응답하도록 합니다.

2.3 시스템 특징

• 학습 불필요 (Training-free): 모델 파라미터 변경 없이 외부 메모리만 업데이트됩니다.
• 명시적 표현: 스킬은 사람이 읽을 수 있고 수정 가능한 SKILL.md 파일로 저장되어 투명성과 통제 가능성을 보장합니다.
• 플러그인 레이어: 기존 LLM 스택 위에 쉽게 통합 가능합니다.

---

3. 주요 기여 (Key Contributions)

1. 문제 공식화 및 프레임워크 제안: 개인화된 LLM 에이전트를 위해 상호작용 경험을 명시적이고 재사용 가능한 스킬로 변환하는 문제를 정의하고 AutoSkill 프레임워크를 제안했습니다.
2. 스킬 수명 주기 설계: 추출, 구조화, 반복적 정제, 검색, 재사용을 포함한 완전한 스킬 수명 주기를 설계하여, 베이스 모델 파라미터 수정 없이 지속적인 능력 진화를 가능하게 했습니다.
3. 편집 가능하고 버전 관리된 아티팩트: 암묵적인 메모리나 정책 기반 접근법과 달리, 스킬을 사람이 직접 inspect 하고 수정할 수 있는 버전 관리된 아티팩트로 설계하여 투명성과 장기 유지보수성을 높였습니다.
4. 오픈 소스 및 배포 가능한 시스템 구현: 기존 LLM 및 에이전트 파이프라인과 통합 가능한 오픈 소스 시스템을 구현하여, 평생 개인화 에이전트 실현을 위한 실용적인 경로를 제시했습니다.

---

4. 실험 결과 및 분석 (Results & Analysis)

저자는 WildChat-1M (실제 ChatGPT 상호작용 로그) 데이터를 기반으로 실험을 수행했습니다.

• 데이터셋: 4 가지 하위 집합 (중국어/영어, GPT-3.5/4) 으로 구성되었으며, 8 회 이상의 턴을 가진 대화만 선별했습니다.
• 스킬 추출 통계:
  • 총 1,858 개의 스킬이 추출되었습니다.
  • 가장 빈번한 태그는 프로그래밍 (Python, JavaScript, C++ 등) 과 데이터 처리 (Pandas, Excel) 였으며, 창의적 글쓰기, 교육, 번역 등 다양한 도메인도 포함되었습니다.
  • 플랫폼 관련 스킬은 Twitter/X, Instagram, YouTube 등에 집중되어 있었습니다.
• 버전 진화 사례:
  • professional_text_rewrite (영어) 스킬은 v0.1.34까지 진화하여, 동일한 작업에 대한 반복적인 피드백이 하나의 스킬로 통합되고 정제됨을 보여주었습니다.
  • 반면, 顶级心理咨询师 (중국어) 와 같은 특정 도메인 스킬은 초기 버전 (v0.1.0) 에 머무르며, 사용 빈도에 따른 진화 속도의 차이를 입증했습니다.
• 케이스 스터디:
  • 심리 상담사 역할: 대화 스타일, 공감, 비심리학적 진단 금지 등 추상적인 상호작용 선호도를 스킬로 성공적으로 인코딩했습니다.
  • 전문 텍스트 재작성: 문법, 톤, 형식 등 구체적인 제약 조건과 '반대 패턴 (Anti-patterns)'을 명확히 정의하여 재사용 가능한 작업 흐름으로 변환했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

AutoSkill 은 LLM 에이전트의 평생 학습 (Lifelong Learning) 에 있어 중요한 패러다임 전환을 제시합니다.

• 메모리에서 행동 지식으로: 단순한 과거 대화 기록 (텍스트) 을 저장하는 것을 넘어, 이를 실행 가능한 행동 지식 (Skill) 으로 추상화합니다.
• 제어 가능성과 투명성: 모델 내부의 블랙박스 상태가 아닌, 사용자가 직접 확인하고 수정할 수 있는 명시적인 아티팩트 (SKILL.md) 를 통해 에이전트의 학습 과정을 통제할 수 있게 합니다.
• 확장성과 실용성: 모델 재학습 없이도 사용자의 선호도, 스타일, 워크플로우를 지속적으로 반영할 수 있어, 진정한 의미의 개인 디지털 대리인 (Personal Digital Surrogate) 을 구현하는 실용적인 길을 제시합니다.

결론적으로 AutoSkill 은 상호작용 경험을 명시적이고 재사용 가능하며 조립 가능한 능력으로 변환함으로써, 모델 파라미터 수정 없이도 에이전트가 지속적으로 진화할 수 있는 확장 가능하고 효과적인 경로를 제시합니다.