AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

本論文は、ユーザーとの対話履歴からスキルを自動的に抽出・進化させ、モデルの再学習なしに既存の LLM に動的に注入するプラグイン型フレームワーク「AutoSkill」を提案し、一時的な相互作用を再利用可能な永続的な能力へと変換するアプローチを示しています。

要約

この論文は、**「AutoSkill（オートスキル）」**という新しい仕組みについて紹介しています。

一言で言うと、**「AI との会話を『経験』として貯め込み、それを『スキル（特技）』として形にして、次回以降の会話に活かす仕組み」**です。

従来の AI は、会話が終わればその記憶は消えてしまい、毎回同じことを説明し直す必要がありました。しかし、AutoSkill はそれを「学習」ではなく「道具作り」に変えることで、AI を本当にあなたの「デジタルな分身」に近づけようとしています。

わかりやすくするために、いくつかの比喩を使って説明しましょう。

---

1. 従来の AI との「忘れっぽい秘書」の問題

今までの AI（大規模言語モデル）は、**「記憶力が抜群だが、忘れっぽい秘書」**のようなものです。

• 良い点: すぐに何でも答えてくれます。
• 悪い点: 会議が終わると、その時の「あの人には専門用語を使わないでほしい」「この形式でまとめてほしい」という**「あなたの好み」をすべて忘れてしまいます**。
• 結果: 毎回、新しい会議（セッション）が始まるたびに、「ねえ、私の好みはこうだからね」と説明し直す必要があり、とても面倒でした。

2. AutoSkill の「職人さんの道具箱」

AutoSkill は、この問題を解決するために**「経験から『型』を作る」**というアプローチをとります。

• 比喩: AI を**「職人さん」、あなたの要望を「注文」、そして AutoSkill を「職人さんの道具箱」**だと想像してください。
• 仕組み:
  1. あなたが「この文章はもっと丁寧にして」と頼むと、職人さんはその作業を**「丁寧な書き方の型（スキル）」**として道具箱にしまいます。
  2. 次回、あなたが同じような頼み方をすると、職人さんは**「あ、この『丁寧な書き方の型』を使えばいいんだ！」**と道具箱から取り出して使います。
  3. さらに、あなたが「もっと短くして」と修正を求めると、その型は**「バージョンアップ」**して、より完璧な道具に変わります。

このように、AI は**「頭の中（パラメータ）を書き換える」という重たい作業をせず、「道具箱（スキル）」**を整理・更新するだけで、あなたに合わせた完璧な対応ができるようになります。

3. AutoSkill がどうやって動くのか？（3 つのステップ）

このシステムは、まるで**「賢いアシスタント」**のように 3 つのステップを繰り返します。

① 経験から「レシピ」を作る（スキル抽出）

あなたが AI と会話している間、システムは裏側で「あ、この人はいつも『専門用語を避けてね』と言っているな」「『この形式で出力してね』と頼んでいるな」という**「繰り返されるパターン」を見つけます。
そして、それを「SKILL.md（スキルカード）」**という、人間が読めて編集できるファイルとして保存します。

• 例: 「猫娘として話す」「Python のコードを自動生成する」「心理カウンセラーのトーンで話す」といった**「役割の型」**が作られます。

② 道具箱を整理する（スキル管理）

新しい「レシピ」ができたら、すでに持っている「レシピ」と比較します。

• 同じようなものがある？ → 古いものと**「合体（マージ）」**させて、より良いバージョンにアップデートします。
• 全く新しいもの？ → 新しく**「追加」**します。
• ただの一言？ → 捨てます（ゴミ箱）。
  これにより、道具箱は常に整理され、無駄なものが溜まりません。

③ 必要な時に「レシピ」を使う（スキル活用）

あなたが次に何かを頼んだとき、AI は**「今、この作業にはどの『レシピ』が必要かな？」と道具箱から探します。
見つかったレシピを AI の指示に組み込んで、「あなたの好みに合わせた回答」**を生成します。

• 重要: AI の頭脳そのものを変える必要はありません。必要な時に必要な「レシピ」を差し込むだけでいいのです。

4. なぜこれがすごいのか？

• 透明性が高い: 従来の AI の「学習」はブラックボックス（中身が見えない）でしたが、AutoSkill は**「レシピ（スキルカード）」として保存されるため、人間が中身を見て「あ、ここが間違ってる」と直接修正**できます。
• 使い回しが効く: 一度作った「レシピ」は、他の人とも共有できます。「私の『丁寧なメール作成スキル』を、あなたの AI にも使ってみて」といったことも可能です。
• 進化し続ける: 使い続けるほどに、あなたの好みに合わせて「レシピ」が洗練されていきます。まるで**「成長するデジタル分身」**のようです。

まとめ

AutoSkill は、**「AI との会話を『思い出』として残すのではなく、『使える道具』として残す」**という画期的なアイデアです。

これによって、AI は毎回ゼロからやり直す必要がなくなり、あなたの**「癖」「好み」「仕事の流れ」を完璧に理解し、使いこなす「最高のパートナー」**へと進化していくのです。まるで、長年一緒に働いてきた相棒が、あなたのやり方を肌で理解しているような感覚を、AI にも実現しようとする論文です。

技術概要

AutoSkill: 経験駆動型生涯学習によるスキル自己進化の技術的サマリー

本論文は、大規模言語モデル（LLM）エージェントが、ユーザーとの対話履歴から明示的かつ再利用可能な「スキル」を自動的に抽出・維持・進化させるためのフレームワーク「AutoSkill」を提案するものです。従来のパラメータ更新や単なる記憶（メモリ）の蓄積に依存しない、トレーニングフリーの生涯学習アプローチを確立しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義 (Problem)

現状の課題

LLM を活用した実用的なエージェント（執筆支援、コーディング、意思決定など）において、ユーザーはセッションを跨いで安定した好みや要件（例：ハルシネーションの回避、特定の文体の遵守、専門用語の不使用、特定のワークフローの遵守など）を繰り返し示します。
しかし、現在のシステムでは以下の問題が存在します。

• 経験の未活用: 対話履歴は単なるテキストとして保存されるか、検索可能な「事実」として扱われるだけで、行動パターンやスキルとして定式化・再利用されません。
• セッションごとの再設定: ユーザーの習慣や期待は、新しいセッションのたびにゼロから再定義する必要があり、パーソナライゼーションが持続しません。
• 既存手法の限界:
  • パラメータ更新: 頻繁で微細なパーソナライゼーションにはコストが高く、制御が困難。
  • メモリベース（RAG など）: 過去の対話を「検索対象のテキスト」として扱うだけで、行動を「実行可能なルール」として操作化できていない。
  • スキル学習: 多くの場合、プロンプトや経路に暗黙的に埋め込まれており、検査・編集・共有が困難。

解決すべき課題

「一過性の対話経験」を「明示的、再利用可能、かつ構成可能な能力（スキル）」に変換し、モデルの再トレーニングなしにエージェントの能力を継続的に蓄積・進化させるメカニズムの構築。

---

2. 手法とアーキテクチャ (Methodology)

AutoSkill は、モデルのパラメータを変更することなく、外部のスキルメモリを通じて学習を行うトレーニングフリーのフレームワークです。システムは「スキル強化レスポンス生成ループ」と「スキル進化ループ」の 2 つの結合ループで構成されます。

2.1 核心的な概念：スキル（Skill）

スキルは、SKILL.md という構造化されたアセットとして表現されます。各スキルは以下の要素で構成されます。

• 名前 (n), 説明 (d)
• 実行可能プロンプト (p): 具体的な指示、制約、ワークフローを含む。
• トリガー集合 (τ), タグ集合 (γ)
• 例 (ξ), バージョン (v)

2.2 プロンプト駆動型モジュラーアーキテクチャ

すべての機能モジュールは、特定のタスク用プロンプトによって実装された汎用 LLM によって動作します。

1. クエリ書き換え (Query Rewriting): 現在のユーザー入力と文脈から、スキル検索に適した独立した検索クエリを生成。
2. ハイブリッドスキル検索 (Hybrid Skill Retrieval): 検索クエリとスキルバンク内のスキルに対して、密な意味的類似度（Embedding）と疎な語彙一致（BM25）を組み合わせ、関連するスキルを抽出。
3. スキル条件付き生成 (Skill-Conditioned Generation): 検索されたスキルをコンテキストとして注入し、LLM がユーザーに応答を生成。
4. スキル抽出 (Skill Extraction): 対話終了後、ユーザーのクエリ（モデルの応答は使用せず）から再利用可能な制約やパターンを抽出し、スキル候補を生成。
5. スキル管理・マージ (Skill Management & Merging):
   • 抽出された候補を既存のスキルと比較。
   • Add（追加）: 新規スキルとして登録。
   • Merge（マージ）: 既存スキルと統合し、バージョンをアップ（例: 0.1.0 → 0.1.1）。
   • Discard（破棄）: 一時的な要望やノイズとして破棄。

2.3 特徴

• トレーニングフリー: 基盤モデルの重み更新なし。
• バージョン管理: スキルは時間とともに反復的に洗練され、バージョン管理されるため、ユーザーの要件変化に対応可能。
• 人間による制御: スキルはテキストファイル（Markdown）として保存されるため、開発者やユーザーが直接確認・編集可能。

---

3. 主要な貢献 (Key Contributions)

1. 問題の定式化とフレームワークの提案:
   パーソナライズされた LLM エージェント向けに、「対話経験から明示的な再利用可能スキルへの変換」を定式化し、AutoSkill フレームワークを提案。
2. スキルライフサイクルの確立:
   抽出、構造化表現、反復的洗練、検索、再利用を含む完全なスキルライフサイクルを設計。ベースモデルのパラメータ変更なしに継続的な進化を可能に。
3. 編集可能でバージョン管理されたアセットとしてのスキル設計:
   暗黙的なメモリやポリシーベースのアプローチと比較し、透明性、制御性、長期的な保守性を大幅に向上。
4. オープンソースかつデプロイ可能なシステムの実装:
   既存の LLM やエージェントパイプラインと統合可能な Python SDK、Web UI、OpenAI 互換プロキシを提供。

---

4. 実験結果と分析 (Results)

4.1 データセットと評価

• データ: WildChat-1M（実際のユーザーと ChatGPT の対話ログ）を使用。8 回以上のターンを持つ会話を抽出し、言語（中国語/英語）とモデル（GPT-3.5/4）の 4 つのサブセットに分割。
• 統計:
  • 英語 GPT-3.5 サブセット（最大）: 10,243 会話、631 個の抽出スキル。
  • 中国語 GPT-4 サブセット（最小）: 1,145 会話、224 個の抽出スキル。
  • 抽出されたスキルのタグには、python, javascript, excel などの技術タスクや、creative writing, translation などの文書タスクが多数含まれていた。

4.2 ケーススタディ

• トップレベルの心理カウンセラー（中国語）: 対話スタイル（温かさ、共感、非審判的態度）をスキル化。ユーザーは毎回指示しなくても、このスキルが適用される。
• Professional Text Rewrite（英語）: 文章の書き換えスキル。バージョン 0.1.34 まで進化しており、34 回の反復的なユーザーフィードバックを通じて洗練されたことを示す。
• その他の例: 八字命理（中国の占星術）、小红书（中国の SNS）記事作成、猫娘ロールプレイ、Selenium 自動化スクリプト生成など、多様なドメインでスキルが抽出・維持されていることが確認された。

4.3 結果の示唆

• バージョン管理の有効性: 頻繁に使用されるタスク（例：文章書き換え）は、多くのバージョン更新を経て洗練される一方、特殊なタスクは初期バージョンのまま維持されるなど、フィードバックの頻度に応じた適応が確認された。
• 多言語・多ドメイン対応: 言語やタスク領域を問わず、構造化されたスキルとして能力を蓄積できることが実証された。

---

5. 意義と将来展望 (Significance)

学術的・実用的意義

• 生涯学習のパラダイムシフト: 「記憶（事実の蓄積）」から「スキル（行動知識の蓄積）」への単位の変更を提唱。エージェントの改善を「スキル抽出・維持・再利用のプロセス」として再定義。
• 透明性と制御性: 従来のブラックボックスな微調整や暗黙的なポリシードリフトに対し、人間が直接介入・編集可能な明示的なスキルアセットを提供。
• スケーラビリティ: モデルの再トレーニングを必要としないため、計算コストが低く、既存の LLM 生態系にプラグインとして容易に導入可能。

将来の展望

• パーソナルデジタルスーrogate: ユーザーの安定した習慣、好み、作業スタイルを反映する「個人用デジタル代理人」の実現への道筋を示す。
• スキル共有と転移: 異なるユーザー、タスク、エージェント間でスキルを共有・転送する基盤として機能する可能性。

結論

AutoSkill は、LLM エージェントが外部メモリを通じて経験から学習し、パラメータを変更せずに継続的にパーソナライズされた能力を獲得するための、実用的でスケーラブルな解決策を提供します。これは、単なる対話履歴の保存を超え、**「経験から能力へ」**という変換を実現する重要なステップです。