AI Steerability 360: A Toolkit for Steering Large Language Models

IBM が公開した「AI Steerability 360」は、プロンプト、構造、状態、出力の 4 つの制御面を統一的なパイプラインで操作し、複数の手法を組み合わせることで大規模言語モデルの制御と評価を容易にするオープンソースの Python ツールキットです。

要約

AI 操縦士 360 度キット：AI の「性格」を自在に操るための新しい道具箱

こんにちは！今日は、IBM の研究者たちが開発した**「AI Steerability 360（AI 操縦性 360 度）」**という新しいツールについて、難しい専門用語を使わずに、みなさんの日常に例えながらお話しします。

🎮 想像してみてください：AI は「自動運転車」のようなもの

みなさんは、最新の自動運転車に乗ったことを想像してみてください。
この車（AI モデル）は、元々とても賢く、世界中の情報を学んでいますが、「運転の癖」や「性格」が固定されている状態です。

• 誰かの意見に何でも「はい、そうです！」と同意してしまう（おべんちゃらな性格）。
• 指示を無視して勝手に喋り出す（わがままな性格）。
• 嘘をつきやすい（不誠実な性格）。

これまでの技術では、この車の「性格」を変えるのは、**エンジンを分解して作り直す（モデルを最初から訓練し直す）**か、**運転手に大声で指示を出す（プロンプトを工夫する）**くらいしか方法がありませんでした。でも、これでは「おべんちゃら」を「正直者」に変えるのが難しかったり、複数の指示を同時に与えたりするのが大変だったんです。

そこで登場したのが、この**「AI 操縦士 360 度キット」**です。

🛠️ このキットは何ができるの？

このキットは、AI という車を**「4 つの異なる場所」**から自由に操縦できるような、万能のハンドルとスイッチのセットです。

1. 入力操作（運転手への指示）

   • 例え： 運転手（AI）に「今日は青い服を着て運転してね」と事前に言い聞かせること。
   • 仕組み： AI に入力する文章（プロンプト）を少し変えて、AI の行動を誘導します。

2. 構造操作（車の改造）

   • 例え： 車のエンジンやギアを交換して、根本的に「スポーツカー」から「家族車」へ変えること。
   • 仕組み： AI の内部の重み（パラメータ）を微調整して、性格そのものを変えます。

3. 状態操作（思考の瞬間の介入）

   • 例え： 運転中に「あ、今、赤信号で止まろう」と瞬間的にブレーキを踏んだり、アクセルを踏んだりすること。
   • 仕組み： AI が答えを生成している最中に、内部の「思考の瞬間（活性化）」に手を加えて、方向転換させます。これは**「一時的な魔法」**のようなもので、AI 自体は壊しません。

4. 出力操作（答えのフィルタリング）

   • 例え： 運転手が喋ろうとした言葉を、**「嘘は禁止」「丁寧語だけ」**というフィルターを通してから、実際に喋らせること。
   • 仕組み： AI が生成しようとしている答えを、最終段階でチェックして修正します。

🧩 レゴブロックのように組み合わせる

このキットのすごいところは、**「複数の操作を組み合わせられる」**ことです。

例えば、「おべんちゃらな AI」を「正直で、かつ丁寧な AI」に変えたいとします。

• 「状態操作」で「嘘をつかないように」するスイッチを入れる。
• 「出力操作」で「丁寧な言葉遣い」にするフィルターを通す。

これらを**「パイプライン（配管）」**という仕組みでつなぐだけで、まるでレゴブロックを組み立てるように、複雑な AI の性格を自在に作り上げることができます。

📊 運転の練習とテスト（評価機能）

ただ操縦できるだけでなく、「本当にうまく操縦できているか」をチェックするテスト機能も付いています。

• 使用ケース（課題）： 「指示に従ってメールを書く」「嘘をつかないようにする」など、具体的なテスト課題を設定します。
• ベンチマーク（成績表）： AI がその課題をどれだけ上手にこなしたかを点数化します。

さらに、**「どのくらい強く操作すればいいか」**を試しながら調整する機能もあります。

• 「おべんちゃらを 100% 消す」のではなく、「50% 消す」「70% 消す」と強さを変えて、「正直さ」と「会話の楽しさ」のバランスが最も良いポイントを見つけることができます。
  • 強すぎると AI が無口になったり、逆に弱すぎると効果がなかったりするからです。

🌟 なぜこれが重要なの？

これまで、AI の「性格」をどう変えるかは、研究者たちがそれぞれバラバラのやり方で試行錯誤していました。でも、このキットがあれば：

1. 誰でも簡単に実験できる： 専門知識がなくても、このキットを使えば AI の操縦方法を試せます。
2. 公平な比較ができる： 「A という方法」と「B という方法」が、同じ課題でどちらが優れているかを、同じルールで比べられます。
3. 副作用を防げる： 「正直にする」という操作をした結果、「無口になってしまった」といった予期せぬ副作用を見つけることができます。

🚀 まとめ

この「AI 操縦士 360 度キット」は、AI という巨大な車を、「誰が」「どう」「どのくらい」操縦するかを、誰でも自由に試せるようにした**「実験用シミュレーター」**のようなものです。

これにより、AI がより安全に、私たちが望む形で活躍できるようになることが期待されています。まるで、AI という新しい乗り物を、私たちが安心して運転できるようになるための「運転免許試験場」ができたようなものですね！

---

このツールはオープンソース（誰でも使える無料の道具）として公開されており、世界中の開発者が一緒に改良していく予定です。

技術概要

AI Steerability 360: 大規模言語モデル（LLM）の制御を可能にするツールキットの技術的概要

本論文は、IBM Research によって開発されたオープンソースの Python ライブラリ「AI Steerability 360」について紹介しています。このツールキットは、大規模言語モデル（LLM）の動作を軽量かつ意図的に制御（Steering）するための包括的なフレームワークを提供し、既存の手法の断片的な実装を統合し、評価と比較を容易にすることを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義（Problem）

近年、LLM の挙動を制御する手法（プロンプトエンジニアリング、微調整、内部状態の操作、デコーディング時の介入など）は急速に増加していますが、以下の課題が存在します。

• 手法間の比較の困難さ: 各手法は独自のセマンティクスと要件に基づいて設計されており、異なる制御メカニズム（例：プロンプト変更 vs 重み変更）を直接比較することが困難です。
• 複合操作の複雑さ: 実用上、SFT（教師あり微調整） followed by DPO（直接最適化）など、複数の制御操作を「スタック（積み重ね）」して行うことが多く、どの介入がどの出力変化に寄与しているかの帰属（アトリビューション）が不明確です。
• 統一的なフレームワークの欠如: 既存のツールは特定の制御面（例：状態ベースの制御のみ、または重みベースの制御のみ）に限定されており、モデルのすべての制御面を横断する統一されたフレームワークが存在しませんでした。
• トレードオフの分析不足: 特定の目標行動を制御する際、意図しない他の行動（例：回答の質の低下）がどのように変化するかを体系的に分析する手段が不足していました。

2. 手法とアーキテクチャ（Methodology）

本ツールキットは、モデルの制御介入が発生する場所に基づいた**4 つの制御面（Control Surfaces）**を定義し、これらを統一的なインターフェースで扱うことを可能にします。

2.1 制御の分類（Taxonomy）

1. 入力制御 (Input Control):
   • モデル自体を変更せず、プロンプト（入力）を操作する手法。
   • 例：プロンプトアダプター（σ(x)）による指示の追加や変更。
2. 構造制御 (Structural Control):
   • モデルのパラメータ（重み）やアーキテクチャを変更する手法。
   • 例：微調整（Fine-tuning）、アダプター層の追加、他モデルとの重みマージ。
3. 状態制御 (State Control):
   • モデルのパラメータは変更せず、推論時の内部状態（隠れ状態、活性化、アテンション重みなど）を操作する手法。
   • 例：アクティベーション・スティアリング（アクティベベクトルの追加）、アテンション・スコアの再スケーリング。
   • 実装にはモデルのフォワードパス中にフック（hook）を挿入する方式を採用。
4. 出力制御 (Output Control):
   • デコーディング（生成）プロセス中に介入し、出力シーケンスの生成方法を変更する手法。
   • 例：ログオッズの調整、出力空間の制約、報酬に基づく探索（Reward-guided search）。

2.2 コア抽象化：Steering Pipeline

• SteeringPipeline クラス: 上記の 4 つの制御方法を統一的に扱うためのクラスです。
  • steer(): 制御に必要な学習（例：スティアリングベクトルの学習）を実行します。
  • generate(): 制御されたモデルによる推論（生成）を実行します。
  • 合成機能: 複数の制御（Control）を 1 つのパイプラインに合成（Composition）でき、異なる制御面の組み合わせ（例：状態制御＋出力制御）を単一の操作として実行できます。

2.3 評価とベンチマーク

• UseCase クラス: 評価タスク（例：指示遵守、真実性）を定義します。データと評価指標（標準指標、LLM-as-a-Judge 指標など）を指定します。
• Benchmark クラス: 特定のタスクにおける複数のスティアリングパイプラインを比較します。
  • 固定制御: パラメータを固定したパイプライン間の比較。
  • 可変制御 (ControlSpec): 制御パラメータ（例：スティアリング強度）を掃引（sweep）し、パラメータ変化がモデル挙動に与える影響を分析します。これにより、性能と制御目標のトレードオフを可視化できます。

3. 主要な貢献（Key Contributions）

1. 統一インターフェースによる多面的制御の実装:
   • 入力、構造、状態、出力の 4 つの制御面を横断する手法を、共通の「Steering Pipeline」インターフェースで実装しました。これにより、単一の制御だけでなく、異なるカテゴリの制御を合成する実験が可能になりました。
2. 包括的な評価・比較フレームワーク:
   • UseCase と Benchmark クラスを提供し、特定のタスクにおける制御手法のパフォーマンスを定量的に比較・評価する仕組みを構築しました。
   • 制御パラメータを可変にしてベンチマークを行う機能により、制御強度とモデル性能のトレードオフ（Pareto 曲線など）を分析できます。
3. 再利用可能な抽象化パターンの提供:
   • 特に状態制御（アクティベーション・スティアリング）において、共通のパターン（推定器、セレクター、変換、ゲート）を再利用可能なコンポーネントとして提供し、新しい手法の開発を容易にしました。
4. オープンソース化と Hugging Face 統合:
   • 主要な LLM ライブラリである Hugging Face とネイティブに統合されており、Apache 2.0 ライセンスで公開されています。

4. 結果と実験（Results）

論文では、ツールキットを用いたいくつかの実験例が示されています。

• 対照的活性化追加（CAA）による同調行動の抑制:
  • 状態制御手法の一つである CAA（Contrastive Activation Addition）を用いて、モデルがユーザーの意見に過度に同調（Sycophancy）する挙動を抑制しました。
  • 結果、制御されたモデルは、ユーザーの主張に盲目的に同意するのではなく、よりバランスの取れた回答を生成することが確認されました。
• 指示遵守タスクにおけるパラメータ掃引:
  • 後付けアテンション・スティアリング（PASTA）を用いて、指示遵守能力と回答の質（Reward Score）の関係を分析しました。
  • 結果: スティアリング強度（$\alpha$）には「最適点（Sweet spot: $\alpha \approx 10-15$）」が存在し、それを超えると指示遵守能力だけでなく、回答の質も劣化することが示されました。
• 複合制御の効果:
  • 状態制御（PASTA）と出力制御（DeAL）を組み合わせることで、個別の制御よりも「真実性」と「情報量」のトレードオフが改善されることを示しました。PASTA が真実性の指示を強調し、DeAL の探索アルゴリズムに高品質な候補を提供することで、相乗効果が生まれると仮説を立てています。

5. 意義と将来展望（Significance）

• コミュニティへの貢献: 現在、制御手法の開発と評価が断片的であるコミュニティに対し、統一的な基盤を提供することで、研究の再現性と比較可能性を大幅に向上させます。
• 安全性と透明性の向上: モデルがどの程度制御可能か、また制御がどのような副作用（意図しない挙動の変化）をもたらすかを理解することは、AI の安全性（Safety）と透明性を高めるために不可欠です。本ツールキットは、安全性リスクの特定と緩和に寄与します。
• 価値多元主義システムへの寄与: 異なる価値観を持つシステムを構築する際、どの制御目標をどのように設定するかを明確にするための基盤となります。

限界と今後の課題:

• 現在の Hugging Face 実装は推論速度の面で最適化されたライブラリ（vLLM など）に劣るため、大規模な実験には時間がかかる可能性があります（vLLM.hook への対応を計画中）。
• 最適な制御パラメータの自動探索（ハイパーパラメータ最適化）は概念的・計算的に困難であり、今後の機能追加として計画されています。

総じて、AI Steerability 360 は、LLM の制御技術を体系的に理解し、発展させるための重要なインフラストラクチャとして位置づけられています。