技術概要：Tiny-Engram

問題定義

生成ビジョンモデル（テキストから画像、テキストから動画など）の現在のパーソナライゼーション手法は、通常、連続アダプター、重み更新、または学習済みトークンに依存しています。新しい概念のエンコーディングには効果的ですが、これらの手法はしばしば明示的な活性化境界を欠いています。常に活性化しているアダプターは、意図したドメイン外のプロンプトにも誤って影響を与える可能性があり、独立して訓練されたモジュールを組み合わせると、予測不可能な相互作用が生じる場合があります。

この研究が取り組む核心的な課題は、モジュール型適応の達成です。つまり、特定の登録済みテキスト条件が存在する場合にのみ学習された視覚的更新を適用し、一致しないすべての入力については、厳密に元の凍結モデルの挙動に従うことを保証することです。これには、稀なトリガーフレーズを視覚的概念に結びつけつつ、モデルの条件付け経路を全球的に変更しないメカニズムが必要です。

手法

中核概念：トリガーインデックス付き概念テーブル

Tiny-Engram は、言語モデル向けに元々提案された「エングラム」の原理を、生成ビジョン向けのコンパクトでパラメータ効率の良いファインチューニング（PEFT）モジュールとして実装します。グローバルに活性化されるアダプターの代わりに、これはトリガーインデックス付き概念テーブルとして機能します：

1. レジストリ：特定の n-gram フレーズ（トリガー）が登録されます。
2. インデックス付け：実行時、システムは正確なトークン ID 検索を実行します。登録された n-gram がプロンプト内で見つかった場合、学習されたメモリベクトルをインデックス付けします。
3. 局所的注入：取得されたベクトルは、一致したトークンスパンにおいてのみテキストエンコーダーの隠れ状態を変更します。トリガーが存在しない場合、モデルは完全に凍結されたベースパスに従います。

視覚的実装

この手法は、テキスト条件付けストリームに残差を注入することで、凍結された画像および動画ジェネレーターに適用されます：

• アーキテクチャ：このアプローチは、単一エンコーダーモデル（SD1.5）とマルチエンコーダースタック（CLIP-L、OpenCLIP-G、T5 を備えた SD3.5；T5 を備えた Wan2.2）の両方をサポートします。
• メモリ構造：各テキストエンコーダーに対して、概念ベクトルの小さなテーブルが学習されます。トリガーフレーズはトークン化され、トリガーの連続部分スパン（n-gram）からマルチスケールレジストリが構築されます。
• 注入メカニズム：
  • SD1.5：U-Net 交叉注意の前に CLIP トークン状態に絶対スケーリングされた残差を注入します。
  • SD3.5 および Wan2.2：相対ノルム注入規則を使用します。メモリベクトルが方向を提供し、学習されたスケールが強度を制限し、正規化因子（$\rho$）が現在のテキストストリームの活性化スケールに対する更新の大きさを較正します。これにより、隠れ状態の大きさが異なる異種エンコーダー間でも一貫した効果が保証されます。
• 訓練：最適化されるのは概念ベクトルと注入スケールのみです。バックボーン（VAE、U-Net/DiT、テキストエンコーダー）は凍結されたままです。損失関数は、標準的な拡散ノイズ予測または整流フロー速度ターゲットです。

実験設定

• 概念：著者は、架空の SF テーマのトリガーフレーズ（"Aldric Vortex-9 CyberNebula"）を特定の視覚的アイデンティティ（『デス・ストランディング』の主人公）に結びつけます。この選択により、トリガーに凍結モデル内に事前の事前知識が存在しないことを保証し、エングラムテーブルにゼロからバインディングを学習させます。
• データ：
  • 画像：5 枚の参照画像をリバースエンジニアリングを通じてプロンプトに変換し、被写体の名前をトリガーに置き換えました。
  • 動画：Wan2.2 TI2V を用いた予備的な拡張です。トレーニングクリップは、凍結された Wan2.2 モデルを使用して画像 - プロンプト対から生成され、アイデンティティセットの教師生成された時間的拡張を作成しました。

主要な貢献

1. トリガーインデックス付き定式化：視覚的メモリを明示的な語彙アドレスに結びつけ、離散的な活性化境界を確保する PEFT モジュール。
2. テキストエンコーダーメモリ注入：画像/動画のノイズ除去バックボーンに触れることなくテキスト条件付け状態を変更することで、凍結された生成バックボーンをパーソナライズする手法。
3. 相対ノルム注入規則：異種テキストエンコーダーストリーム（例えば SD3.5 内）および変化するコンテキスト長において、メモリ注入が効果的に機能することを可能にする較正技術。
4. 動画拡張研究：テキスト側のメモリを動画拡散に適用する初期調査により、テキスト活性化と時間的アイデンティティ安定性の間のギャップを明確にしました。

結果

画像生成（SD1.5 および SD3.5）

• 活性化の局所性：この手法は、学習された視覚的アイデンティティがトリガーフレーズが存在する場合にのみ取得されることを成功裏に実証しました。トリガーのないプロンプトは、一致するシードの下でバイトレベルで同一の出力を生成し、凍結されたベースモデルと同一の出力となります。
• アイデンティティバインディング：SD1.5 および SD3.5 の両方で、トリガーを含むプロンプトは、プロンプトで要求された周囲のシーン、照明、構図を維持しつつ、生成された被写体を参照アイデンティティに一致するようにシフトさせます。
• 性能：SD3.5 は SD1.5 よりも強力な結果をもたらし、より多くのシーンの忠実度を維持します。マルチエンコーダー注入と相対ノルムスケーリングは、SD3.5 アーキテクチャの複雑さを効果的に処理します。

動画生成（Wan2.2）

• 活性化：テキスト側のエングラム注入は、動画で生成された被写体を成功裏に変更します。トリガーが存在する場合、出力は一般的な SF 的な人物からターゲットの「長髪の戦術的」被写体へシフトします。
• 限界：トリガーが概念を活性化しますが、保持された動画プロンプト全体での微細なアイデンティティの持続性は限られています。この手法は被写体のクラスやシルエットにバイアスをかけることができますが、多様なシーンや時間的シーケンスにわたって特定のアイデンティティの詳細を確実に再構築することはできません。著者はこれを、静的なテキスト側のメモリと動画トランスフォーマー内の進化中の視覚状態との間の緊密な結合の欠如に起因すると結論付けています。

意義と主張

この論文は、Tiny-Engram を、特に画像生成におけるモジュール型視覚的パーソナライゼーションへの実用的な道筋として位置づけています。その主な意義は、活性化局所性の確立にあります。つまり、無関係なプロンプトとの干渉を防ぎながら、語彙トリガーによって厳密にゲート制御された機能を追加する能力です。

著者は動画の結果については控えめであり、完全な解決策ではなく境界事例として位置づけています。彼らは、テキスト側のメモリ注入が動画生成を誘導できる一方で、動画における時間的に安定したアイデンティティを達成するには、テキスト条件付けインターフェースのみに依存するのではなく、メモリと進化中の視覚状態との間のより緊密な結合（例えば、動画バックボーンや注意機構に近い注入）が必要であると結論付けています。

この研究は、DreamBooth や LoRA などの既存のベンチマークを、生きたアイデンティティ忠実度指標の面で上回るとは主張していません。なぜなら、そのような一致したベンチマーク比較は行われていないからです。代わりに、パーソナライゼーションがモデル内でどのように活性化され制御されるかという、特定のアーキテクチャ的アプローチを検証しています。