技術要約: ScaleErasure

問題提起

本論文は、**次世代スケール自己回帰（next-scale autoregressive, AR）画像生成における概念消去（concept erasure）**の課題に取り組んでいる。これは、主流である拡散モデルとは異なるパラダイムである。概念消去は、一般的な生成能力を維持しつつ、モデルが不適切なコンテンツ（例：裸体、著作権で保護されたキャラクター）を生成することを防ぐことを目的としているが、既存の手法は主に拡散モデル向けに設計されており、次世代スケールARに直接適用することはできない。

次世代スケールARパラダイムにおける核心的な困難は、**深刻な意味的もつれ（semantic entanglement）**にある。固定解像度で画像を生成する拡散モデルとは異なり、次世代スケールARモデルは、極めて低解像度（例：1×1または2×2のトークン）から粗いものから細かいものへと画像を生成する。これらの初期スケールにおいて、意味情報は限られた数のトークンに高度に圧縮されている。その結果、単一のトークンが不適切な意味（例：「裸体」）と、無関係で安全な意味（例：「背景」や「空」）の両方をエンコードしてしまうことが多い。このもつれにより、全体の画像構造や無関係なコンテンツを損なうことなく、不適切な概念を正確に選択して消去することが困難になる。

手法: ScaleErasure

著者らは、予測されたロジットを選択的に誘導することで最小限の介入（minimal intervention）を行う、推論時の概念消去手法であるScaleErasureを提案する。この手法は、モデルのパラメータを変更することなく、推論時に生成プロセスを調整することで動作する。

コアメカニズム

ScaleErasureは、不適切な概念に最も関連性の高いロジットを特定し、それらを対応する安全な概念へと誘導する。これは、不適切な概念と安全な概念に基づいた2回の追加フォワードパスを通じて行われる。最終的な誘導ロジット（$\ell^\star_k$）は、バイナリマスク（$M_k$）によって決定される、標準的なClassifier-Free Guidance（CFG）ロジットと新しいSafe Guidance（SG）ロジットの組み合わせである：
$$\ell^\star_k = M_k \cdot \ell^{SG}_k + (1 - M_k) \cdot \ell^{CFG}_k$$

精密かつ最小限の介入を確実にするため、ロジットの選択とガイダンスの適用は、3つの直交する次元にわたって実施される：

1. スケールレベルの選択（Scale-Level Selection）:

   • 根拠: 初期のスケール（1×1、2×2）はグローバルな構造を捉えており、介入に対して非常に敏感である。一方で、後半のスケールは主に高周波の詳細を精緻化するものであり、不適切なコンテンツはすでに固定されている。
   • 戦略: ガイダンスは、限定された中間範囲のスケール（例：スケール3から8）に制限される。これにより、追加のフォワードパスに対する**早期停止戦略（early-stop strategy）**も可能になり、全スケールに対してガイダンスを行う場合に比べて計算オーバーヘッドを大幅に削減できる。

2. トークンレベルの選択（Token-Level Selection）:

   • 根拠: トークンマップ内の無関係な領域（例：空や背景）を妨害することを避けるため。
   • 戦略: 本手法は、モデルの内部クロスアテンション機構を活用する。視覚的なクエリと概念キー（不適切な概念 vs 「背景」のような無関係な概念）の間の類似度スコアを計算する。不適切な概念への関連性が高い（閾値 $\tau_{token}$ を超える）トークンが介入対象として選択され、それ以外のトークンは保持される。

3. ビットチャネルレベルの選択（Bit-Channel-Level Selection）:

   • 根拠: 次世代スケールARモデル（特にBinary Spherical Quantizationを使用するもの）は、複数の独立したビットチャネルを介してトークンを表現する。単一のトークンには、不適切なビットと安全なビットの両方が含まれている可能性がある。
   • 戦略: 本手法は、プロンプト条件付きパスからのロジットベクトルと、不適切条件付きパスからのロジットベクトルを比較する。絶対差が低い（閾値 $\tau_{bit}$ 未満）ビットチャネルは、不適切な概念とは無関係であるとみなされ、ガイダンスから除外される。これにより、単一のトークン内における意味の微細な分離が可能になる。

Safe Guidance の定式化

選択されたロジットに対して、メソッドはプロンプト条件付きのロジットを、安全に誘導されたバージョンに置き換える。ガイダンスの公式には、残留する不適切な活性化を抑制するためのペナルティ項が含まれている：
$$\ell^{SG}_k = \ell^{uc}_k + \beta_{CFG}(\ell^{sa}_k - \ell^{us}_k)$$
ここで、$\ell^{sa}_k$ と $\ell^{us}_k$ は、それぞれ安全な概念および不適切な概念に基づいたロジットである。

主な貢献

1. ScaleErasureフレームワーク: 次世代スケールAR特有の課題である低解像度における意味的もつれに対処するために特別に設計された、新しい推論時の概念消去手法。
2. 選択的ロジットガイダンス戦略: スケール、トークン、およびビットチャネルの3次元選択メカニズムにより、一般的な生成能力への副作用を最小限に抑えつつ、不適切な概念の精密な消去を可能にする。
3. 効率性の最適化: 追加のフォワードパスに対する早期停止戦略の導入により、安全性性能を維持しながら、計算コストと推論レイテンシを大幅に削減した。

実験結果

本手法は、Infinity-2Bモデルを用いて、裸体消去（I2Pベンチマークを使用）および著作権消去（ピカチュウおよびスポンジボブ）の2つのドメインで評価された。

• 裸体消去: ScaleErasureは、I2Pにおいて最も低い総裸体数（次点のベースラインであるESD-uの296に対し、182）を達成すると同時に、優れた一般的な生成能力（MS-COCOにおいて最低のFID 2.91および最高のCLIPスコア 30.68）を維持した。
• 著作権消去: 本手法は、両方のキャラクターにおいて、抑制と保存のバランスをとる指標である平均 $H_a$ で最高の結果を出し、一貫した有効性を示した。
• 定性的性能: 視覚的な比較により、ScaleErasureはグローバルな構造や背景の詳細を保持しながら不適切なコンテンツを正常に除去できた一方で、ベースラインはアーティファクトや歪みを導入したり、概念の消去に失敗したりすることが多いことが示された。
• 効率性: 早期停止戦略を採用することで、ScaleErasolaは全スケールにガイダンスを適用した場合の約35%のレイテンシ増加に対し、ベースモデルに対してわずか約9%のレイテンシ増加にとどまった。

意義と主張

本論文は、ScaleErasureが、安全メカニズムに関する調査がほとんど進んでいないパラダイムである次世代スケール自己回帰モデルの安全性を高める上で、重要な一歩であることを主張している。著者らは、本アプローチが深刻な意味的もつれという条件下において、精密な概念消去を実現することを強調している。

本研究の意義は、モデルのパラメータを恒久的に変更したり、モデルの一般的な生成忠実度を著しく低下させたりすることなく、不適切なコンテンツ（裸体や著作権で保護された素材など）を抑制できる能力にある。推論時に最小限の介入で行うことで、本手法は、新たなARベースの画像生成システムにおける安全性に対する、柔軟で可逆的、かつ展開可能なソリューションを提供する。著者らは、本手法は安全性を向上させるものであるが、特定のパラダイムの制約内で動作するものであり、生成AIにおけるすべての安全性の課題を解決すると主張するものではないと述べている。