🤖 machine learning

Measuring, Localizing, and Ablating Alignment Signatures in LLMs

本論文は、事後学習が言語モデルに測定可能かつ局所的な「AI的」な文体上の特徴をもたらすことを実証し、テキストの整合性を維持しつつ、これらの特定の活性化方向をアブレーション（除去）することでAI検出率を低減させる、学習を必要としない手法であるPASTAを提示する。

原著者： Aniket Anand, Janvijay Singh, Zhewei Sun, Dilek Hakkani-Tür, Nick Feamster

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aniket Anand, Janvijay Singh, Zhewei Sun, Dilek Hakkani-Tür, Nick Feamster

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「AIアクセント」

非常に才能のある俳優（ベースモデル）を想像してみてください。彼らはどんなスタイルでも演じることができます。ニュースキャスター、詩人、科学者、あるいは親しみやすい友人など、自由自在です。彼らは何百万もの本や記事から学んだため、非常に人間らしく聞こえます。

そこにディレクターが現れ、新しい役のために厳格なルールを与えます（これがポストトレーニング、またはアライメントです）。ディレクターは言います。「常に礼儀正しく、リスクを冒さず、完璧な文法を使い、役に立つアシスタントのように振る舞わなければならない」。

俳優はこれらのルールを完璧に守ります。しかし、その結果、彼らが話すと独特の**「AIアクセント」**が生まれます。洗練されていて、安全で、少しロボットのような響きになります。彼らが普通の人間ではなく、AIであることがすぐに分かってしまうのです。

この論文は、次の2つの問いを投げかけています。

この「AIアクセント」は実在するのか？ トレーニングによって、テキストは実際に人間らしさを失い、機械的なものへと変化しているのか？
このアクセントは俳優の脳のどこに隠れているのか？ このアクセントをオンにし、そしてオフにするための特定の「神経スイッチ」を見つけ出し、切り替えることはできるのか？

パート1：アクセントの存在を証明する

研究者たちは、3種類のテキストを比較しました。

本物の人間のテキスト： 人間が自然に書いたもの。
ベースモデルのテキスト： ディレクターから「役に立つアシスタント」のルールを与えられる前、俳優が話していたもの。
アライメント済みモデルのテキスト： ルールを与えられた後、俳優が話しているもの。

研究結果：

「人間らしさ」テスト： 彼らは、テキストがどれほど現実の人間による文章のライブラリに近いかを調べました。ベースモデルは非常に人間らしく聞こえました。一方、アライメント済みモデルは、人間らしさが大幅に減少し、より洗練され構造化されたアシスタントのような響きになりました。
「検知器」テスト： 彼らはAI検知器（AIによる執筆を見破るためのツール）を使ってテキストを検証しました。ベースモデルは検知器をほとんど欺くことができました。しかし、アライメント済みモデルは、ほぼ毎回検知されてしまいました。

比喩：
ベースモデルを、「普通の人間に見える変装をしている人」と考えてみてください。ポストトレーニング（アライメント）のプロセスは、その人が「私はAIアシスタントです」と書かれた、非常に光沢のある制服のバッジを装着することに似ています。そのバッジのせいで、探している人にはすぐに目立ってしまうのです。

パート2：「アクセントのスイッチ」を見つける（PASTA）

研究者たちは、次を知りたいと考えました。この「AIアクセント」は単なる全体的な雰囲気なのか、それともモデルの脳の特定の部位によって引き起こされているのか？

彼らは PASTA（Post-training Alignment Signature Targeted Ablation：ポストトレーニング・アライメント・シグネチャー標的除去）と呼ばれる手法を開発しました。

PASTAの仕組み：

比較： 彼らは、ベースモデルとアライメント済みモデルが同じ文章を書いている時の「脳活動」（数学的な信号）を観察しました。
差異： 彼らはその差分を計算しました。この差分が「AIアクセント」の信号を表しています。
ターゲット： 彼らは、この差分がいたるところに散らばっているのではなく、特定のラジオ周波数のように、特定の方向に集中していることを発見しました。
修正： 彼らは「ノイズキャンセリング」フィルターを作成しました。アライメント済みモデルが言葉を発しようとする際、PASTAはその言葉が書き出される前に、特定の「AIアクセント」の周波数を信号から差し引きます。

比喩：
アライメント済みモデルが、大きな不快な静電気ノイズ（AIアクセント）を伴って曲を再生しているラジオ局だと想像してください。

ベースモデル： 静電気のない曲。
アライメント済みモデル： 静電気のある曲。
PASTA： 曲を聴き、静電気の正確な周波数を特定し、リアルタイムでそれを打ち消すデバイス。その結果、曲は静電気なしで、クリアに再生されます。

パート3：それは機能するのか？

研究者たちは、この「ノイズキャンセリング」手法を11種類の異なるAIモデルと6種類の異なるAI検知器でテストしました。

結果： PASTAを使用すると、AI検知器はテキストをAIとしてフラグ立て（判定）しなくなりました。「AIアクセント」は消え去りました。
品質： 重要なことに、テキストは支離滅裂なものにはなりませんでした。質問に対して正しく答え、意味も通じます。ただ、洗練されたロボットのような響きではなく、より直接的で、少し形式張らない人間の響きになっただけです。
証明： 彼らがランダムな周波数（ランダムな方向）を打ち消そうとしたとき、それは機能しませんでした。これは、彼らが単なる一般的なトリックではなく、AIアクセントのための特定のスイッチを見つけたことを証明しています。

比喩：
それは、騎士から鎧を脱がせるようなものです。騎士（AI）は依然として騎士であり（戦ったり質問に答えたりできる）、しかし、自分を露呈させてしまう光り輝くガチャガチャとした鎧を脱いでいます。彼らは普通の人間により近く見えますが、任務を遂行することは可能です。

この論文が主張する要約

アライメントはスタイルを変える： AIを「役に立つ」「安全である」ように訓練することは、意図せずして、人間による執筆とは異なる、識別可能で検知可能なスタイルを与えてしまいます。
それは局所化されている： このスタイルの変化はランダムではありません。それはモデルの数学的な内部にある、特定の測定可能な方向に存在します。
それは除去できる： 生成プロセス中にこの特定の方向を差し引くことで、回答能力を損なうことなく、AIを人間らしく、検知されにくくすることができます。
それは魔法のトリックではない： この論文は、これがAIの仕組みを理解するためのツールであることを強調しています。これは、AIが今後永遠にすべての検知器から隠れることができるという保証でもなければ、AIを深い意味で「人間」にするという主張でもありません。単に、現在のツールに対して検知されにくくするという意味です。

結論：
この論文は、AIを礼儀正しく、役に立つように訓練すると、図らずも「特徴（テイル）」を与えてしまうことを示しています。研究者たちは、その「特徴」がAIの脳のどこに存在するかを突き止め、それをオフにできることを示しました。これにより、AIは役に立つ能力を維持したまま、より自然で、検知されにくい響きになるのです。

技術要約：LLMにおけるアライメント・シグネチャの測定、局在化、およびアブレーション

問題提起

アライメントされた言語モデル（LLM）は、洗練された言い回し、ヘッジング（断定を避ける表現）、肯定的なフレーズ、および高度に規則的な構造といった、認識可能な「AIらしい」スタイルを持つテキストを生成する。これらのパターンは出力レベルでは明白であるが、これらがポストトレーニング（例：指示チューニング、RLHF）によって導入または増幅されたものなのか、また、それらがモデル内の局在化した内部表現に対応しているのかについては明らかになっていない。先行研究は、ポストトレーニングの影響を振る舞い（例：多様性、へこみ、冗長性の変化）として特徴付けているが、このスタイルの変化自体が、モデルの残差ストリーム内の特定の識別可能なコンポーネントによって媒介されているのか、そしてそれが因果的な介入が可能であるかどうかは不明である。

手法

1. ポストトレーニングによるシフトの測定

ポストトレーニングの効果を分離するため、著者らは以下の3つのテキストソースを、条件を一致させた状態で比較する：

人間によるテキスト： 人間が書いたソースからのオリジナルの継続テキスト。
ベースモデルの生成： 事前学習されたベースモデルの出力。
アライメント済みモデルの生成： ポストトレーニング後の対応するモデルの出力。

重要な点として、プロンプトの分散を制御するために、すべての生成は同じ人間が書いたプレフィックス（接頭辞）によってトリガーされる。本研究では、以下の2つの仮説を採用している：

H1 (Human-Corpus Affinity / 人間コーパスへの親和性): アライメントされた生成物は、ベースモデルの生成と比較して、事前学習スタイルの人間参照コーパス（RedPajama+）に対する逐語的な親和性が低くなるはずである。これは、infini-gramインデックスを用いたoverlap density（重複密度）とCoverage@10を用いて測定される。
H2 (AI-Detection Visibility / AI検知器による可視性): アライメントされた生成物は、ベースモデルの生成よりもAIテキスト検知器から高いスコアを受けるはずである。本研究では、検知器の出力を、真の著者ラベルではなく、スタイルの分離可能性を示す信号として扱う。

2. PASTA: ポストトレーニング・アライメント・シグネチャを標的としたアブレーション

このスタイルの変化が、局在化した内部特徴量によって媒介されているかをテストするために、著者らはトレーニングフリーの介入手法であるPASTAを導入する：

シグネチャ推定: 特定のレイヤー $\ell$ について、手法は少数のキャリブレーション用プロンプトを用いて、アライメント済みモデルの平均残差ストリーム活性化（ $\mu^{align}_\ell$ ）とベースモデルの平均活性化（ $\mu^{base}_\ell$ ）を計算する。候補となるポストトレーニング方向は、正規化された差分として定義される：
$v^{PASTA}_\ell = \frac{\mu^{align}_\ell - \mu^{base}_\ell}{\|\mu^{align}_\ell - \mu^{base}_\ell\|_2}$
レイヤー選択: 検知器によるスイープを行い、どのレイヤーの方向（ $v^{PASTA}_\ell$ ）が、キャリブレーションセット上でアブレーションを行った際にAI検知率を最も低くするかを評価する。
アブレーション: 推論中、選択された方向は、書き込みサイト（ブロック入力、アテンション出力、MLP出力）において、以下の操作を用いて残差ストリームから射影除去される：
$\text{Ablate}_\alpha(x; v) = x - \alpha(x^\top v)v$
ここで、 $\alpha$ はアブレーション強度（デフォルトは $\alpha=1$ ）である。

主な結果

1. ポストトレーニングはスタイルを人間コーパスから遠ざける

H1の確認: 5つのドメイン（科学論文抄録、創作フィクション、意見記事、大学エッセイ、ニュース）において、アライメントされた生成物は、ベースモデルの生成と比較して、人間参照コーパスとのoverlap densityおよびCoverage@10が有意に低い。その順序は一貫して Human > Base > Aligned である。
H2の確認: アライメントされた生成物は、複数の検知器（例：Pangram、GPTZero）において、ベースモデルの生成よりも有意に高い割合でAI生成としてフラグが立てられる。例えば、Pangramは、ベースモデルの出力が9.2%であったのに対し、アライメント済み出力の98.5%をフラグ立てした。これは、ポストトレーニングがベースモデルの分布を超えた、検知器に可視な規則性を導入していることを示唆している。

2. PASTAは検知可能性を低減させる

有効性: 11のアライメント済みモデルにPASTAを適用すると、AI検知率が大幅に低下する。Pangram検知器（レイヤー選択に使用）において、8つのモデルで73パーセントポイントを超える減少が見られ、一部のモデル（Gemma-2-9B、Qwen2.5-32Bなど）では98ポイントを超える減少が見られた。
転移性: 検知率の低下は、レイヤー選択に使用していない検知器（例：ImBD、RAIDAR、Binoculars）にも転移する。これは、抽出された方向が特定の検知器のキューに過学習したものではなく、広範なポストトレーニング信号を捉えていることを示唆している。
特異性: ランダムな直交方向は効果を再現できなかったため、検知率の低下は学習されたアライメント・シグネチャに特有のものであることが確認された。

3. 生成品質の保持

品質指標: LLMジャッジ（Claude Sonnet 4.6）を使用すると、PASTAによるアブレーションを経た生成物は、ベースモデルと比較して実質的な関連性と流暢さを維持しているが、オリジナルのアライメント済み生成と比較すると、わずかに洗練さが欠ける。
トレードオフ: 定性的分析によれば、PASTAによる生成はより直接的になり、修辞的またはMarkdownのような構造が減少し、「洗練された」アライメントスタイルの言い回しが減少する。関連性は概ね維持されるが、過度なアブレーション（ $\alpha > 1$ ）は流暢さと一貫性を損なう可能性があり、検知可能性と品質の間の境界が存在することを示している。

意義と主張

本論文は、「AIらしい」スタイルの効果が、単なる出力レベルのアーティファクトではなく、残差ストリーム内の測定可能で局在化した表現的シグネチャによって媒介されていることを実証していると主張している。

測定可能かつ局在化可能: 本研究は、ポストトレーニングが、アライメント済みとベースの対比を通じて推定可能な、具体的なフットプリントをモデルの内部活性化に残すという証拠を提供している。
因果的介入: 著者らはPASTAを導入することで、このシグネチャがモデルの再学習なしに、活性化アブレーションを通じて因果的にテストおよび除去できることを示している。
検知の再定義: 結果は、AI検知器が、機械による執筆（machine authorship）のみならず、アライメントによって誘発されたスタイルの規則性（洗練、ヘッジ、構造化）に部分的に依存している可能性を示唆している。したがって、目標は必ずしも検知を回避することではなく、安全性や指示への追従性を維持しつつ、スタイルの多様性が狭い認識可能なパターンへと崩壊することを防ぐ「より良いアライメント」を実現することにある。

著者らは明示的に限界についても述べている。すなわち、「AIらしいスタイル」の定義はプロキシ（コーパス親和性と検知器スコア）に依存しており、属性の帰属は特定の要素（例：SFT vs DPO）ではなくポストトレーニングのスタック全体に対して行われており、メカニズムの説明も部分的である（線形アブレーションは、スタイルのすべての非線形または分散されたコンポーネントを捉えきれない可能性がある）という点である。