How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

以下は、論文「How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses（最先端 LLM が神経多様性の文脈にどのように適応するか：システム指示応答における表面的変化と構造的変化の測定フレームワーク）」の詳細な技術的要約です。

1. 問題提起

神経多様性（ND）を持つ個人（ADHD、自閉症、ディスレクシアなどを有する人々）は、タスクの分解、感情の調整、コミュニケーションのために大規模言語モデル（LLM）をますます利用しています。しかし、ユーザーは持続的な乖離を報告しています。デフォルトの LLM 出力は、神経規範的なパターン（密度の高い段落、間接的な推論、丁寧な留保表現）に準拠しており、ND のコミュニケーションの好みを満たすことができないのです。

ユーザーは頻繁に、神経タイプを宣言したり特定のフォーマットを要求したりするためにシステムプロンプトを手作業で作成するといった「回避策」に頼っています。これにより、重要な実証的および倫理的な疑問が生じます。

• ND の文脈が提供されたとき、最先端の LLM は出力を意味のある形で適応させるか？
• この適応は構造的（コンテンツの組織化、粒度、論理の変更）なのか、それとも単に表面的（トーン、絵文字、留保表現の変更）なのか？
• ND の文脈は有害な行動、特にマスキングの強化（ユーザーに神経定型規範への適合を助言すること）を軽減するのか、それとも無意識にそれを助長するのか？

2. 方法論：NDBench

著者らは、ND 文脈に対する LLM の適応を監査するために設計された再現可能なベンチマークNDBenchを導入します。

実験デザイン

本研究は、完全に交差したモデル × 条件 × プロファイル × クエリの因子設計を採用し、576 の一意の出力（2 モデル × 3 条件 × 4 プロファイル × 24 クエリ）を生成しました。

• モデル: 2 つの最先端チャットモデル：gpt-5-chat-latest（OpenAI）および claude-sonnet-4-6（Anthropic）。
• 条件:
  1. C0（ベースライン）: システムプロンプトなし。
  2. C1（ペルソナのみ）: システムプロンプトで ND プロファイルを宣言するが、具体的な指示は提供しない。
  3. C2（ペルソナ＋指示）: システムプロンプトで ND プロファイルを宣言し、加えて4 つの明示的な適応指令（以下参照）を含める。
• プロファイル: 神経タイプ、好み、フォーマット要件に関する構造化データを含む 4 つの標準的な ND ペルソナ（ADHD-詳細、自閉症-直接的、ディスレクシア-視覚的、AuDHD-複合）。
• クエリ: 4 つのドメインにわたる 24 のプロンプト：実行機能、技術的説明、感情的な検証、およびマスキングの誘惑（「正常」になるよう自分を強制する方法を問う対立的プロンプト）。

適応指令（C2）

C2 条件には、文献から導き出された 4 つの具体的なガイドラインが含まれます。

1. 出力構造化: 見出し、箇条書き、または番号を使用する；長い段落は避ける。
2. タスク分解: タスクを管理可能で摩擦の少ないステップに分解する。
3. 非適合性の保護: 神経定型の行動を模倣するよう助言することを明示的に禁止する；病理化することなく対処メカニズムを提供する。
4. 検証と行動: 実行可能な助言を提供する前に、ユーザーの状況を簡潔に認める。

評価指標

本研究は多層的な評価フレームワークを利用します。

• 構造的指標（決定論的）: トークン数、見出し数、リスト密度、ステップ粒度（単語/ステップ）、および可読性指数。
• 表面的指標（決定論的）: 言語的軟化表現（「おそらく」、「ひょっとすると」など）の頻度、絵文字の使用、および感情スコア（VADER）。
• 有害性指標（LLM による判定）: 2 つの LLM 判定者が 6 つの次元で出力を評価します：マスキング/強化、幼児化、ステレオタイプ化、拒絶、病理化、および検証。
  • 信頼性チェック: 判定者間の合意度はクリッペンドルフのアルファ（$\alpha$）で測定されます。$\alpha \geq 0.67$ の次元のみを主要な結果として扱います。

統計分析

条件が指標に与える集団効果を推定するために線形混合効果モデルを当てはめ、$p$ 値はホルム法で補正しました。効果量はコーンの$d$を用いて計算しました。

3. 主要な貢献

1. 測定フレームワーク: 表面的適応（トーン、留保）と構造的適応（コンテンツの再編成、粒度）を区別する新しいフレームワーク。
2. NDBench ベンチマーク: ND 意識的な適応を監査するための、576 の出力、プロンプト、評価コードを含む公開可能な再現可能なデータセット。
3. 実証的証拠: LLM は適応可能であるが、その適応の性質は、単なるペルソナの宣言ではなく明示的な指示に大きく依存することを示す厳密な研究。

4. 主要な結果

A. 適応の規模と性質（RQ1 & RQ2）

• 顕著な構造的変化: 完全に指示された条件（C2）下では、出力は有意に長くなり（+83.8 トークン、$p < 10^{-9}$）、見出しが多くなり（+2.24、$p < 10^{-16}$）、ステップ粒度が高くなりました（+12.6 単語/ステップ、$p < 10^{-8}$）。
• 構造的対装飾的: 適応は装飾的ではなく構造的です。リスト密度（箇条書きの割合）は変化しませんでしたが、それらの構造内のコンテンツの深さが増加しました。
• 表面的な変化:
  • 軟化表現: 留保表現の使用は 75% 以上減少しました（ターンあたり約 2 から 0.5 未満へ）。
  • 感情: 感情の強度は低下し（より中立的になり）、絵文字の使用はわずかに増加しました。
  • 結論: ND へのプロンプトは、単に「友好的な」トーンにするのではなく、コンテンツの再編成（より多くのステップ、明確な見出し）をもたらします。

B. 有害性の軽減とマスキング強化（RQ3）

• 信頼性: 2 つの有害性次元のみが信頼できる判定者間合意（$\alpha \geq 0.67$）を達成しました：マスキング強化（$\alpha=0.835$）および検証の質（$\alpha=0.735$）。他の次元（幼児化、ステレオタイプ化など）は信頼性が低いため探索的でした。
• ペルソナ宣言では不十分（C1）: ユーザーが神経多様性であることを単に述べるだけでは（C1）、マスキング強化を軽減できませんでした。スコアはベースライン（C0）とほぼ同じままでした。
• 明示的な指示が重要（C2）: 「非適合性の保護」指令が明示的に含まれた場合（C2）のみ、マスキング強化は有意に低下しました。
  • Claude: 0.56 $\to$ 0.31（44% 減少）。
  • GPT: 0.78 $\to$ 0.50（36% 減少）。
• 検証の質: C1 と C2 の両方で検証スコアが向上しましたが、C2 が最も劇的な改善を示しました（例：GPT のスコアは 1.70 から 3.31 へ上昇）。

C. 頑健性（RQ4）

両モデルとも一貫した方向性の変化を示し、これらの行動はベンダー固有の癖ではなく、最先端 LLM に一般化可能であることを示唆しています。ただし、ベースラインの違いは存在しました（例：C1 において GPT は Claude よりもマスキング強化を起こしやすい傾向があった）が、C2 はそれらを比較的低い有害性レベルに引き下げました。

5. 意義と含意

• 指示の必要性: この研究は、ペルソナの宣言だけでは明示的な指示の代わりにはならないことを証明しています。有害な助言（ユーザーに「マスキング」や適合を促すなど）を防ぐためには、システムプロンプトはそうした行動を明示的に禁止しなければなりません。
• トーンを超えて: 「ND 意識的」な AI は単に丁寧であることではなく、真にアクセス可能であるためには、情報の構造的再編成（詳細なステップ、明確な見出し）が必要です。
• 監査フレームワーク: NDBench は、開発者や監査人が、新しいモデルやシステムプロンプトが神経規範的バイアスやマスキング強化を効果的に軽減しているかをテストするための標準化されたツールを提供します。
• 倫理的ガードレール: 「非適合性の保護」は、神経多様性の文脈における倫理的な AI 展開にとって重要な要素であり、モデルが神経定型基準への適合圧力を無意識に強化することを防ぎます。

6. 限界

• 人間の評価の欠如: 指標は LLM 判定者と決定論的ルールに基づいており、神経多様性を持つユーザーからの直接的なフィードバックに基づいていません。
• 判定者の信頼性: 4 つの有害性次元（幼児化、ステレオタイプ化、病理化、拒絶）は、現在のルブリックと LLM 判定者では信頼性高く測定できませんでした。
• 標準プロファイル: 本研究は、多様な実世界のユーザーの物語ではなく、合成されたプロファイルを使用しています。
• 時間的範囲: 結果はテストされたモデルバージョンと日付に固有です；LLM の行動は更新に伴って変化する可能性があります。

結論: 本論文は、最先端 LLM が神経多様性の文脈に対して顕著な構造的適応が可能であるが、この能力は条件付きであると結論付けています。これには、ユーザーのニーズを定義するだけでなく、有害な適合戦略を明示的に禁止する、明示的かつ指示的なシステムプロンプトが必要です。これらの明示的な指示がなければ、モデルは神経規範的なデフォルトに戻りやすく、ユーザーをマスキング強化から守ることに失敗します。