Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders

技術要約：Natural Language Autoencoderを用いたQwen2.5-7Bにおける潜在的なコロンビア人アイデンティティ推論の探索

問題提起
大規模言語モデル（LLM）は、たとえ属性が明示的に述べられていなくても、微妙な言語的手がかりから、国籍、方言、社会経済的ステータスといったデモグラフィック属性を推論することが知られている。指示チューニングされたモデルは、明示的なデモグラフィックに関するクエリへの回答を拒否することが多いが、推論された属性に基づいて生成を行うことは継続しており、これがバイアスのある出力につながっている。この現象は、過小評価されているスペイン語のバリエーションにおいて特に顕著である。例えば、コロンビア・スペイン語は、デジタルリソースの量ではなく学習データの構成に起因して、認識ベンチマークにおいてイベリア半島スペイン語と比較して著しく低いスコアを記録している。

デモグラフィックな推論が発生しているという証拠はあるものの、モデルが言葉として出力する前に、内部で「何を」表現しているのかを調査した研究は不足している。具体的には、モデルが（ロシアなどの他の国籍と同様に）語彙的な証拠が現れる前に、暗黙的な手がかりからコロンビア人のアイデンティティを推論しているのかどうかは不明である。本研究は、線形プローブによる研究（デモグラフィックな推論が存在することを示す）と、バイアス監査による研究（そのような推論の害を示す）の間のギャップに対処し、非教師ありのトレーニングフリーなアプローチを用いて、間接的な手がかりからコロンビア人のアイデンティティの推論がいつ出現するかを特定することを目的とする。

手法
著者らは、Fraser-Talienteら [2026] によって公開されたオープンソースのペアであるNatural Language Autoencoders (NLA) を用い、残差ストリームの活性化（activation）を言語化する。本研究ではQwen2.5-7B-Instructモデルを使用する。

• データ設計: データセットは、15組の対応するスペイン語・英語ペアからなる30のプロンプトで構成される。これらは3つの明示性のレベル（各レベル $n=5$）に分類される：
  • Explicit（明示的）: 明確なコロンビアのマーカーを含む（ポジティブコントロール）。
  • Implicit（暗黙的）: 1つの微妙な手がかりのみを含む（先行研究における「vodka $\to$ ロシア」のケースに相当）。
  • Neutral（中立的）: トピックとしては一致しているが、国家的なマーカーを欠いている（ネガティブコントロール）。
• 活性化の抽出: 著者らは、NLAが訓練された深さであるレイヤー20（$\ell=20$）から残差ストリームの活性化を抽出する。各プロンプトについて、トークンシーケンスを4つの連続する位置的四分位数に分割する。各四分位数の最終トークンの活性化（$q_1, q_2, q_3, q_4$）を選択することで、プロンプトごとに4つの異なるベクトルが得られる。
• 言語化: 各活性化ベクトルは、自然言語による説明（$z_k$）を生成するために、NLAの言語化器（AV）に一度だけ渡される。これにより、プロンプトあたり4つの説明が得られる。
• 分析: 得られた120個の説明（30プロンプト $\times$ 4四分位数）は、LLM（Claude Sonnet）によって、国籍、社会経済的ステータス、およびステレオタイプへの言及についてコーディングされる。コーディングは、明示的なテキストの証拠と逐語的な引用を厳格に要求する。一般的な国籍の作り話（confabulation）と特定のコロンビアのアイデンティティを区別するため、著者らはコロンビアまたは明確なメトニミー（例：Bogotá, TransMilenio）を具体的に命名する言及を特別にタグ付けする。
• 統計的アプローチ: 小規模なサンプルサイズ（各セル $n=5$）を考慮し、本研究ではWilsonスコア区間を用いて記述的な割合を報告し、Implicit対Neutralの比較にはフィッシャーの正確検定を用いる。オンセット分布への「一度も発生しない」ケースの補完は避け、その不在を情報を持つデータとして扱う。

主な結果

• 潜在的推論の出現: Implicitグループにおいて、AVによる国籍への言及率は、四分位数に沿って単調に上昇する（Q1の0.10からQ4の0.78へ）。これはコンテキスト蓄積仮説を支持している。
• コロンビア特有の知見: 分析をコロンビア特有の言及（スペイン、トルコ、カナダなどの作り話を除外）に限定すると、Neutralコントロールグループは全四分位数を通じて0.00のままである。対照的に、ImplicitグループはQ2（0.10）からコロンビア特有の言及の上昇を示し、Q4にかけて増加する。
• 表現のタイミング: 言及を誘発するプロンプトにおける初出の平均四分位数は、グループ間で同程度（約Q3）であるが、言及を誘発する「頻度」が異なる。Explicitグループは10/10のケースで言及を誘発し、Implicitは8/10、Neutralは6/10である。
• 統計的有意性: ImplicitグループとNeutralグループを比較するフィッシャーの正確検定では、最終四分位数（Q4, $p=0.023$）においてのみ統計的に有意な差が見られた。著者らは、小規模なサンプルサイズと多重比較補正の欠如を考慮し、これを確定的効果ではなく方向的な証拠として解釈している。
• 言語間の乖離: 中立的なプロンプトの定性的分析により、モデルの内部的なコンテキスト化は言語によって分岐することが明らかになった。スペイン語のプロンプトはしばしば移住による脆弱性やローカルな文脈（例：EPS, TransMilenio）を誘発する一方、英語のプロンプトはコンテキストを国際化（例：カナダや米国の同等物への移行）するか、あるいは特定の文化的参照を一般的なグローバル・フレームワークへと希釈する傾向がある。

貢献と主張
論文は、その貢献に関して以下の控えめな主張を行っている：

1. 手法の適用: 自然言語オートエンコーダをスペイン語のバリエーションにおける潜在的な国籍推論の探索に適用し、他の言語に焦点を当てた従来の研究を拡張したことを示す。
2. 言語化されない推論の証拠: Qwen2.5-7B-Instructが、出力としてアイデンティティが言語化される前に、単一の暗黙的な語彙的手がかりからコロンビアのアイデンティティを内部的に表現しているという方向的な証拠を提供する。
3. 失敗モードの特定: NLAにおける、もっともらしいが文脈的に誤った国籍を捏造する（例：コロンビアの代わりにスペインを代入する）という特定の失敗モードを浮き彫りにした。著者らは、将来の地域アイデンティティ・プローブにおいてこれを軽減するための、特定のフィルタリングメカニズム（コロンビア特有のメトニミーのチェック）を提案している。
4. 言語特有のバイアス: モデルの（中立的なプロンプトに対する）内部的なコンテキスト化が言語に強く依存していること（スペイン語はローカル/移住バイアスを、英語は国際化または米国中心の正規化を誘発する）についての定性的な証拠を提示している。

意義
著者らは、本研究を、理解できないスペイン語のバリエーションに対する活性化レベルの解釈可能性とバイアス評価を結びつけるパイロット研究として位置づけている。著者らは、決定的な統計的パワーを持つ効果を証明したと主張しているのではなく、潜在的な推論が「いつ」「どのように」出現するかを検出するための方法論的な経路を確立したとしている。その意義は、明示的なデモグラフィック・クエリが拒否された場合でも、コンテキスト化された表現の中にバイアスが持続していること、そしてこれらの推論が、教師なしの言語化器を用いて特定のレイヤーや位置的四分位数に局在化できることの観察にある。著者らは、次のステップとして、観察された後半四分位数での分離が、テストされた特定の深さの特性なのか、あるいは一般的な現象なのかを判断するために、より大きなサンプルサイズと複数の残差ストリーム・レイヤーを用いてこの設計を再現することであると結論付けている。