💬 NLP

TouchAI: Exploring human-AI perceptual alignment in touch through language model representations

本論文は、「布地は何？」タスクを通じて大規模言語モデルと人間の触覚体験との知覚的整合性を調査し、一定の整合性は存在するものの、布地の種類によって大きく異なり、人間の主観的知覚と一致しない場合が多いことを明らかにした。

原著者： Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

公開日 2026-04-29

📖 1 分で読めます☕ さくっと読める

原著者： Shu Zhong, Elia Gatti, Youngjun Cho, Marianna Obrist

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「TouchAI」の解説を、概念を視覚化しやすくするための比喩を用いた日常言語に翻訳したものです。

大きなアイデア：AI は私たちが感じる「感覚」を感じ取れるか？

あなたがロボットに、シルクのマフラーとジーンズの触り心地の違いを教えるところを想像してください。ロボットに手がないため、言葉で説明するしかありません。「シルクは水のように滑らかでツルツルしている」「ジーンズはサンドペーパーのようにざらざらで硬い」と言います。

この研究は、単純な問いを投げかけました：人間が何かの触り心地を言葉で説明した場合、賢いコンピューター（AI）はその説明を十分に理解して、対象物が何であるかを正確に推測できるでしょうか？

研究者たちはこのプロジェクトを**「TouchAI」**と呼びました。彼らは、AI の「触覚に関する心の地図」が、私たちの人間の地図と一致するかどうかを確認したかったのです。

実験：「盲目の推測ゲーム」

これを検証するため、研究者たちは**「布地は何だ？」**というゲームを設けました。

セットアップ: 参加者は机に座り、目の前に黒い箱が置かれています。箱の中は見えませんが、手を入れることはできます。
課題: 箱の中には 2 種類の布地が入っています。一つは「参照用」（AI はこれが何かを知っています。例えば綿の布など）です。もう一つは「ターゲット」（AI はこれが何かを知りません）です。
相互作用: 参加者は両方の布に触れます。その後、AI に対してそれらの違いを説明する必要があります。
- 例: 「ターゲットは、綿の参照用よりも柔らかくて滑らかです」
AI の番: AI はその説明を聞き、言葉を処理して推測します。「私はターゲットがシルクサテンだと考えます」
結果:
- AI が正解すれば、ゲームは終了します。
- AI が不正解の場合、「シルクサテン」が新しい参照用となり、参加者はターゲットを再び説明し、シルクと比較する必要があります。AI はもう一度挑戦します。これを最大 5 回まで行います。

彼らは何を見つけましたか？

結果は「悪くない」と「非常に混乱している」の混ざり合いでした。

1. AI はほとんど暗闇で推測している。
全体として、AI が正解したのは**22.5%**だけでした。これは、AI が目を閉じて帽子からランダムに布地を引いた場合とほとんど変わりません。これは、現在の AI モデルは触覚がどのようなものかを本当に「知っている」わけではなく、本の中でそれらの言葉がどれほど頻繁に現れたかという情報に基づいて、主に推測していることを示唆しています。

2. AI には「お気に入り」の布地がある。
ここが興味深い点です。AI はすべての布地で同様にダメだったわけではありません。

勝者: ターゲットがシルクサテンだった場合、AI は**100%**の確率で正解しました。
敗者: ターゲットがコットンデニム（ジーンズ）だった場合、AI の正解率は**0%**でした。

比喩: 学生がテストを受けていると想像してください。彼らは「金」に関する問題すべてを正解しました。なぜなら、金についての詩を暗記していたからです。しかし、「砂」に関する問題すべてを間違えました。なぜなら、砂について読んだことがなかったからです。AI は「金（シルク）」を知っています。なぜなら、それは「柔らかくて輝いている」として物語や映画に頻繁に登場するからです。しかし、「砂（デニム）」は知りません。なぜなら、人々はジーンズのざらざらした触り心地について詳細な物語をほとんど書かないからです。

3. 「心の地図」は歪んでいる。
研究者たちは、AI がこれらの布地をその「脳」（データ空間）内でどのように整理しているかを調べました。

人間の地図: 私たちは布地を、それがどのように感じるかによってグループ化します。シルクと柔らかい合成繊維は、どちらも滑らかであるため、隣り合わせになるかもしれません。
AI の地図: AI は布地を、それが何と呼ばれているか、またはどのカテゴリに属するかによってグループ化します。特定の綿が他の綿とは全く異なる触り心地であっても、AI はすべての「綿」を一緒にし、すべての「シルク」を一緒に置くかもしれません。

比喩: AI の脳を、本が**ジャンル（触り心地）**ではなく、**表紙の色（布地の名前）**によって分類されている図書館だと考えてみてください。人間はジャンル（触り心地）で分類しますが、AI は表紙の色（名前）で分類します。

なぜこれが重要なのか？

この論文は、この現象が触覚は記述するのが難しいから起こると説明しています。

視覚は簡単です: 私たちには色に関する普遍的な言語があります。「赤」は常に#FF0000 です。私たちは赤いリンゴを非常に正確に記述できます。
触覚は厄介です: 「柔らかい」「ざらざらした」「バターのような」といった言葉は曖昧です。ある人の「柔らかい」は、別の人にとっては「中程度」です。また、人々は日常的なメールや小説の中で、ジーンズの触り心地について長い記述を書くことはめったにありません。

AI はテキスト（本、ウェブサイト、記事）で訓練されたため、物がどのように見えるかや聞こえるかについては多くを学びましたが、物がどのように感じるかについてはほとんど学んでいません。それは、象についての本を読むだけで、実際に象に触れることなく、象がどのような触り心地なのかを学ぼうとするようなものです。

結論

この研究は、AI が言葉の理解においては非常に優れてきている一方で、「感覚」の理解においては未だに拙いと結論付けています。

AI は「シルク」を推測できます。なぜなら、訓練データにおいて「シルク」という言葉は「柔らかい」という概念と強く結びついているからです。
AI は「デニム」に失敗します。なぜなら、テキストの中で「デニム」という言葉と「ざらざらした」という感覚の結びつきが十分に強くないからです。

研究者たちは、AI が将来、あなたのために服を選ぶロボットのような形で本当に役立つためには、言葉以上のことを学ぶ必要があると言います。それは、世界の記述だけでなく、物理的な世界そのものを理解する必要があるということです。それまでの間、もしあなたが AI に「ちょうど良い」触り心地の布地を選んでほしいと頼んでも、それは実際に心地よいものではなく、AI が知っている最も人気のある言葉に基づいて推測するだけかもしれません。

以下は、論文「TouchAI: Exploring human–AI perceptual alignment in touch through language model representations.」の詳細な技術的サマリーです。

1. 問題定義

本論文は、人間と AI のアライメントにおける重要なギャップ、特に知覚的アライメントに焦点を当てています。AI を人間の価値観、目標、視覚的知覚と整合させる上で大きな進展が見られる一方で、人間の触覚的知覚との整合性は未だほとんど探求されていません。

課題: 視覚（RGB 値で定量化可能）や聴覚（周波数スケール）とは異なり、触覚は多次元的で文脈に依存し、普遍的な基準が存在しません。「柔らかい」「ざらざらした」といった触覚記述語は、しばしば比喩的であり、主観的です。
核心的問い: 膨大なテキストコーパスで訓練された大規模言語モデル（LLM）は、人間の主観的判断と整合する触覚経験の内部表現を有しているのでしょうか？LLM は、触覚のテキスト記述のみに基づいて、「シルクサテンはコットンデニムよりも柔らかい」と理解できるのでしょうか？
リスク: AI システムが物理的相互作用（ロボット操作、パーソナライズされた製品推奨など）を仲介するようになるにつれて、知覚的アライメントの欠如は、信頼性の低いまたはフラストレーションを招くユーザー体験につながる可能性があります。

2. 手法

著者らは、人間と LLM の間の知覚的アライメントを評価するために、「Guess What Textile?（何の布地か当てて）」と呼ばれる新しいインタラクティブなタスクを設計しました。

A. システム設計とタスクフロー

セットアップ: 参加者は制御された実験室環境でカスタム AI システムと対話します。参加者は、黒い箱の中（視覚的手がかりを排除するため）にある 2 つの布地サンプルを触ります。1 つはターゲット（AI には未知）、もう 1 つは参照（AI に既知）です。
対話: 参加者は、2 つの布地間の触覚的な違いを口頭で説明します。
AI メカニズム:
1. 埋め込み: システムは、20 種類の可能な布地記述を事前計算されたベクトル埋め込み（ $E_{textiles}$ ）に変換するために、OpenAI の text-embedding-3-small モデルを使用します。
2. ベクトル検索: 参加者の比較記述は、差分ベクトル（ $v_{diff}$ ）としてエンコードされます。システムは、方向オフセット式を用いて、このベクトルを参照布地のベクトル（ $v_{ref}$ ）と組み合わせます。
  $\tilde{v}_{predict} = v_{ref} + \alpha \frac{v_{diff}}{\|v_{diff}\|}$
  （ここで $\alpha=2$ はスケーリング因子です）。
3. 予測: システムは、予測ベクトルと 20 種類の布地埋め込みとの間のコサイン類似度を計算し、最も類似度が高い ID を推測として選択します。
4. 反復: 推測が正しくない場合、推測された布地が新しい参照となり、プロセスが最大 5 回まで繰り返されます。

B. 実験設定

参加者: 対面研究のために募集された 40 名の参加者（専門家ではなく、多様な背景を持つ）。
刺激: 4 つのメタカテゴリ（天然、動物由来、再生繊維、合成繊維）を網羅する 20 種類の異なる布地サンプル。シルクサテン、コットンデニム、ウール、フェイクレザーなどの素材が含まれます。
指標:
1. 成功率: AI は 5 回以内に正しい布地を推測できたか？
2. 妥当性: （主観的）AI の推測は参加者の口頭説明とどの程度一致したか（1〜10 段階評価）。
3. 類似性: （主観的）推測された布地は実際のターゲットとどの程度知覚的に近かったか（1〜10 段階評価）。
分析: 本研究では、記述の一貫性が AI のパフォーマンスに影響を与えるかどうかを確認するために、言語分析（TF-IDF、Sentence-BERT、OpenAI 埋め込み）を用いました。また、人間の知覚空間と AI の意味空間の幾何学的構造を比較するために、多次元尺度構成法（MDS）と階層的クラスタリングを使用しました。

3. 主要な貢献

触覚アライメントの初探求: 対話的で比較的なタスクを用いて、人間の触覚経験と LLM 表現の間の知覚的アライメントのレベルを体系的に調査した最初の研究です。
感覚から埋め込み空間へのマッピング: 著者らは触覚記述を LLM の埋め込み空間にマッピングし、表現の類似性を測定することに成功しました。その結果、LLM は素材に依存した体系的な知覚バイアスを示すことが明らかになりました。
インタラクティブなタスク設計: 本論文は、日常生活のシナリオ（衣類や布地の選択など）を反映し、他の感覚領域（食品、香水など）にも適応可能な「Guess What Textile?」フレームワークを導入しました。
バイアスの実証的証拠: 本研究は、LLM が触覚に対して均一に「盲目」なのではなく、非常に一貫性がないことを定量的に示しました。ある素材（例：シルク）ではうまく機能する一方で、他の素材（例：デニム）では失敗します。

4. 主要な結果

A. 全体的なパフォーマンス

低い成功率: AI の達成した成功率は22.5%（80 タスク中 18 タスク）であり、ランダム推測（23.7% ベースライン）と統計的に区別できませんでした。
主観的評価:
- 妥当性: 平均スコア 5.27/10（中立と有意な差なし）。
- 類似性: 平均スコア 4.77/10（中立より有意に低い）。
- 相関: 妥当性と類似性は強く相関していました（ $r=0.758$ ）。これは、AI が記述を誤解した際、その結果としての推測も知覚的に遠ざかることを示唆しています。

B. 素材固有のバイアス

高いアライメント: シルクサテンは100% の成功率を達成しました。LLM の埋め込み空間には、トレーニングデータにおける豊富なテキスト関連付けに起因すると考えられる、この素材に対する強固で明確な表現が存在するようです。
低いアライメント: コットンデニム、フェイクレザー、フェイクファーは0% の成功率でした。参加者が明確な説明を提供したにもかかわらず、モデルはこれらの素材を区別できませんでした。
混同行列: AI は、実際のターゲットに関係なく、特定の「人気のある」質感（リネンプレーンやシルククレポンなど）を予測する傾向を示しました。これは、埋め込み空間内の特定のクラスターに対するバイアスを示しています。

C. 人間対 AI 空間の幾何学

弱い構造的アライメント: AI は広範なカテゴリ知識（例：ウールをグループ化するなど）を捉えていましたが、人間が知覚する微細な知覚的関係の再現には失敗しました。
局所的な近傍: AI の空間における「最寄りの近傍」（最も類似した布地）の 30% しか、人間の知覚空間におけるものとは一致しませんでした。
相関: 人間の類似性評価と AI の意味的類似性の間の相関は中程度でした（ $r=0.441$ ）。これは分散の約 19.5% しか説明していません。

D. アライメント不整合の原因

トレーニングデータの不足: WikiText-103 および BookCorpus のコーパス分析により、布地/触覚用語の出現頻度は**0.0033%–0.0018%であるのに対し、色用語は0.15%–0.04%**であることが明らかになりました。トレーニングコーパスにおける触覚データの欠如が、アライメント不整合の主要な要因です。
言語的クラスタリング対知覚的クラスタリング: LLM は、知覚的類似性（実際にどのように感じるか）ではなく、言語的/カテゴリ的類似性（例：「コットン」と「リネン」はどちらも天然繊維である）に基づいて布地をクラスタリングします。

5. 意義と含意

テキストのみのモデルの限界: 本研究は、現在の LLM が「触覚空間」を完全にエンコードできないことを示しています。これらは、具身的な物理的理解ではなく、言語的関連付けに依存しています。
モダリティ固有のアライメント: 知覚的アライメントは、モダリティ間で一般化されるとは限りません。視覚用にアライメントされたモデルは、触覚に対しては依然として「盲目」である可能性があります。
マルチモーダル・グラウンディングの必要性: 堅牢なアライメントを達成するためには、将来の AI システムはテキストのみに依存するのではなく、マルチモーダルな感覚データ（視覚、触覚、聴覚）を統合する必要があります。
倫理的および安全上の制約: 著者らは、モデルの安全フィルター（例：GPT-4）が、性的な内容との関連付けにより触覚記述をブロックし、研究を妨げたことを指摘しました。これは、正当な感覚研究を可能にするような、微妙な配慮を伴う安全対策の必要性を浮き彫りにしています。
今後の方向性: 本論文は、大規模で多様な触覚記述データセットの作成と、言語と物理的感覚の間のギャップを埋めるマルチモーダル大規模言語モデル（MLLM）の開発を呼びかけています。

結論として、TouchAIは、LLM が触覚に関する潜在的な知識を一部有しているものの、人間との知覚的アライメントは体系的にバイアスがかかり、不完全であることを明らかにしています。物理世界における真の人間-AI アライメントを実現するには、テキストベースの表現を超え、具身的でマルチモーダルな学習を取り入れる必要があります。