From Interpretability to Control: Insights from Six Years of the TrustNLP Workshop

あなたは、物語を書いたり、数学の問題を解いたり、あなたの日常についてチャットしたりできる、超スマートなロボットの友達を完成させたばかりだと想像してください。これは単なる計算機ではありません。インターネット全体から学習する言語マシンです。しかし、ここには厄介な問題があります。インターネット全体から学んだために、ロボットは悪い癖も学んでしまったのです。例えば、作り話をしたり、特定のグループに対して失礼な態度をとったり、難しい質問をされたときに混乱したりすることです。これが、機械に人間の言語を理解させ、話させることに捧げられたコンピュータサイエンスの一分野、**自然言語処理（NLP）**の世界です。

長い間、科学者たちはこれらのロボットを「ブラックボックス」として扱ってきました。質問を入力すれば、魔法のような答えが出てくるというものです。しかし、これらのロボットがより賢くなり、医師の診断を支援したり、法的契約書を作成したりといった、より重要な仕事を行うようになると、人々はこう問い始めました。「待てよ、どうやってその答えに辿り着いたんだ？ それは真実なのか？ それは公平なのか？」これが、AIにおける**信頼性（Trustworthiness）**の台頭につながりました。これは、新しい車の安全検査のようなものです。ただ車が速く走れるだけでなく、ブレーキが効くか、エアバッグは本物か、GPSが崖下に誘導しないかを知っておきたいものです。「解釈可能性（Interpretability）」という分野は、エンジンの仕組みを見るためにボンネットを開けようとするメカニックの道具箱であり、「安全性（Safety）」と「公平性（Fairness）」は、ロボットが誰かを傷つけないようにするための交通ルールなのです。

---

TrustNLP ワークショップの6年間の歩み

この論文は、TrustNLP ワークショップと呼ばれる特別なクラブの、まるでタイムトラベルする日記のようです。2021年から2026年までの6年間、大学や大手テック企業の研究者たちが、AIロボットを信頼できるものにする方法について意見を交換するためにここに集まってきました。この論文の著者たち（Amazon、Meta、その他の機関のチーム）は、このワークショップで発表されたすべての論文（144本）を読み解き、どのように会話が変化してきたかを確認することにしました。

彼らは、クラブの焦点がただ漂っていたのではなく、ロボットが何をしているかに応じて激しく跳ね上がったことを見出しました。それは、親が子供の成長を見守るようなものです。子供たちが幼児だった頃（2021〜2022年）、親たちは子供が「お願いします」や「ありがとう」と言えるかどうか（公平性）、そしてなぜその行動をしたのかを説明できるか（解釈可能性）を心配していました。

しかし、2022年後半、ロボットは急速に成長しました。突然、彼らは小説を丸ごと書き上げ、本物の人間のようにチャットできるようになりました。これが「チャットボット時代」です。親たちの心配は一瞬で変わりました。今や、彼らはロボットが嘘をつくこと（真実性）や、悪党に騙されること（堅牢性）を恐れていました。論文によれば、これほど強力なチャットボットが登場するとすぐに、研究者たちは単に「ロボットがどう考えるか」を心配することをやめ、「ロボットは私に嘘をついているのではないか？」と心配し始めたのです。

4つの大きな教訓

144本の論文を分類した後、著者たちは、この分野がどこへ向かっているのかを示す4つの大きなパターンを見つけました。

1. ロボットが先に動き、科学者が後を追う
論文は、研究者が常に後手に回っていることを示唆しています。新しい、超強力なロボットの能力（2022年の最初の大きなチャットボットや、2024年の画像を見る能力など）が現れるたびに、科学者たちはそのロボットがすでに世に出た後に、ようやくその危険性について書き始めます。これは、新しいビデオゲームが発売されるのを待ってから、誰もがボスを倒すためのガイドを書き始めるようなものです。ワークショップの論文は、研究のアジェンダが先行的ではなく、反応的であることを示しています。私たちはロボットがつまずくのを見て、それから安全網を作るのです。

2. 「ブラックボックス」問題は現実であり、（さらに悪化している）
長年、科学者たちは単にロボットの回答を見ることで、ロボットを信頼しようとしてきました。ロボットが「空は青い」と言えば、問題ないと想定してきました。しかし、論文はこの考えが間違いであると主張しています。それは、魔法使いがどのようにして帽子の中にウサギを入れたのかを知ることなく、目の前の手品だけで判断するようなものです。著者らは、ロボットが間違った理由で正しい答えを出したり、あるいは手遅れになるまで悪い振る舞いを隠したりできることを発見しました。彼らは、ロボットを真に信頼するためには、単に言葉を聞くだけでなく、その「脳」（内部のコードや数学）の中を見る必要があると示唆しています。単に最終製品を見るのではなく、歯車が回っている様子を見る必要があるのです。

3. 全てを手に入れることはできない
最も興味深い発見の一つは、一つの問題を修正すると、別の問題が発生してしまうことが多いということです。論文は、ロボットをより公平になるよう調整すると、正確性が低下する場合があることを指摘しています。もし、不適切な発言を一切しないように安全性を高めすぎると、無害な質問（例えば「サンドイッチはどうやって作るの？」）への回答を拒否し始めるかもしれません。それはギターのチューニングをするようなものです。完璧な音程を得るために一つの弦を締めすぎると、次の弦の調子が狂ってしまうかもしれません。研究者たちは、完璧なロボットなど存在せず、そこにはトレードオフがあること、そしてどの問題を優先的に解決すべきかを決める必要があることに気づきました。

4. 「なぜ」という問いが戻ってきている
ここでひねりがあります。最初（2021年）は、誰もがロボットがなぜその決定を下したのかを知りたがっていました。その後数年間、ロボットがあまりに複雑になりすぎたため、人々はそれを気にかけなくなりました。しかし、2026年の論文では、大きな復活が記録されています！ 科学者たちは再びロボットの脳を理解しようとしていますが、今回はより強力な新しいツールを用いています。ロボットに自分自身を説明させる（それは嘘をつく可能性がある）代わりに、彼らは「メカニスティック・インタープリタビリティ（機械論的な解釈可能性）」を使用しています。これは、基本的にはロボットの脳をX線検査し、特定のトピックについて考えているときに、どの部分が光るのかを正確に見極める手法です。これは「何を言ったのか？」と問うことから、「その言葉を発した正確な配線を見せてくれ」と問うことへの転換なのです。

結論

論文は、私たちが忙しく、混沌としていますが、エキサイティングな時期にいると結論づけています。ワークショップの論文数は2021年のわずか8本から2026年には41本へと増加しており、誰もがこれらの問題を解決しようとしていることを示しています。しかし、著者らは警告しています。私たちが問題を「研究している」からといって、問題を「解決した」わけではないということです。

彼らは、単にロボットが失敗するのを眺めているのではなく、最初から失敗しないことを保証できるシステムを構築し始める必要があると示唆しています。公平性、安全性、真実性を別々のパズルとして扱うのではなく、それらを一つに繋ぐマスタープラン（単一のルールセット）が必要です。それまでは、AIの信頼を巡る物語は、自分たちの思考速度よりも速く学習する機械に対して、いかにして良き親であるべきかを模索しながら、自らの創造物に追いかけられている物語であり続けるでしょう。