Are you speaking my languages? On spoken language adherence in multimodal LLMs

想像してみてください。あなたの言葉を聞き取り、正確に文字に起こしてくれる、超スマートで多言語対応のロボットアシスタントがいるとします。このロボットは多くの言語を同時に理解することに長けており、文章の途中で言語を切り替えても（例えば、英語で「I need a café」と言った後にスペイン語に切り替えるなど）問題ありません。

しかし、このロボットには面白い癖があります。時々、あなたが実際にどの言語を話しているのかについて混乱してしまうのです。もしあなたがフランス語を話しているのに、ロボットが誤ってドイツ語の綴り規則を使って書き出したり、韓国語を話しているのに、ランダムな日本語の文字を混ぜてしまったりすることがあります。人間にとってこれは間違いに見えますが、ロボットにとっては単なる「推測」に過ぎません。

**「Are you speaking my languages?（あなたは私の言語を話していますか？）」**という題名のこの論文は、ロボットをあまりに融通の利かないものにすることなく、この混乱を解決する方法についての研究です。研究者たちは、あなたが使っている言語に関する「ヒント」に耳を傾けさせつつも、そのヒントが間違っていた場合には賢く無視できるような仕組みを作りたいと考えています。

以下に、彼らのアプローチを日常的な例えを用いて解説します。

問題点： 「間違ったレシピ」の惨劇

研究者たちはこの問題を**「言語遵守違反（Language Adherence Violation）」**と呼んでいます。
ロボットをシェフだと考えてみてください。もしあなたがシェフに「フランス料理を作って」と頼んだのに、カウンターの上にある材料が明らかにイタリア料理のものであった場合、質の低いシェフはイタリアの材料を使って無理やりフランス料理を作ろうとし、結果として奇妙で食べられない料理を作ってしまうかもしれません。ロボットの場合、もしロボットが「あなたはスペイン語を話している」と思い込んでいるのに、実際にはヒンディー語を話しているとしたら、ヒンディー語の単語をスペイン語の綴りで書いてしまうかもしれません。これは文字起こしを台無しにし、ロボットを不器用で、時には配慮に欠ける存在に見せてしまいます。

解決策： シェフを導く3つの方法

チームは、実際の音声（オーディオ）を無視させることなく、ヒントに従わせるための3つの異なる方法をテストしました。

1. ゼロショット・プロンプティング（「丁寧な後押し」）
これは、シェフが調理を開始する前に、「今日はフランス料理を作る予定ですよね」と声をかけるようなものです。

• 仕組み: 研究者たちは、ロボットへの指示に「これをフランス語で文字起こししてください」といった一文を加えるだけという手法をとりました。
• 注意点: 時には、間違ったヒントを与えてしまうことがあります（例：ロボットに「フランス語」と伝えたのに、実際にはスペイン語を話している場合）。研究者たちは、ヒントを優しく表現する（例：「これはフランス語と他の言語の混合かもしれません」とする）ことで、音声の内容が明確にそれと異なる限り、ロボットはヒントを聞き入れつつも、あくまで「後押し」として扱うことができることを発見しました。これは「突き放す」のではなく「そっと促す」手法です。

2. 教師あり微調整（「集中トレーニングキャンプ」）
これは、シェフを特別な学校へ連れて行き、「フランス料理」という指示タグに従う練習を何度も何度も繰り返させるようなものです。

• 仕組み: 彼らは、指示と音声が一致している数千もの例を用いてロボットを再学習させました。また、指示が間違っている「ひっかけ」の例も混ぜることで、柔軟性を保てるように学習させました。
• 結果: ロボットは指示に従うことに非常に長けてようになりましたが、指示が全く与えられていない場合、指示タグに従うよう強く訓練されすぎたために、正しく調理する方法を忘れてしまうことがありました。

3. Chain-of-Thought（「思考のポーズ」）
これは、シェフに対して、調理を始める前に一旦手を止め、「よし、フランス語が聞こえるので、フランス語で書こう」と声に出して考えさせるようなものです。

• 仕組み: 研究者たちは、ロボットに文字起こしを開始する前に、「言語はフランス語である」と明示的に宣言させるようにしました。
• 結果: これにより、ロボットはまず言語の決定を下すことができました。これはうまく機能しましたが、わずかながら追加の思考時間が必要になりました（ただし、研究者によればその時間は無視できる程度です）。

大きな発見

研究者たちは、言語を切り替える（コードスイッチング）人々を含む、現実世界のデータを用いてこれらの方法をテストしました。その結果、以下のことが明らかになりました。

• 「正しいヒント」が最強: 正しい言語のヒント（例：「これはフランス語です」）を与えれば、3つの手法のどれを使っても完璧に動作します。
• 「間違ったヒント」は厄介: もし間違ったヒント（例：実際にはフランス語なのに「これはスペイン語です」と言う）を与えると、ロボットは混乱することがあります。しかし、「丁寧な後押し（ゼロショット）」による手法が、間違ったヒントを無視して音声に忠実であるという点で最も堅牢でした。
• 「混合」は問題なし: もし「これはフランス語で、おそらくスペイン語も混ざっています」と伝えて、実際にはフランス語だけであったとしても、ロボットは問題なく処理できます。余分な選択肢があっても混乱することはありません。
• 「ヒントなし」はリスクがある: ヒントを全く与えない場合、特にヒントに従うよう強く訓練された場合は、パフォーマンスが低下します。ヒントがないと、ロボットは少し迷子になってしまうようです。

結論

この論文は、この問題を解決するために必ずしもロボットを再学習させたり、複雑な思考ステップを踏ませたりする必要はないと結論付けています。単に、言語に関する明確で丁寧なヒントを与えるだけで、多くの場合十分なのです。

しかし、最も重要な教訓は、最初に言語のヒントを正しく得ることが極めて重要であるということです。もし「あなたはフランス語を話しています」とロボットに伝えるシステム自体が間違っていたら、ロボットは苦戦することになります。最善の戦略は、文字起こしが始まる前に、言語を正確に推測できる信頼性の高い「上流のシステム」を持つことです。

端的に言えば、ロボットに良い地図を与えれば、正しい道を見つけることができます。もし地図が間違っていれば、どんなに賢いロボットであっても迷ってしまうのです。