The Eloquence team submission for task 1 of MLC-SLM challenge

あなたは、超スマートなロボットに、多言語が飛び交い、人々が声を張り上げ、数分前に話された内容を覚えていなければ意味が通じないジョークを飛ばす、騒々しいパーティーの音を聞き取る方法を教えようとしているところだと想像してください。これが、**多言語対話音声認識（multilingual conversational speech recognition）**の世界です。長い間、コンピュータはリレーレースのように処理してきました。つまり、人間（または機械）がまず、話された内容を正確に書き起こし（文字起こし）、次に別の機械がそのテキストを読んで意味を理解するという方法です。しかし、このリレーレースには欠点があります。もし最初の走者がつまずいて間違った言葉を書いてしまったら、二番目の走者は混乱し、メッセージ全体がめちゃくちゃになってしまうのです。さらに、二番目の走者は、テキストだけでは声の「感じ」——トーン、速度、感情——を見落としてしまいます。

これを解決するために、科学者たちは**音声言語モデル（Speech Language Models: SLMs）**を構築しています。これらは、音波を直接聞き取り、中間にテキストを介することなく同時に意味を理解できる、全知全能の脳のようなものです。これは、外国語を翻訳してくれる人間がいないとジョークを理解できないロボットから、元の言語でジョークを聞いて、適切なタイミングで笑うことができるロボットへとアップグレードするようなものです。研究者たちが投げかけている大きな問いは、「どうすれば、これらのロボットが、多くの異なる言語を同時に扱う、乱雑で現実的な会話を本当に上手く理解できるようにできるか？」ということです。

この論文では、「Eloquence」プロジェクト（欧州連合の資金援助を受けたグループ）のチームが、どのAIが最もよく聞き取れるかを確かめるために、これらのAIの脳にパーティーを開くことにしました。彼らは、AIがいかに多言語の会話を処理できるかをテストするために特別に設計された、MLC-SLM チャレンジというコンペティションに参加しました。彼らの目標は、単に「聞く」ロボットを作ることではありませんでした。彼らは、例えば「寒い」という言葉が、ある状況では「ヒーターをつけて」を意味し、別の状況では「コートを着ている」を意味するというように、会話の「文脈（コンテキスト）」を理解できるロボットを作りたいと考えたのです。

チームは、どの手法が自分たちのAIを最高の聞き手にすることになるかを確かめるため、3つの異なる戦略を試しました。

第一に、彼らはゲームのルールを確認しました。
新しいことを発明しようとする前に、彼らは「公式のベースライン」——コンペティションの主催者が提供する標準的なセットアップ——を調査しました。これは、全員がもらえる「スターターキット」のようなものです。彼らはこのキットを、異なる種類の「脳（大規模言語モデル：LLM）」と、異なる種類の「耳（音声エンコーダー）」を脳に接続する方法でテストしました。その結果、単に接続方法を微調整しただけでは、大きな違いは生まれないことがわかりました。それは、タイヤの色を変えることで遅い車を直そうとするようなものでした。エンジンが同じであれば、スピードは変わりません。彼らはまた、「Q-Former」と呼ばれる洗練された新しい接続方法も試しましたが、それも魔法のように問題を解決することはありませんでした。

第二に、彼ら独自のカスタムエンジンを構築しました。
これが彼らの最も成功した試みでした。彼らは、SLAM-ASRと呼ばれるフレームワークを使用しました。これは、音声ロボットを構築するためのハイテクなワークショップのようなものです。彼らは、強力な音声リスナー（Whisper Large V3 Turbo）と、EuroLLM 1.7Bと呼ばれる特定のタイプの脳を組み合わせました。この脳に音声を理解させるために、彼らはカスタム「翻訳機（線形プロジェクター）」を構築し、音を脳が理解できる言語に変換しました。

ここで彼らは創造性を発揮しました。ロボットに「ノイズ混じりの」練習データを与えることで、ロボットを教育しようとしたのです。彼らは、静電気を加えたり、声を速めたり、ピッチを変えたりすることで、劣悪な音声条件をシミュレートし、ロボットに過酷な環境での練習をさせました。これは、ボクサーが重りを持ってトレーニングするように、ロボットを強くすることを目的としていました。しかし、結果は少し複雑でした。ノイズのトレーニングは特定のケースでは役に立ちましたが、彼らの最高のロボットを以前より優れたものにすることはありませんでした。実際、LoRA（脳を丸ごと作り直すのではなく、軽量で調整可能なトレーニング用のベストを追加するようなもの）という特別な学習手法を用いた彼らの最高システムは、24チーム中13位という結果でした。優勝ではありませんでしたが、小さな「凍結された脳」と賢い翻訳機の組み合わせでも、素晴らしい仕事ができることを証明しました。

第三に、ロボットに「記憶」を与えようとしました。
実際の会話は、単なる一文ずつの集まりではありません。それはアイデアの流れです。もし誰かが「雨が降っている」と言い、その後に「傘を忘れた」と言えば、二番目の文章は最初の一文があるからこそ意味を持ちます。チームは、前の文章を会話のコンテキストとして入力することで、AIにこのような記憶を与えようと試みました。また、**対照学習（contrastive learning）**という、いわば「間違い探し」のようなテクニックも試しました。彼らは、AIに対して、本来組み合わさるべき文章のペアと、組み合わさるべきではない文章のペアを見せ、論理的な会話とランダムな言葉の羅列の違いをAIに学習させたのです。

ここでの結果は興味深いものでした。「記憶（コンテキスト）」と「間違い探し（対照学習）」を加えたとき、AIは会話の理解が向上し、テストセットにおけるエラー率を**17.18%**まで下げました。しかし、彼らは奇妙なことに気づきました。「トレーニング用のベスト（LoRA）」を「記憶」や「対照学習」と一緒に使用すると、パフォーマンスがかえって低下したのです。彼らは、ロボットに学習させる時間が足りなかった（わずか2回のトレーニングセッション）ため、余計な複雑さが混乱を招いたのではないかと推測しています。

彼らは何を学びましたか？
チームは、音声理解のために、必ずしも最大かつ最も高価な脳が必要なわけではないことを発見しました。小さく「凍結された」脳（EuroLLM 1.7B）と、賢く訓練された翻訳機の組み合わせは、非常に効果的であり得ます。また、AIに少しの「会話の履歴」を与えることは、物語を理解する助けになることも学びましたが、トレーニングを複雑にしすぎないよう注意が必要です。

最後に、Eloquenceチームは、音声認識の未来は、これらのスマートで効率的なアーキテクチャと、人間が実際にどのように話すかという深い理解（会話の流れを意識すること）を組み合わせることにあると示唆しています。彼らは、単に孤立した言葉を聞くだけでなく、会話の流れを捉えることができるロボットを作ることを目指して、今後も言語を混ぜ合わせ、さらに複雑なタスクを扱う方法を探求し続ける予定です。