Unified Audio Intelligence Without Regressing on Text Intelligence
本論文は、強力なテキスト専用のMoEバックボーン上に構築された、多様なオーディオおよび音声タスクにおいて最先端の性能を達成しつつ、元のモデルの高度な推論能力やエージェントとしての能力を大幅な退行なしに維持する、統合された30Bオーディオ・テキストLLMであるAudexを紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
基本的なアイデア：「思考法を忘れない」スイスアーミーナイフのような脳
あなたは、エッセイの執筆、複雑な数学の問題の解決、そしてソフトウェアのコーディングに精通した、非常に優秀な教授を想像してみてください。この教授は、あなたのテキスト専用AIです。さて、この教授に、音楽を理解し、鳥の鳴き声を認識し、人間の声であなたに語りかける方法も教えたいとしましょう。
通常、天才に新しい難しいスキル（例えばジャグリングなど）を教えると、その人は元の仕事（例えば文章を書くこと）に対して少し不器用になってしまうことがあります。新しい技を習得することに脳が夢中になりすぎて、文法ミスをしたり、事実を忘れてしまったりすることがあるのです。
この論文は、思考の明晰さを損なうことなく、オーディオと音声のジャグリングを学習する新しいAIモデル「Audex」を紹介しています。
研究者たちは、非常に賢いテキスト専用の脳であるNemotron-Cascade-2の上に、Audexを構築しました。彼らの目標はシンプルです。音を聞き、話し、音を理解できるAIを作りつつ、推論したり、数学の問題を解いたり、指示に従ったりする能力を決して失わないようにすることです。
仕組み：「ユニバーサル翻訳機」のトリック
音を扱うほとんどのAIモデルは、手をつないだ二人の別々の人間のようなものです。一人が聞き手で、もう一人が話し手です。もし二人の間の会話が完璧でなければ、結果はめちゃくちゃになります。
Audexは異なります。これは単一の、統合された脳です。どのようにして同時にすべてを実現しているのか、その仕組みを説明します。
- 耳（オーディオエンコーダー）： Audexが音（犬の鳴き声や誰かの話し声など）を聞いたとき、すぐに生の音波を理解しようとはしません。代わりに、特殊な「翻訳機」（オーディオエンコーダー）を使用して、音をAIがすでに知っている言葉に似た「数字のリスト」に変換します。
- 脳（LLM）： これらの数字はメインの脳に送り込まれます。脳にとってこれらは「トークン」（単語のようなもの）として扱われるため、音のクリップをテキストの文章と全く同じように扱います。
- 口（オーディオコーデック）： Audexが話したり音を出したりしたいとき、単に言葉を「考える」だけでなく、文章の次の単語を予測するように、次の「サウンドトークン」を予測します。
比喩： テキストのレシピだけで料理をしていたシェフを想像してください。Audexは、そのシェフに「音」の食材を使って料理することを教えるようなものです。音のための別のキッチンを用意する代わりに、Audexは音の食材を、シェフがすでに話せる言語へと翻訳します。これにより、シェフは「テキストのケーキ」を作る方法を忘れることなく、「音のスープ」を作ることができるようになるのです。
秘訣：脳を壊さずに学習させる方法
研究者たちは大きな課題に直面しました。もしスマートなテキストAIにオーディオについて学習させすぎると、その賢さが失われてしまう可能性があるということです。これを防ぐために、彼らは慎重なステップバイステップの学習レシピを用いました。
- ウォームアップ： まず、AIの核となる知識を変更することなく、「音の食材」（オーディオトークン）を扱う方法を教えました。
- 階層的な学習： すべてを一度にAIに叩き込むことはしませんでした。まず音を生成する方法を教え、次に音を理解する方法を教え、最後にそれらすべてを混ぜ合わせました。これは、一輪車に乗る前に補助輪付きの自転車に乗る練習をするようなものです。
- 「退行しない」という約束： すべての学習が終わった後、彼らはAIの古いスキル（数学、論理、コーディング）をテストしました。結果は驚くべきものでした。Audexは、これらのタスクにおいてオリジナルのテキスト専用バージョンと同等の性能を維持していました。 音を聞き、話す能力を獲得しながらも、その「天才性」を失うことはなかったのです。
Audexには実際に何ができるのか？
論文によると、Audexはオーディオにおける「スイスアーミーナイフ」です。以下のことが可能です。
- 聞き取りと理解： 聞こえる内容について質問に答えることができます（例：「それは犬ですか、それとも狼ですか？」「この音楽の雰囲気はどうですか？」）。
- 文字起こしと翻訳： 話された言葉をテキストに変換し、騒がしい部屋の中でも他の言語に翻訳できます。
- 話すことと歌うこと： テキストのプロンプトを受け取り、人間のような話し声や、音楽、あるいは効果音（「雨が降る音」や「鳥のさえずり」など）を生成できます。
- 音声から音声へ： 音声入力を受け取り、異なる声の音声出力として生成できます（Speech-to-Speech）。
結果：両方の良いとこ取り
論文では、Audexを他のトップクラスのAIモデルと比較しています。
- テキストにおいて： 複雑な数学や論理パズルを解く際、最も賢いテキスト専用モデルと同等のパフォーマンスを発揮し、性能の低下は見られませんでした。
- オーディオにおいて： 音声認識や一般的な音の理解において、多くの他のモデルを上回っています。
- 「思考」モード： 一部のモデルは、考えながら話そうとすると「バカ」になってしまいますが、Audexは音の問題について「思考（推論）」し、その答えをオーディオとして生成することを、一度に行うことができます。
まとめ
この論文は、自分が「賢い思考家」であることと「優れた聞き手・話し手」であることを両立させる必要はないことを証明するモデル、Audexを提示しています。音を単なるもう一つの種類の言語として扱うことで、研究者たちは、元の知性を保ちながら、音の世界をマスターし、聞き、話し、そして等しく鮮やかに推論できる単一のAIを構築したのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。