Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences

この論文は、音声から数式や文章を LaTeX に変換する課題に対処するため、英語とロシア語の 6 万 6 千件以上の音声データを含む大規模なオープンソースデータセットと、既存の手法を大幅に上回る性能を達成する新しいモデルを提案し、数学的コンテンツ認識の新たな基準を確立したものである。

要約

この論文は、**「話された数学を、パソコンが読める『LaTeX（ラテック）』という特殊な言語に変える技術」**について書かれたものです。

想像してみてください。あなたが講義で「エックスの二乗にプラス、エーの二乗にイコール、シーの二乗」と口頭で説明しているところを、AI が聞いて、瞬時に「$x^2 + a^2 = c^2$」というきれいな数式に変換してくれる場面です。これがこの研究のゴールです。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

1. なぜこれが難しいのか？（「言葉の曖昧さ」の壁）

数学を口で話すのは、実はとても曖昧です。
例えば、「1 割る x に 2 を足す」と言われたとき、それは以下のどちらでしょうか？

• $\frac{1}{x} + 2$ （1 を x で割ったものに、2 を足す）
• $\frac{1}{x+2}$ （1 を、x に 2 を足したもので割る）

人間なら文脈でわかりますが、AI にとっては「どちらの意味で言っているのか」が非常に判断しにくいのです。これまでの AI は、この曖昧さのために、間違った数式を作ってしまうことが多かったのです。

2. 彼らがやったこと：「巨大な辞書」と「新しい練習方法」

この研究チームは、この問題を解決するために 3 つの大きなことをしました。

① 世界最大級の「練習用データセット」を作った

これまでの研究では、練習用のデータが少なかったり、特定の言語（英語だけなど）しか対応していなかったりしました。
彼らは、英語とロシア語の両方で、6 万 6 千個もの「人間が実際に読んだ数学の数式」の音声データを集めました。さらに、AI 音声を使って57 万個の追加データも作りました。

• 例え話： 料理のレシピを覚えるために、今まで「1 人のシェフが 10 回作った料理」しか見ていなかったのに、今回は「33 人のシェフが 6 万回以上作った料理の動画」をすべて見せて、AI に学習させたようなものです。これにより、AI は「この人はこう発音するんだ」「あの人はこう言うんだ」という多様な癖を学べます。

② 2 つの異なる「学習方法」を試した

AI に数式を教えるには、大きく分けて 2 つのアプローチがあります。

• 方法 A（修正屋）： まず AI に「音声→文字」を変えさせ、その文字を別の AI に「文字→LaTeX 数式」に変えさせる。
  • 例え話： 通訳者がまず「音声→日本語」に直し、その日本語を別の翻訳者が「日本語→専門用語」に直すイメージです。
• 方法 B（直感屋）： 音声データを直接、LaTeX 数式に変えるように AI を鍛える（マルチモーダル AI）。
  • 例え話： 通訳を挟まず、音声そのものを聞いて「専門用語」を直接口にする天才的な通訳者のようなイメージです。

③ 結果：「直感屋」が圧倒的に強かった

実験の結果、「方法 B（直感屋）」の AI が最も優秀でした。
特に、SALMONN という AI モデルは、これまでの最高記録を大きく更新しました。

• 比較： 以前の最高記録（MathSpeech）は、テストで 64% も間違えていましたが、彼らの新しいモデルは 27% まで減らしました。
• 意味： 100 問中 64 問間違っていたのが、27 問に減ったということです。これは劇的な進歩です。

3. この研究がすごい理由

• オープンソース（誰でも使える）： 彼らが作ったデータセットやコードは、誰でも無料でダウンロードして使えます。これにより、世界中の研究者が同じ土俵で競争・協力できるようになります。
• 二言語対応： 英語だけでなく、ロシア語も扱えるようにしました。
• 文脈の理解： 単なる数式だけでなく、「x の二乗は 4 に等しい」というような、文章の中に埋め込まれた数式も理解できるようになりました。

4. 将来、どう役立つのか？

この技術が完成すれば、以下のようなことが可能になります。

• 自動講義録画： 大学の講義で教授が黒板に書く代わりに口で説明しても、自動的にきれいな教科書レベルのノートが作られます。
• 視覚障害者への支援： 数式を音声で読み上げたり、逆に音声で数式を入力して視覚的に確認したりする支援が格段に楽になります。
• 研究者の効率化： 論文を書く際、頭の中で考えた数式を口で喋るだけで、LaTeX コードが自動生成されるようになります。

まとめ

この論文は、**「AI に数学を『聞く』技術を、これまでの限界を超えて飛躍的に向上させた」**という報告です。
彼らは「練習用の教材（データ）」を大量に用意し、「直接音声を理解する AI」を育てることで、曖昧な人間の言葉を、正確な数学の言語に変える道を開きました。これからの AI 教育や研究の現場を大きく変える可能性を秘めています。

技術概要

論文「SPEECH-TO-LATEX: NEW MODELS AND DATASETS FOR CONVERTING SPOKEN EQUATIONS AND SENTENCES」の技術的サマリー

本論文は、ICLR 2026 にて発表された研究であり、**音声から LaTeX 形式への数学式変換（Speech-to-LaTeX: S2L）**という課題に焦点を当てています。従来の音声認識（ASR）や言語モデル（LM）は一般的な音声には強いものの、数式の構造化された記号表現への変換においては、発音の曖昧さや複雑な構文処理の観点から未解決の課題が多く残されていました。

以下に、問題定義、手法、主な貢献、結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

• 課題: 音声入力を厳密に構造化された LaTeX 記号に変換するタスク。
• 既存手法の限界:
  • MathSpeech (Hyeon et al., 2025b): 既存の最前線手法ですが、2 つの ASR 転写を必要とし、孤立した数式のみを対象としていました。また、テストセットが小さく、トレーニングデータが公開されておらず、多言語対応や文脈を含む数文（mathematical sentences）の処理が不足していました。
  • 曖昧性: 「kappa」が \kappa か \varkappa か、「one over x plus two」が 1/x + 2 か 1/(x+2) かといった発音の曖昧さが、正確な LaTeX 生成を困難にしています。
  • データ不足: 大規模で人間が注釈をつけた、多様な発音や言語（英語・ロシア語）をカバーする S2L データセットが存在しませんでした。

2. 提案手法とデータセット

2.1. 大規模オープンソースデータセット「S2L」の構築

本研究の中心的な貢献は、英語とロシア語の両方に対応した、初の大規模かつオープンなデータセットの公開です。

• 構成:
  • S2L-equations: 孤立した数式（約 10.7k の一意な数式）。
  • S2L-sentences: 文脈を含む数学的な文章（約 12k の一意な文）。
• 規模と多様性:
  • 人間注釈: 33 人の注釈者により、合計約 66,000 件の音声サンプル（英語 27k、ロシア語 18k 程度）が収集されました。
  • 人工生成データ: TTS（Text-to-Speech）モデル（XTTSv2 など）を用いて、約 571,000 件の合成音声データを生成し、データ拡張を行いました。
  • ソース: MathBridge, TextTeller, Proof-Pile などの既存データから抽出・精製し、GPT-4 を用いて追加の数式と発音ペアを生成しました。
• 前処理: KaTeX によるコンパイルチェック、LaTeX の正規化（不要なスペースの除去、演算子名の統一など）を実施し、評価の公平性を確保しました。

2.2. モデルアプローチ

本研究では、主に 2 つのアプローチを比較・評価しました（図 1 参照）。

1. ASR 事後修正パイプライン (Post-correction):
   • 音声 → ASR モデル（Whisper-Large v3 など）でテキスト転写 → 微調整された LLM（Qwen2.5, Qwen2.5-Math など）で LaTeX へ変換。
   • 従来の ASR 出力の曖昧さを、強力な言語モデルの事前知識で補正します。
2. マルチモーダル・エンドツーエンドアプローチ:
   • 音声 → 音声エンコーダ（Whisper, BEATs）→ アダプタ → LLM（LLaMA ベース）→ LaTeX 生成。
   • 代表的なモデルとして SALMONN-13B を採用し、音声特徴を直接 LLM に統合して変換を試みました。

3. 評価手法

• メトリクス:
  • CER (Character Error Rate): 文字誤り率。LaTeX の構文の微妙な違い（例：\int_{a}^{b} と \int_a^b）を公平に評価するため、正規化処理を適用して計算。
  • TeXBLEU: LaTeX 生成タスクに特化した BLEU 変種。
• ベンチマーク:
  • 既存の MathSpeech ベンチマーク での評価。
  • 本研究で提案した S2L-equations および S2L-sentences ベンチマークでの評価（トレーニングデータとテストデータの数式が完全に重ならない「Disjoint Split」設定）。

4. 主要な結果

4.1. 数式変換 (S2L-equations)

• SALMONN-13B の卓越性: エンドツーエンドの Audio-LLM モデルである SALMONN-13B が、すべてのモデルの中で最高性能を記録しました。
  • S2L-equations テストセット: 提案モデル（SALMONN）は CER 17.5% を達成し、既存の MathSpeech モデル（CER 64.0%）を大幅に上回りました（正規化後の比較）。
  • MathSpeech ベンチマーク: 既存のベンチマークでも CER 27.7% を記録し、Qwen2.5-0.5B（CER 30.0%）と同等以上の性能を示しました。
• ASR 事後修正モデル: Qwen2.5-1.5B（Mix-full 設定）は CER 25.69% を達成し、小規模なモデルでも高い性能を発揮しました。
• 多言語学習: 英語とロシア語の両方でトレーニングすることで、特定の言語タスクでの性能向上が確認されました（特にロシア語において顕著）。

4.2. 数文変換 (S2L-sentences)

• 文脈内の数式変換は、孤立した数式よりも困難でした。
• SALMONN-13B: 埋め込まれた数式の CER で 39.7% を記録し、最良の性能を示しました。
• 微調整の有効性: 人間注釈データで微調整（Fine-tuning）されたモデルが、Few-shot プロンプトのみを用いたモデルよりも一貫して高い性能を示しました。

4.3. 定性的分析

• 生成された LaTeX の 98% 以上が KaTeX によって正常にコンパイルされました。
• 誤りの多くは構造的な欠陥ではなく、記号の置換やインデックスの誤り、text{...} ブロックの欠落など、局所的な問題であることが確認されました。

5. 貢献と意義

1. 初の大規模オープンデータセットの公開:
   • 英語・ロシア語対応、人間注釈と合成データの両方を含む 66k+571k サンプルの S2L データセットを公開しました。これにより、今後の S2L 研究の基盤が整いました。
2. 新しいベンチマークと評価プロトコル:
   • 孤立数式だけでなく、文脈を含む数学的「文」の認識タスク（S2L-sentences）を定義し、初めて体系的な評価を行いました。
   • LaTeX 正規化を考慮した公平な評価手法を確立しました。
3. モデル性能の飛躍的向上:
   • エンドツーエンドの Audio-LLM（SALMONN）が、従来の ASR+LLM パイプラインを上回る性能を示すことを実証しました。
   • 既存の MathSpeech ベンチマークにおいて、大幅な性能向上（CER 64% → 27% 台）を達成しました。
4. 学術・教育への応用可能性:
   • 講義の自動文字起こし、マルチモーダルアシスタント、科学的なノート作成など、実用的なアプリケーションへの道を開きました。

結論

本論文は、音声から LaTeX への変換タスクにおいて、大規模な高品質データセットと最先端のマルチモーダルモデルの組み合わせが、既存の手法を大きく凌駕する性能をもたらすことを実証しました。特に、文脈を含む数学的表現の理解と変換において、SALMONN などの Audio-LLM が有望なアプローチであることを示し、マルチモーダル AI の数学コンテンツ認識分野における重要なマイルストーンとなりました。