SEMamba++: A General Speech Restoration Framework Leveraging Global, Local, and Periodic Spectral Patterns
SEMamba++ は、周波数特性やマルチ解像度分析といった音声固有の性質をインダクティブバイアスとして取り入れた新しいアーキテクチャを提案し、計算効率を維持しながら複数のベースラインモデルを上回る性能を実現する汎用的な音声復元フレームワークです。
⚡ Category
eess.AS
141 件の論文
RAF: Relativistic Adversarial Feedback For Universal Speech Synthesis
この論文は、自己教師あり学習モデルを活用して判別器を支援し、相対的ペアリングを導入することで、GAN 音声合成器の忠実度と汎化性能を向上させる新しい訓練手法「RAF（相対的敵対的フィードバック）」を提案し、その有効性を示したものです。
Affect Decoding in Phonated and Silent Speech Production from Surface EMG
この論文は、発声および無声の発話時の顔面・頸部の表面筋電図（sEMG）データを用いて感情を解読する手法を提案し、特に「フラストレーション」の識別において高い精度を達成し、発声の有無にかかわらず感情の筋活動パターンが持続することを示しています。
ReDimNet2: Scaling Speaker Verification via Time-Pooled Dimension Reshaping
ReDimNet2 は、1 次元処理経路に時間方向のプーリングを導入することで計算コストを増大させずにチャネル次元を大幅に拡張し、VoxCeleb1 ベンチマークにおいて ReDimNet よりも優れた計算効率と精度のトレードオフを実現するスケーラブルな話者検証ネットワークです。
Acoustic-to-Articulatory Inversion of Clean Speech Using an MRI-Trained Model
本論文は、MRI 装置のノイズを含む音声ではなく、清浄な環境で録音された音声を用いて訓練されたモデルが、MRI 音声に基づくモデルと同等の精度（RMSE 1.56 mm）で音声から発音器官の形状を再構築できることを実証したものである。
Reconstruction of the Vocal Tract from Speech via Phonetic Representations Using MRI Data
この論文は、音声信号から声道の幾何学形状を再構築する音響・調音逆変換において、MFCC ベースラインと比較し、自動文字起こし、時間整合された音素セグメンテーション、そして専門家による手動修正という 3 つの異なるレベルの音素情報精度が再構築精度に与える影響を MRI データを用いて検討し、手動修正後のモデルがベースラインに匹敵する最高性能を示すことを明らかにしています。
Silent Speech Interfaces in the Era of Large Language Models: A Comprehensive Taxonomy and Systematic Review
本論文は、環境ノイズやプライバシー制約を克服するサイレント・スピーチ・インターフェース（SSI）の技術動向を、従来の信号処理から大規模言語モデルを活用した意味的潜在空間へのマッピングという新たなパラダイムへと転換する包括的な分類体系とシステマティック・レビューとして提示し、実用化に向けたロードマップと倫理的課題を論じています。
Resurfacing Paralinguistic Awareness in Large Audio Language Models
この論文は、大規模音声言語モデル（LALMs）が従来の内容中心の枠組みで無視しがちな副言語的キューへの意識を回復させるため、層ごとの分析に基づき「選択的層微調整」と「補助的な二重レベル分類ヘッド」を組み合わせた新しい微調整プロトコル「PE-FT」を提案し、その有効性を実証したものである。
Dr. SHAP-AV: Decoding Relative Modality Contributions via Shapley Attribution in Audio-Visual Speech Recognition
この論文は、Shapley 値を用いて音声・視覚モダリティの寄与を定量化する「Dr. SHAP-AV」フレームワークを提案し、ノイズ環境下でもモデルが音声へのバイアスを維持しつつ視覚への依存を高めるという発見を通じて、AVSR におけるモダリティバランスの動的変化と診断手法の重要性を明らかにしています。
Controllable Dance Generation with Style-Guided Motion Diffusion
既存の手法が欠如していた音楽スタイルとの整合性や制御性を補完するため、音楽特徴とスタイルプロンプトを統合した「スタイル誘導モーション拡散（SGMD）」を提案し、Transformer 構造と空間時間的マスク機構を用いて、軌跡生成やダンスの補間・修復など多様な制御タスクに対応する高品質でスタイルに忠実なダンス生成を実現する。
ExSampling: a system for the real-time ensemble performance of field-recorded environmental sounds
本論文は、フィールドレコーディングによる環境音のリアルタイムな音楽パフォーマンスを可能にする統合システム「ExSampling」を提案し、深層学習を用いた自動的な音源の Ableton Live トラックへのマッピングにより、録音者・作曲家・演奏者の間での相互作用を実現するものである。
Relationship between objective and subjective perceptual measures of speech in individuals with head and neck cancer
頭頸部がん患者を対象とした本研究では、主観的評価と客観的音声測定の間に強い相関が確認され、特に知能性（明瞭度）の単一指標が化学放射線療法を受けた患者の臨床的モニタリングに十分である可能性が示唆されました。
A Large-Scale Probing Analysis of Speaker-Specific Attributes in Self-Supervised Speech Representations
本論文は、11 の自己教師あり音声モデルを対象とした大規模なプロービング分析を通じて、音声 SSL モデルが話者固有の情報をどのように符号化するかを解明し、最終層が純粋に言語内容のみを抽象化するとの通説に反して大規模モデルでは深層で話者アイデンティティが再獲得されること、また中間表現が専門的な話者埋め込みよりも動的な韻律を捉えることを発見しました。
TSPC: A Two-Stage Phoneme-Centric Architecture for code-switching Vietnamese-English Speech Recognition
本論文は、限られた計算資源下でもベトナム語と英語のコードスイッチング音声認識において、PhoWhisper-base などの既存手法を上回る Word Error Rate 19.06% を達成する、拡張ベトナム語音素セットを中間表現とする効率的な 2 段階音素中心アーキテクチャ「TSPC」を提案するものである。
BabyHuBERT: Multilingual Self-Supervised Learning for Segmenting Speakers in Child-Centered Long-Form Recordings
本研究では、40 以上の言語にわたる 1 万 3,000 時間の多言語幼児中心音声データを用いて学習させた自己教師あり音声モデル「BabyHuBERT」を提案し、これにより既存の成人向けモデルを上回る性能で、自然な環境下での長編録音における話者（対象児と成人・他児など）の分類精度を大幅に向上させたことを示しています。
SAM: A Mamba-2 State-Space Audio-Language Model
本論文は、Mamba-2 をバックボーンに採用した音声言語モデル「SAM」を提案し、パラメータ数を削減しながら大規模なトランスフォーマーモデルに匹敵する性能を達成するとともに、音声エンコーダーの微調整やトークン表現の最適化、指示追従学習の重要性など、SSM を音声言語モデルの基盤として実用的に設計するための指針を確立したものである。
Conversational Speech Reveals Structural Robustness Failures in SpeechLLM Backbones
本研究は、LLM を基盤とする音声モデルが自然な会話の流暢性を欠く入力に対して構造的忠実度よりも意味の抽象化を優先する傾向があり、特に推論モデルが過剰な削除を行うことを示し、音声に対する頑健性が特定の学習目的によって形成されることを明らかにしています。
Noise-to-Notes: Diffusion-based Generation and Refinement for Automatic Drum Transcription
この論文は、拡散モデルと音楽基盤モデルの機能を組み合わせて自動ドラム転写の性能を飛躍的に向上させ、新たな最先端記録を達成した「Noise-to-Notes」という生成フレームワークを提案しています。
Schrödinger Bridge Mamba for One-Step Speech Enhancement
本論文は、シュレーディンガー・ブリッジの学習パラダイムとMamba アーキテクチャを統合した「Schrödinger Bridge Mamba (SBM)」を提案し、音声のノイズ除去と残響除去を 1 ステップで高精度かつリアルタイムに実現する手法を示しています。
Multi-Loss Learning for Speech Emotion Recognition with Energy-Adaptive Mixup and Frame-Level Attention
本論文は、SNR ベースのエネルギー適応ミックスアップとフレームレベル注意機構を統合し、多損失学習戦略を用いて感情の複雑さやデータ不足という課題を克服し、複数のデータセットで最先端の性能を達成する音声感情認識フレームワークを提案しています。