141 Arbeiten
Diese Arbeit zeigt, dass das Training mit hohen Ausfallraten von Modalitäten die Robustheit eines Emotions-bewussten, Multi-Enrollment-Fusionsmodells für die audio-visuelle Zielsprecherextraktion signifikant verbessert und so auch bei unvorhergesehenen Signalverlusten stabile Leistung gewährleistet.
Die Studie zeigt, dass die Wahl der musikalischen Merkmalskodierung in Netzwerkdarstellungen einen grundlegenden Zielkonflikt zwischen struktureller Detailtreue und kommunikativer Effizienz aufdeckt, wobei einfache Darstellungen zwar höhere Unsicherheit, aber bessere Lernbarkeit bieten, während komplexere Kodierungen feinere Unterscheidungen ermöglichen, jedoch die Vorhersagbarkeit für den Hörer erschweren.
Die Arbeit stellt HyWA vor, eine personalisierte Sprachaktivitätserkennungsmethode, die mithilfe eines Hypernetzes angepasste Gewichte für ausgewählte Schichten eines Standardmodells generiert und dabei sowohl die Genauigkeit als auch die Deployment-Effizienz im Vergleich zu bestehenden Sprecher-Conditioning-Verfahren verbessert.
Diese Arbeit stellt MVTF vor, ein neuartiges Framework, das durch die Nutzung synchronisierter Mehransichts-Lippenvideos während des Trainings die Robustheit und Leistung der audio-visuellen Zielsprecher-Extraktion sowohl bei Einzel- als auch bei Mehransichtseingaben signifikant verbessert.
Die vorgestellte Arbeit führt ein Kalibrierungs- und Schlussfolgerungsframework ein, das Audio-LLMs durch eine Kalibrierungsphase und eine Verstärkungslernphase mit GRPO befähigt, Sprachqualität nicht nur präziser vorherzusagen, sondern auch multidimensionale Artefakte erklärbar zu beschreiben und zeitlich zu lokalisieren.
Die Arbeit stellt \texttt{nlm} vor, eine Open-Source-Sammlung von Max-Externals in C++, die Echtzeit-Nichtlinearer-Modal-Synthese für Saiten, Membranen und Platten mit interaktiver Parametersteuerung und Mehrkanalausgabe ermöglicht.
Diese Studie zeigt durch systematische Analysen, dass aktuelle Sprach-Tokenizer primär phonetische statt lexikalisch-semantische Informationen kodieren, was zu einer Diskrepanz zwischen Sprach- und Textsemantik führt und die Leistung multimodaler Large Language Models beeinträchtigt.
Die Arbeit stellt FireRedASR2S vor, ein industrietaugliches, all-in-one Spracherkennungssystem, das durch die Integration von vier hochoptimierten Modulen für Spracherkennung, Stimmerkennung, Sprachidentifikation und Interpunktionsvorhersage state-of-the-art Ergebnisse auf zahlreichen Benchmarks für Mandarin, Dialekte und weitere Sprachen erzielt.
Das Papier stellt G-STAR vor, ein End-to-End-System, das ein zeitbewusstes Sprecher-Tracking-Modul mit einem Speech-LLM kombiniert, um für lange, überlappende Mehrpersonengespräche konsistente, zeitgestempelte und sprecherattribuierte Transkripte zu erzeugen.
Die Arbeit stellt Geo-ATBench, einen neuen Benchmark für geospatiales Audio-Tagging, und das Framework GeoFusion-AT vor, um nachzuweisen, dass die Integration geospatialer semantischer Kontexte die Mehrklassen-Erkennung von Umgebungsgeräuschen, insbesondere bei akustisch ähnlichen Ereignissen, signifikant verbessert.
Diese Studie enthüllt einen systematischen Geschlechterbias bei der Mean Opinion Score (MOS)-Bewertung, bei dem männliche Zuhörer höhere Werte vergeben, und schlägt ein geschlechterbewusstes Modell vor, das durch das Lernen geschlechtsspezifischer Bewertungsmuster eine fairere und genauere Sprachqualitätsbewertung ermöglicht.
Die Arbeit stellt CSP-FT vor, eine effiziente Strategie zur teilweisen Feinabstimmung von LLM-basierten TTS-Modellen, die durch die gezielte Anpassung nur zweier spezifischer Schichten die Trainingszeit halbiert, das Katastrophale Vergessen verhindert und gleichzeitig die Anpassungsfähigkeit an neue Sprecher und Emotionen verbessert.
Dieses Paper stellt die trajectoRIR-Datenbank vor, eine umfassende Sammlung von dynamischen und stationären akustischen Aufnahmen entlang einer kontrollierten L-förmigen Trajektorie in einem Raum, die verschiedene Mikrofonkonfigurationen und Bewegungsgeschwindigkeiten kombiniert, um Anwendungen wie Schallquellenlokalisation, räumliche Klangfeldrekonstruktion und Auralisierung zu unterstützen.
Die Arbeit stellt ParaS2S vor, ein neues Reinforcement-Learning-Framework mit einem dazugehörigen Benchmark und einem automatischen Bewerter, das Sprach-zu-Sprach-Modelle effektiv darin schult, sowohl inhaltlich als auch stilistisch (z. B. Emotionen, Tonfall) auf paralinguistische Hinweise angemessen zu reagieren und dabei weniger auf paarweise annotierte Daten angewiesen ist als herkömmliche Methoden.
Diese Arbeit stellt einen end-to-end Ansatz für die audio-visuelle Spracherkennung vor, der durch eine Conformer-basierte Fusionsarchitektur und integrierte Sprachverbesserung auf explizite Masken verzichtet, um semantisch relevante Informationen zu bewahren und die Rauschrobustheit zu steigern.
Die Studie widerlegt die weit verbreitete Annahme, dass Sprach-LLMs ASR-LLM-Pipelines überlegen sind, und zeigt durch mechanistische Analysen, dass diese Modelle in den meisten Anwendungsfällen lediglich teure Kaskaden darstellen, die unter Rauschbedingungen sogar schlechter abschneiden als ihre textbasierten Pendants.
Die Arbeit stellt ein kompaktes akustisches Framework vor, das MFCC-, STFT- und Pitch-Features mit einem multi-branch CNN und einer Legendre Memory Unit (LMU) kombiniert, um durch kalibrierte Posterior-Ensemble-Fusion die domänenübergreifende Klassifizierung von Säuglingsweinen zu verbessern.
Die Arbeit stellt Whisper-RIR-Mega vor, einen neuen Benchmark-Datensatz aus gepaarten sauberen und halligen Sprachaufnahmen, der die Robustheit verschiedener Whisper-ASR-Modelle gegenüber Raumakustik-Effekten systematisch bewertet und dabei zeigt, dass Hall die Erkennungsleistung konsistent verschlechtert.
Der Paper stellt Omni-C vor, einen einzigen dichten Transformer-Encoder, der durch unimodales kontrastives Vor-Training auf großen unalignierten Daten heterogene Modalitäten wie Bilder, Audio und Text effizient in gemeinsamen Repräsentationen vereint und dabei den Bedarf an Mixture-of-Expert-Architekturen, gepaarter Überwachung oder Routing-Overhead eliminiert.
Diese Arbeit stellt eine parametrisfreie Methode zur Akzentanpassung in Sprachsprachmodellen vor, die durch die Identifikation und gezielte Steuerung von Akzentinformationen in einem schmalen Band mittlerer Encoder-Schichten die Wortfehlerrate bei verschiedenen Akzenten signifikant senkt.