163 Arbeiten
Die Arbeit stellt ein training dynamics-aware Multi-Factor-Curriculum-Learning-Verfahren für die Zielsprecherextraktion vor, das durch die datengestützte Analyse von Trainingsdynamiken mittels TSE-Datamap eine adaptive und interaktive Steuerung verschiedener Schwierigkeitsfaktoren ermöglicht, um die Leistung in komplexen Mehrsprecher-Szenarien zu verbessern.
Die Studie stellt TW-Sound580K vor, einen kuratierten taiwanesischen Audio-Text-Datensatz, der durch ein Verifizierungs-Generierungs-Kritik-Verfahren erstellt wurde und in Kombination mit dem Modell Tai-LALM die Leistung von Audio-Sprachmodellen bei der Verarbeitung lokaler Dialekte signifikant verbessert.
Die Arbeit stellt PolyBench vor, einen Benchmark zur Evaluierung des kompositorischen Denkens in polyphoner Audioverarbeitung, der zeigt, dass aktuelle Large Audio Language Models bei der Analyse mehrerer gleichzeitiger Klänge signifikante Schwächen aufweisen.
Die Arbeit stellt ASR-TRA vor, ein Testzeit-Reinforcement-Learning-Framework, das durch kausale Interventionen, stochastische Dekodierung und semantische Audio-Text-Belohnungen die Robustheit von Spracherkennungssystemen gegenüber Rauschen und Akzenten verbessert, ohne auf Ground-Truth-Labels angewiesen zu sein.
Das Paper stellt SarcasmMiner vor, ein auf Bestärkendem Lernen basierendes Nachtrainierungsframework, das durch eine Dual-Track-Destillationsstrategie und ein generatives Belohnungsmodell die robuste multimodale Sarkasmuserkennung verbessert und die F1-Leistung auf dem MUStARD++-Datensatz signifikant steigert.
Die Arbeit stellt WavSLM vor, ein einfaches, single-stream Sprachmodell, das durch Quantisierung und Distillation von WavLM-Repräsentationen semantische und akustische Informationen ohne Textsupervision in einem einzigen Token-Stream modelliert und dabei wettbewerbsfähige Ergebnisse bei geringerer Komplexität erzielt.
Die vorgeschlagene Methode SLICE verbessert die Sprachverbesserung bei komplexen, mehrfachen Verzerrungen, indem sie statt einer reinen Eingabe-Conditioning eine durchgängige Schicht-für-Schicht-Injektion von Degradations-Embeddings in den Diffusionsprozess integriert, was zu einer überlegenen Generalisierungsfähigkeit führt.
Das Paper stellt Latent-Mark vor, ein neuartiges Audio-Wasserzeichen-Verfahren, das durch die Einbettung von Informationen in den latenten Raum neuronaler Codecs erstmals eine robuste Widerstandsfähigkeit gegen semantische Kompression und Resynthese bei gleichzeitiger Unhörbarkeit bietet.
Die Arbeit stellt MSpoof-TTS vor, ein trainingsfreies Inferenzframework, das durch mehrstufige Spoof-Erkennung und hierarchisches Decodieren die Robustheit und Qualität diskreter Sprachsynthese verbessert, ohne die Modellparameter anzupassen.
Dieser technische Tutorial-Leitfaden zeigt, wie man durch die Verkettung von Streaming-Komponenten (Deepgram, vLLM und ElevenLabs) anstelle langsamer nativer Sprach-zu-Sprach-Modelle ein Echtzeit-Voice-Agent-System mit einer Zeit bis zum ersten Audio von unter einer Sekunde für den Enterprise-Einsatz aufbaut.
Die Autoren stellen eine probabilistische Architektur für die Ein-Kanal-Sprachtrennung vor, die durch unsicherheitsbasierte Frühbeendigung die Rechenleistung dynamisch an die Anforderungen anpasst und dabei sowohl Recheneffizienz als auch eine hohe Rekonstruktionsqualität gewährleistet.
Der Artikel stellt MeanFlowSE vor, ein effizientes, einstufiges generatives Modell zur Sprachverbesserung, das durch das Lernen von Durchschnittsgeschwindigkeiten über endliche Intervalle den Bedarf an mehrstufigen ODE-Lösern eliminiert und dabei hohe Qualität bei geringen Rechenkosten aufweist.
Die Arbeit stellt LadderSym vor, einen neuartigen multimodalen Transformer, der durch einen Zwei-Stream-Encoder mit Inter-Stream-Ausrichtung und die Nutzung symbolischer Notentexte als Decoder-Prompts die Genauigkeit der Fehlererkennung beim Musiküben im Vergleich zu bisherigen State-of-the-Art-Methoden erheblich verbessert.
Die Studie zeigt, dass Audio-Modelle mit höherer Leistung in nachgelagerten Aufgaben auch eine stärkere Ähnlichkeit mit menschlichen Gehirnaktivitäten aufweisen, was darauf hindeutet, dass brain-ähnliche Repräsentationen ein emergentes Nebenprodukt des Lernens aus natürlichen Audiodaten sind.
Die Arbeit stellt OASI vor, eine Methode zur initialisierungsbasierten multi-objectiven bayesschen Optimierung, die durch pareto-biasierte Simulated Annealing-Lösungen effizientere und speicherkonforme Keyword-Spotting-Modelle für TinyML auf Mikrocontrollern ermöglicht.
Die Arbeit schließt die Lücke in der Bewertung von Musikgenerierungsmodellen, indem sie ein umfassendes Ökosystem für Reward-Modelle unter kompositorischen multimodalen Anweisungen (CMI) einführt, das aus einem großen Datensatz, einem menschlich annotierten Korpus und einem einheitlichen Benchmark besteht, um die Ausrichtung auf Musikalität und Text-Musik-Konsistenz zu verbessern.
Die Studie stellt SMMA vor, ein auf Deep Learning basierendes, vollautomatisiertes Framework zur präzisen Messung der Geniohyoid-Muskeldicke während der Sprache, das manuelle Annotationen überflüssig macht und neue Einblicke in die Sprachmotorik sowie potenzielle Anwendungen bei der Diagnose von Sprech- und Schluckstörungen ermöglicht.
Die Arbeit ACES identifiziert accent-spezifische Unterräume in ASR-Modellen als diagnostische Werkzeuge, die aufzeigen, dass diese Merkmale tief mit entscheidenden Erkennungsmerkmalen verflochten sind und eine einfache Entfernung zur Verbesserung der Fairness nicht ausreicht.
Dieser technische Bericht stellt das System des CP-JKU-Teams für den MSR ICASSP Challenge 2025 vor, das Musikquellen-Wiederherstellung durch eine mehrstufige Pipeline aus einem BandSplit-RoFormer-Trenner mit Curriculum-Learning und einem spezialisierten HiFi++ GAN-Waveform-Restorer realisiert.
Das Paper stellt FastWave vor, einen optimierten Diffusionsmodell-Ansatz für die Audio-Super-Resolution, der durch seine geringe Parameterzahl und Rechenkomplexität eine schnellere und ressourcenschonendere Alternative zu bestehenden Methoden bietet und dabei mit dem State-of-the-Art mithalten kann.