163 Arbeiten
Die Studie zeigt, dass das LoRA-Fine-Tuning von LLM-basierten TTS-Systemen bei ausreichend vielfältigen Trainingsdaten die Sprachqualität, Sprecherähnlichkeit und das Signal-Rausch-Verhältnis signifikant verbessert und dabei die Grenzen gefrorener Basismodelle überwindet.
Der vorgestellte Ansatz ermöglicht eine trainingsfreie, mehrstufige Inferenz für die Extraktion von Zielsprechern durch iterative Verfeinerung eines eingefrorenen vortrainierten Modells, wobei eine gemeinsame Optimierung mehrerer Metriken eine kontrollierbare Anpassung für den praktischen Einsatz ohne Ground-Truth-Referenzen erlaubt.
Die Arbeit stellt V2M-Zero vor, eine Methode zur Erzeugung von zeitlich synchronisierter Musik aus Videos ohne gepaarte Trainingsdaten, indem sie die gemeinsame zeitliche Struktur beider Modalitäten über intramodale Ereigniskurven nutzt, um Text-zu-Musik-Modelle effektiv für Video-zu-Musik-Aufgaben anzupassen.
Die Arbeit stellt CSP-FT vor, eine effiziente Strategie zur teilweisen Feinabstimmung von LLM-basierten TTS-Modellen, die durch die gezielte Anpassung nur zweier spezifischer Schichten die Trainingszeit halbiert, das Katastrophale Vergessen verhindert und gleichzeitig die Anpassungsfähigkeit an neue Sprecher und Emotionen verbessert.
Die Studie HVAC-EAR demonstriert erstmals, dass menschliche Sprache über die akustischen Druckdaten von HVAC-Systemen auch bei niedrigen Abtastraten und über Entfernungen von bis zu 1,2 Metern rekonstruiert werden kann, was neue Datenschutzbedenken aufwirft.
Diese Arbeit stellt einen end-to-end Ansatz für die audio-visuelle Spracherkennung vor, der durch eine Conformer-basierte Fusionsarchitektur und integrierte Sprachverbesserung auf explizite Masken verzichtet, um semantisch relevante Informationen zu bewahren und die Rauschrobustheit zu steigern.
Die Arbeit stellt ein kompaktes akustisches Framework vor, das MFCC-, STFT- und Pitch-Features mit einem multi-branch CNN und einer Legendre Memory Unit (LMU) kombiniert, um durch kalibrierte Posterior-Ensemble-Fusion die domänenübergreifende Klassifizierung von Säuglingsweinen zu verbessern.
Die Arbeit stellt Whisper-RIR-Mega vor, einen neuen Benchmark-Datensatz aus gepaarten sauberen und halligen Sprachaufnahmen, der die Robustheit verschiedener Whisper-ASR-Modelle gegenüber Raumakustik-Effekten systematisch bewertet und dabei zeigt, dass Hall die Erkennungsleistung konsistent verschlechtert.
Der Paper stellt Omni-C vor, einen einzigen dichten Transformer-Encoder, der durch unimodales kontrastives Vor-Training auf großen unalignierten Daten heterogene Modalitäten wie Bilder, Audio und Text effizient in gemeinsamen Repräsentationen vereint und dabei den Bedarf an Mixture-of-Expert-Architekturen, gepaarter Überwachung oder Routing-Overhead eliminiert.
Die Arbeit stellt den Deep Koopman Speech Disentanglement Autoencoder (DKSD-AE) vor, ein strukturiertes Autoencoder-Modell, das durch die Kombination eines multi-stufigen Koopman-Operator-Lernmoduls mit Instanznormalisierung sprecher- und inhaltsabhängige Merkmale ohne textuelle Aufsicht effektiv trennt und dabei eine wettbewerbsfähige Sprecherüberprüfungsleistung bei deutlich weniger Parametern erzielt.
Diese Arbeit zeigt, dass die gezielte Auswahl eines 5%-Datensubsets aus 100.000 Stunden unstrukturierter Sprachdaten mittels embeddingsbasierter Repräsentation von Sprecher-, phonetischen und semantischen Merkmalen die Leistung spezialisierter Spracherkennungsmodelle auf Zielbereichen im Vergleich zum Training mit dem gesamten Datensatz um bis zu 36,8 % relative Wortfehlerrate reduziert.
Die Studie stellt mit ML-ITW ein multilinguales Datenset für reale Umgebungen vor und zeigt, dass aktuelle Deepfake-Erkennungsmethoden unter realen Bedingungen und in verschiedenen Sprachen erhebliche Generalisierungsprobleme aufweisen.
Die Arbeit stellt TempoSyncDiff vor, einen effizienten, auf Wissenstransfer basierenden Latent-Diffusionsrahmen für audiogetriebene sprechende Köpfe, der durch Few-Step-Inferenz, Identitätsanker und zeitliche Regularisierung eine niedrige Latenz bei gleichzeitiger Verbesserung der temporalen Stabilität und Synchronisation ermöglicht.
Die Studie RAPTOR zeigt, dass für die robuste Erkennung von Audio-Deepfakes über verschiedene Domänen hinweg die Art des SSL-Vor-Trainings (insbesondere multilinguales HuBERT) entscheidender ist als die reine Modellgröße, wobei kompakte Modelle mit 100 Millionen Parametern kommerzielle Großsysteme übertreffen und eine stabilere Kalibrierung unter Störungen aufweisen.
Das Paper stellt Whisper-CD vor, ein reines Inferenz-Verfahren, das durch kontrastives Decodieren mit akustisch motivierten Störungen Halluzinationen und Wiederholungen bei der langen Spracherkennung mit Whisper reduziert und gleichzeitig die Generierungsgeschwindigkeit im Vergleich zur Beam Search deutlich steigert.
Diese Studie zeigt, dass die Anpassung von Sprachgrundmodellen an ressourcenarme pazifische indigene Sprachen durch Datenknappheit und das Problem des katastrophalen Vergessens bei sequenziellem Lernen erschwert wird, was eine dringende Notwendigkeit robusterer Anpassungsstrategien unterstreicht.
Die vorgestellte Arbeit schlägt eine prosodiebewusste Nachtrainingsstrategie für LLM-basierte Text-to-Speech-Modelle vor, die durch das Lernen eines frühen Stopps an semantischen Grenzen und die Verwendung eines gleitenden Fensters für den Kontext natürliche Sprachsynthese mit Streaming-Eingabe ermöglicht und dabei die Fehlerquote bei langen Texten drastisch reduziert.
Das Papier stellt RAMoEA-QA vor, ein hierarchisch geroutetes generatives Modell, das durch eine zweistufige Bedingungsspezialisierung mittels Audio-Mixture-of-Experts und Language-Mixture-of-Adapters robuste und generalisierbare Antworten auf Fragen zu respiratorischen Audiodaten liefert und dabei bestehende Baseline-Modelle übertrifft.
Diese Arbeit bietet die erste systematische Übersicht über Audio-Sprach-Modelle, die eine umfassende Abdeckung von Sprach-, Musik- und Geräuschdaten, eine einheitliche Taxonomie der Modellarchitekturen und Trainingsziele sowie eine Analyse des Forschungslandschafts mit Blick auf Herausforderungen und zukünftige Richtungen umfasst.
Diese Arbeit stellt eine leichte Text-only-Anpassungsmethode für LLM-basierte Spracherkennung vor, die das Problem als Textentrauschung formuliert, um die Domänenanpassung zu ermöglichen, ohne die kritische Ausrichtung zwischen Sprach- und Textmodalität zu stören.