ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-aware Speech-to-Speech Interaction
Die Arbeit stellt ParaS2S vor, ein neues Reinforcement-Learning-Framework mit einem dazugehörigen Benchmark und einem automatischen Bewerter, das Sprach-zu-Sprach-Modelle effektiv darin schult, sowohl inhaltlich als auch stilistisch (z. B. Emotionen, Tonfall) auf paralinguistische Hinweise angemessen zu reagieren und dabei weniger auf paarweise annotierte Daten angewiesen ist als herkömmliche Methoden.