ParaS2S: Benchmarking and Aligning Spoken Language Models for Paralinguistic-aware Speech-to-Speech Interaction
Ce papier présente ParaS2S, un cadre d'apprentissage par renforcement et un benchmark associés conçus pour optimiser les modèles de parole-à-parole afin qu'ils répondent de manière appropriée tant sur le fond que sur le style en intégrant les indices paralinguistiques, surpassant ainsi les méthodes d'ajustement supervisé traditionnel.