Speech Synthesis from Electrocorticography during Imagined Speech Using a Transformer-Based Decoder and a Pretrained Vocoder
Die Studie stellt einen Transformer-basierten Ansatz vor, der mithilfe von Parallel WaveGAN aus ECoG-Signalen bei imaginiertem Sprechen Sprache synthetisiert, indem er Audiodaten von lautem Sprechen als Trainingsziel nutzt, um das Fehlen synchroner Sprachsignale bei imaginierter Rede zu überwinden.