VowelPrompt: Hearing Speech Emotions from Text via Vowel-level Prosodic Augmentation

Resumo Técnico: VowelPrompt: Ouvindo Emoções da Fala através de Augmentação Prosódica ao Nível de Vogais

Declaração do Problema
O Reconhecimento de Emoção na Fala (SER - Speech Emotion Recognition) é uma tarefa multimodal complexa que requer a integração do conteúdo linguístico e da expressividade vocal, particularmente de características prosódicas como a frequência fundamental (F0), intensidade e dinâmica temporal. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa no raciocínio sobre transcrições textuais, eles tipicamente negligenciam informações prosódicas detalhadas, limitando sua eficácia e interpretabilidade. As abordagens existentes enfrentam um compromisso (trade-off): modelos de linguagem-áudio (ex: AudioPaLM, Emotion-LLaMA) integram codificadores acústicos, mas dependem de embeddings opacos de "caixa-preta" que dificultam a interpretabilidade e o implantação apenas com texto; inversamente, métodos de prompting apenas de texto que aumentam as transcrições com descrições prosódicas frequentemente utilizam resumos grosseiros ao nível da sentença, que obscurecem pistas emocionais finas. Além disso, evidências fonéticas sugerem que as vogais, como núcleos sonorizados com propriedades acústicas estáveis, são os principais portadores da prosódia afetiva, contudo, os pipelines modernos de SER extraem características uniformemente em todos os fonemas, potencialmente diluindo o poder discriminativo das pistas específicas das vogais.

Metodologia
Os autores propõem o VowelPrompt, um framework fundamentado linguisticamente que aumenta o reconhecimento de emoção baseado em LLM com pistas prosódicas interpretáveis e detalhadas ao nível de vogal. A metodologia consiste em três componentes principais:

1. Extração de Características Acústicas ao Nível de Vogal:

   • Alinhamento Forçado (Forced Alignment): Dada uma emissão e sua transcrição, um pipeline de alinhamento forçado padrão (ex: Montreal Forced Aligner) obtém fronteiras temporais precisas para os fonemas.
   • Seleção de Vogais: O sistema isola segmentos de vogais (monotongos e ditongos) com base no Alfabeto Fonético Internacional (IPA), excluindo regiões consonantais para focar em núcleos sonorizados e ricos em ressonância.
   • Extração de Descritores: Para cada segmento de vogal, o sistema computa Descritores de Baixo Nível (LLDs): média de pitch (F0) e inclinação (slope), variação de pitch (desvio padrão), média de intensidade (energia RMS) e variação, e duração do segmento.
   • Normalização e Discretização: As características passam por normalização z por locutor e normalização por tipo de vogal para garantir comparabilidade entre locutores e diferentes vogais. Valores contínuos são então discretizados via agrupamento baseado em quantis em categorias ordinais (ex: "muito baixo", "alto").
   • Conversão para Linguagem Natural: Esses valores discretizados são mapeados deterministicamente em descrições concisas de linguagem natural (ex: "F0 alto, ascendente, alto volume, alongado") para cada vogal.

2. Construção de Prompt:
   Os descritores de linguagem natural gerados são anexados à transcrição textual. Isso permite que um LLM apenas de texto raciocine conjuntamente sobre semântica lexical e variação prosódica localizada ao nível de segmento sem a necessidade de entrada de áudio bruto durante a inferência.

3. Adaptação de Modelo em Dois Estágios:
   Para adaptar os LLMs a este input enriquecido, os autores empregam um pipeline de treinamento de dois estágios:

   • Ajuste Fino Supervisionado (SFT): Uma fase de cold-start onde o LLM é ajustado com dados aumentados com descritores ao nível de vogal. O modelo aprende a gerar tanto o rótulo de emoção correto quanto um traço de raciocínio interpretável (envolto em tags <thought>) condicionado ao texto e às características prosódicas.
   • Aprendizado por Reforço com Recompensa Verificável (RLVR): Após o SFT, o modelo é refinado usando Otimização de Política Relativa de Grupo (GRPO). Este estágio otimiza duas recompensas verificáveis: precisão (correspondência com o rótulo real) e adesão ao formato (garantindo que a saída contenha blocos de raciocínio e resposta válidos). Uma penalidade KL restringe as atualizações em relação à referência de SFT para evitar o desvio (drift).

Principais Contribuições

1. Augmentação Interpretável ao Nível de Vogal: O artigo introduz um método para extrair características de pitch, intensidade e duração especificamente de segmentos de vogais alinhados temporalmente, convertendo-os em linguagem natural. Isso preenche a lacuna entre embeddings acústicos opacos e prompts legíveis por humanos, permitindo que os LLMs raciarcem sobre a estrutura prosódica fina.
2. Pipeline de Treinamento de Dois Estágios: Os autores projetam um regime de adaptação específico combinando SFT para alinhamento e RLVR (via GRPO) para melhorar a qualidade do raciocínio, impor saída estruturada e aumentar a robustez entre domínios e locutores.
3. Generalização Multilíngue e Cross-Domain: Ao ancorar a seleção de vogais nos padrões do IPA e aplicar normalização ao nível de linguagem, o framework estende-se a cenários multilíngues (Inglês, Alemão, Francês) e demonstra robustez em cenários de transferência de domínio (cross-domain transfer).

Resultados Experimentais
Avaliações extensas foram conduzidas em cinco conjuntos de dados de referência: IEMOCAP, MELD, CaFE (Francês), EmoDB (Alemão) e ASVP-ESD (Multilíngue).

• Desempenho Zero-Shot: No IEMOCAP e MELD, o VowelPrompt superou consistentemente tanto os baselines de apenas transcrição quanto os métodos de augmentação prosódica ao nível de sentença (ex: SpeechCueLLM). Por exemplo, no IEMOCAP com GPT-4o, o VowelPrompt melhorou a Acurácia Não Ponderada (UACC) em até 7,80% sobre o baseline de apenas transcrição.
• Desempenho de Ajuste Fino (Fine-Tuned): Sob ajuste fino supervisionado (SFT) e SFT com GRPO, o VowelPrompt alcançou resultados de estado da arte. No IEMOCAP com LLaMA-3-8B-Instruct, atingiu um F1 Ponderado de 73,46% (SFT) e 73,02% (SFT & GRPO), superando baselines como InstructERC e SALMONN.
• Cross-Domain e Multilíngue: Em transferências de domínio (ex: IEMOCAP para MELD), o VowelPrompt mostrou generalização superior, melhorando em 5,12% sobre os baselines de nível de sentença sob SFT & GRPO. Em configurações zero-shot multilíngues (CaFE, EmoDB) e adaptação supervisionada multilíngue (ASVP-ESD), o método superou consistentemente abordagens concorrentes, demonstrando transferibilidade eficaz sem supervisão específica de idioma.

Significância e Alegações
O artigo afirma que o VowelPrompt oferece uma abordagem prática e cientificamente transparente para o reconhecimento de emoção consciente de prosódia. Ao alavancar evidências fonéticas bem estabelecidas sobre o papel das vogais na prosódia afetiva, o framework permite que os LLMs alcancem alta precisão sem depender de áudio bruto ou codificadores acústicos de caixa-preta. Os autores enfatizam que o sistema fornece representações intermediárias interpretáveis, ligando explicitamente padrões acústico-prosódicos a categorias emocionais. Isso permite processos de raciocínio verificáveis por humanos, abordando o problema da "opacidade" dos sistemas de SER baseados em aprendizado profundo, mantendo a flexibilidade de implantação apenas com texto. O trabalho demonstra que características finas, fundamentadas linguisticamente, podem aumentar significativamente as capacidades de raciocínio dos LLMs em tarefas multimodais.