Resumo Técnico: AP-GRPO para Reconstrução de Fala Patológica

1. Definição do Problema

A reconstrução de fala patológica (PSR) visa recuperar o conteúdo textual pretendido por um paciente a partir de gravações acústicas que são frequentemente distorcidas e linguisticamente fragmentadas devido a transtornos neurodegenerativos e neuromotores (ex: ELA, doença de Parkinson, paralisia cerebral, demência).

As abordagens atuais enfrentam duas limitações primárias:

1. Suposição de Degradação Uniforme: O ajuste fino supervisionado (SFT) padrão trata todas as posições de tokens igualmente, falhando em aproveitar o fato de que a degradação da fala patológica raramente é uniforme. Mesmo em casos graves, algumas palavras ou frases permanecem inteligíveis ("âncoras audíveis"), enquanto outras são corrompidas.
2. Sinais de Recompensa Desalinhados: Métios de aprendizado por reforço (RL) existentes, como o GRPO de nível de sentença usando BERTScore, recompensam a fluência semântica em detrimento da fidelidade. Eles podem recompensar paráfrases fluentes (ex: substituir "dor" por "mal-estar") mesmo quando o paciente claramente produziu o primeiro termo, falhando em distinguir a reconstrução fiel da alucinação. Além disso, muitos sistemas generativos exigem dados pareados que são difíceis de coletar em condições progressivas.

2. Metodologia: AP-GRPO

Os autores propõem o Anchor-Gated Phonetic Group Relative Policy Optimization (AP-GRPO), um framework que alinha Modelos de Linguagem de Fala (SLMs) com sinais de fala patológica sem exigir transcrições de referência durante a fase de RL. O método opera sob o princípio de que fragmentos audíveis confiáveis podem servir como fronteiras estruturais para guiar a reconstrução de regiões corrompidas.

Componentes Principais

O AP-GRPO utiliza dois componentes de recompensa distintos dentro de um framework de Group Relative Policy Optimization (GRPO):

A. Extração e Correspondência de Âncoras Audíveis

• Extração: Usando Whisper/Whisper-X, o sistema extrai "âncoras audíveis" com carimbo de tempo (palavras/frases com alta confiança, $c(m) > \tau$) da gravação patológica.
• Correspondência Monotônica: Durante as etapas de RL, as reconstruções candidatas são escaneadas para corresponder a essas âncoras em ordem temporal.
• Intervalos Entre Âncoras: Os segmentos de texto entre as âncoras correspondidas são definidos como "intervalos entre âncoras" (inter-anchor spans), representando as regiões corrompidas que requerem reconstrução.

B. Recompensa de Portão de Âncora ($g_{anchor}$)
Este componente impõe a preservação da evidência audível confiável. Ele calcula uma pontuação de cobertura ponderada pela confiança:
$$g_{anchor}(y_j, A) = \epsilon_g + (1 - \epsilon_g) \frac{\sum c(m) \mathbb{1}[a(m) \text{ correspondido a } y_j]}{\sum c(m)}$$
Esta recompensa desencoraja saídas fluentes, porém infiéis, que contradizem as âncoras confiáveis.

C. Recompensa de Alinhamento Fonético Inter-Âncora ($R_{inter}$)
Para abordar as regiões corrompidas, o AP-GRPO avalia se o texto recuperado é foneticamente suportado pelo correspondente intervalo de fala, em vez de depender da similaridade semântica.

1. Estilização Patológica: O texto candidato é convertido em uma sequência de fonemas. Crucialmente, um Preditor de Duração Patológica (baseado em um modelo TTDS pré-treinado) expande essa sequência para contabilizar a articulação lenta, fonemas prolongados e pausas irregulares comuns na disartria.
2. Posteriogramas de Fonemas (PPG): O intervalo de fala original é convertido em um PPG usando um modelo wav2vec2 congelado.
3. Suavização de Confusão: Para lidar com desvios articulatórios sistemáticos (ex: /t/ vs. /d/), o PPG é suavizado usando uma matriz de confusão de fonemas, permitindo que confusões clinicamente plausíveis recebam suporte não nulo.
4. Alinhamento Soft-DTW: Um algoritmo Soft-DTW computa o custo de alinhamento entre o caminho fonético do texto estilizado patologicamente e o PPG de fala suavizado. Custos menores (melhor alinhamento) geram recompensas maiores.

D. Objetivo de Otimização
A recompensa total combina o portão de âncora e o alinhamento fonético:
$$R_j = \log g_{anchor} + R_{inter}$$
A política é atualizada usando GRPO, que otimiza vantagens relativas dentro de um grupo de candidatos amostrados. Uma variável dual adaptativa ($\mu$) impõe uma restrição que exige que a cobertura esperada das âncoras permaneça acima de um limite ($\alpha = 0.95$), equilibrando dinamicamente a preservação da âncora com a recuperação inter-âncora.

3. Principais Contribuições

1. Primeiro Framework GRPO para Fala Patológica: O AP-GRPO é o primeiro a aplicar o Group Relative Policy Optimization para alinhar Modelos de Linguagem de Fala especificamente para a reconstrução de fala patológica.
2. Arquitetura de Recompensa Inovadora: Introduz um sistema de recompensa duplo combinando uma recompensa de portão de âncora (para integridade estrutural) e uma recompensa de alinhamento fonético ciente da patologia (para fidelidade de conteúdo). Isso inclui adaptações específicas como modelagem de duração patológica e suavização de confusão fonética.
3. Perfis de Doença Interpretáveis: A restrição de âncora aprendida ($\mu$) adapta-se automaticamente à dificuldade de condições específicas, revelando perfis interpretáveis (ex: a degradação severa da articulação exige um reforço de âncora mais forte, enquanto condições com comprometimento linguístico dependem mais do alinhamento fonético).

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados representando diferentes condições: ALS (TORGO), Paralisia Cerebral (UASpeech), Demência (ADReSSo) e Parkinson (SJTU).

• Ganhos de Desempenho: O AP-GRPO alcançou o menor Word Error Rate (WER) e Character Error Rate (CER) em todos os conjuntos de dados comparado aos baselines de SFT, modelos de difusão (Diff-DSR), modelos de linguagem de codec (Colm-DSR) e outros métodos de RL.
  • Casos Graves (ALS): No conjunto de dados TORGO, o AP-GRPO reduziu o WER de ~0,75 (baseline SFT) para 0,29, transformando uma saída quase ininteligível em um texto parcialmente correto adequado para comunicação clínica.
  • Casos Leves: Melhorias consistentes foram observadas em todas as condições, sendo o método agnóstico ao backbone (eficaz tanto no Qwen2.5-Omni quanto no Audio-Flamingo 3).
• Supressão de Alucinação: O método reduziu significamente as "inserções alucinadas" (palavras de conteúdo fabricadas). A análise de decomposição mostrou que, embora o WER tenha caído drasticamente, as melhorias no Content-F1 foram impulsionadas pela redução dos erros de palavras de conteúdo, e não apenas por correções de palavras funcionais.
• Estudos de Ablação:
  • Remover o portão de âncora ou a recompensa fonética degradou o desempenho significativamente, confirmando sua natureza complementar.
  • As adaptações patológicas (suavização de confusão e estilização patológica) foram críticas; removê-las fez o WER saltar de ~0,29 para ~0,74.
  • Restrições Adaptativas: A variável dual adaptativa $\mu$ superou as restrições fixas, equilibrando dinamicamente a preservação da âncora e a recuperação de conteúdo.

5. Significância e Alegações

O artigo alega que o AP-GRPO oferece um caminho prático para a comunicação acessível para indivíduos com transtornos de fala neurodegenerativos ao:

• Cruzar o Limiar de Inteligibilidade: Ele transforma saídas de "ininteligíveis" (WER > 0,5) para "parcialmente corretas" (WER ~0,3), tornando-as viáveis para correção de erros subsequente e comunicação de saúde.
• Eficiência de Dados: Aproveita o próprio sinal de fala do paciente para o alinhamento, reduzindo a dependência de grandes escalas de transcrições de referência pareadas durante a fase de RL.
• Relevância Clínica: A capacidade do método de se adaptar automaticamente a perfis de comprometimento específicos da doença (via $\mu$ aprendido) sugere que ele pode ser implantado sem ajuste por doença, alinhando-se às necessidades clínicas de ferramentas robustas e generalizáveis.

Os autores observam limitações, incluindo o fato de que o método atualmente foca na reconstrução de transcrição em vez de restauração de áudio, e seu desempenho depende da qualidade da extração inicial de âncoras e da disponibilidade de priors de duração específicos da doença.