When Less Is More? Diagnosing ASR Predictions in Sardinian via Layer-Wise Decoding

Resumo Técnico: "Quando Menos é Mais? Diagnosticando Predições de ASR em Sardo via Decodificação por Camada"

1. O Problema

O estudo aborda uma observação crescente em modelos de fala multilingues (como o Wav2Vec2): as camadas intermediárias de modelos baseados em Transformers frequentemente codificam representações fonéticas mais precisas do que a camada de saída final. Em cenários de baixa disponibilidade de recursos (low-resource), como no caso do Sardo Campidanês, o modelo pode "superprocessar" a informação nas camadas superiores, sacrificando detalhes acústicos finos em favor de abstrações contextuais ou padrões linguísticos mais genéricos. O problema central é entender por que e como esse fenômeno ocorre, e se a decodificação de camadas anteriores pode servir como uma ferramenta de diagnóstico e melhoria para o Reconhecimento Automático de Fala (ASR).

2. Metodologia

Os autores utilizaram o modelo pré-treinado facebook/wav2vec2-xlsr-53-espeak-cv-ft e aplicaram uma estratégia de decodificação baseada em truncamento de camadas:

• Estratégia de Probing: Em vez de usar apenas a última camada, eles removeram progressivamente o número $k$ de camadas superiores (onde $k \in \{0, \dots, 5\}$) e realizaram a decodificação greedy a partir da última camada restante.
• Dados: Utilizaram um conjunto de dados de fala espontânea em Sardo Campidanês (48 enunciados de falantes nativos), transcritos manualmente ao nível fonético.
• Métricas e Alinhamento: A performance foi medida pela Taxa de Erro de Fonema (PER). Os erros foram categorizados em substituições, inserções e deleções através de um algoritmo de alinhamento baseado em SequenceMatcher.
• Análise de Erros Regressivos: Introduziram uma análise para identificar casos onde uma predição correta em uma camada intermediária torna-se um erro na camada final.

3. Principais Contribuições

• Identificação do Ponto Ótimo: Demonstraram que a precisão fonética não aumenta linearmente com a profundidade do modelo; o melhor desempenho foi alcançado ao truncar as duas camadas superiores.
• Conceito de "Erros Regressivos": Introduziram o termo para descrever situações onde a camada final "sobrescreve" uma predição correta de uma camada anterior por uma incorreta, evidenciando a perda de detalhes segmentais.
• Análise de Erro Qualitativa: Proveram uma análise detalhada de como diferentes tipos de fonemas (como vogais de baixa proeminência) são afetados pelo processo de abstração das camadas.

4. Resultados

• Melhoria da PER: A remoção das camadas superiores resultou em uma redução consistente da PER. O melhor desempenho foi observado na Camada 22 (duas camadas antes da final).
• Evolução dos Erros:
  • À medida que as camadas são removidas (indo para camadas mais profundas no encoder), o número de deleções aumenta drasticamente, indicando que o modelo perde a capacidade de identificar segmentos acústicos curtos ou reduzidos.
  • As substituições tendem a ser estruturadas por proximidade articulatória (ex: trocar uma vogal por outra de altura similar), sugerindo que as camadas intermediárias mantêm a identidade da classe fonológica, mas com maior precisão de traços.
• Evidência de Regressão: Identificaram 53 casos de erros regressivos (39 substituições e 14 deleções), onde o modelo "perde" a informação correta ao tentar generalizar o contexto nas camadas finais.
• Casos de Sucesso: Em exemplos qualitativos, as camadas intermediárias evitaram inserções espúrias e redundâncias que a camada final introduzia, resultando em transcrições mais estruturalmente coerentes com a referência.

5. Significância e Conclusões

O trabalho desafia a premissa de que "mais camadas é sempre melhor" para tarefas de transcrição fonética. A principal conclusão é que, em línguas de poucos recursos, as camadas finais podem priorizar a consistência lexical ou ortográfica em detrimento da fidelidade acústica.

Significância prática:

1. Diagnóstico: A decodificação por camada (estilo Logit Lens) é uma ferramenta poderosa para diagnosticar falhas de representação em modelos de fala.
2. Otimização: Para tarefas que exigem alta precisão fonética em línguas sub-representadas, o truncamento de camadas pode ser uma estratégia de decodificação superior ao uso do modelo completo.
3. Métricas: O estudo sugere que métricas globais (como WER ou PER) podem mascarar comportamentos linguísticos importantes, e que a análise de camadas é necessária para entender a dinâmica de abstração do modelo.