The Unheard Alternative: Contrastive Explanations for Speech-to-Text Models

1. Declaração do Problema

Embora a IA Explicável (XAI) tenha avançado significativamente no Processamento de Linguagem Natural (PLN) baseado em texto, a aplicação de explicações contrastivas a modelos de Fala para Texto (S2T) permanece um desafio em aberto.

• Explicações Contrastivas: Ao contrário das explicações padrão que respondem "Por que o modelo produziu a saída P?", as explicações contrastivas respondem "Por que o modelo produziu P em vez de Q?" (onde Q é um contraponto/alternativa). Isso se alinha melhor ao raciocínio humano.
• A Lacuna: Os métodos existentes de explicação para S2T (por exemplo, SPES) geram mapas de saliência holísticos sobre espectrogramas de áudio. Esses mapas destacam características relevantes para a geração de qualquer palavra, mas falham em isolar características específicas da escolha entre duas saídas concorrentes (por exemplo, por que o modelo escolheu a forma masculina curioso em vez da feminina curiosa).
• Desafios Específicos em S2T:
  1. Modo de Entrada: Sinais de áudio são multidimensionais (tempo e frequência) e representados como espectrogramas.
  2. Granularidade de Saída: Modelos S2T geram tokens de subpalavras, não palavras completas, tornando a agregação de probabilidade ao nível de palavra não trivial.
  3. Pontuação: Funções de pontuação contrastiva padrão usadas no PLN baseado em texto frequentemente falham quando o modelo favorece fortemente o alvo em relação ao contraponto, resultando em explicações indistinguíveis das não contrastivas.

2. Metodologia

Os autores propõem o primeiro framework para obter explicações contrastivas em S2T, adaptando o método SPES (Perturbação de Espectrograma para Fala para Texto Explicável). A abordagem envolve duas intervenções técnicas críticas:

A. Agregação de Probabilidade ao Nível de Palavra

Como os modelos S2T geram tokens de subpalavras, a probabilidade de uma palavra completa ($t$) deve ser reconstruída a partir de seus subtokens constituintes ($w_0, \dots, w_k$).

• Limitação do Trabalho Anterior: Métodos de agregação simples (média, max-pooling ou multiplicação ingênua da regra da cadeia) falham em contabilizar incompatibilidades na contagem de tokens entre o alvo e o contraponto, ou o fato de que uma sequência de subpalavras pode ser um prefixo de uma palavra mais longa em vez de uma palavra completa.
• Solução Proposta: Os autores adotam o método Limite de Palavra (Pimentel e Meister, 2024). Este método calcula a probabilidade de uma sequência de palavras garantindo que seja seguida por um token de "início de palavra" ou pontuação. Isso previne a superestimação de probabilidades para sequências de subpalavras que são meramente prefixos (por exemplo, distinguir _professor de _professor e ssa).

B. Funções de Pontuação Contrastiva

O núcleo do método é uma função de pontuação que quantifica como a perturbação de uma região de entrada afeta a probabilidade do alvo ($t$) versus o contraponto ($f$).

• O Problema com a Pontuação por Diferença ($S_{CD}$): A pontuação contrastiva padrão, $S_{CD}(t, f) = (p(t) - \tilde{p}(t)) - (p(f) - \tilde{p}(f))$, frequentemente colapsa na pontuação base $S_B(t)$ quando $p(t) \gg p(f)$. Nesses casos, a explicação destaca características relevantes para gerar qualquer palavra correta, não o contraste específico.
• Solução Proposta: Os autores introduzem o Avaliador Relativo ($S_{CR}$), baseado em Jacovi et al. (2021):
  $$S_{CR}(t, f) = \frac{p(t)}{p(t) + p(f)} - \frac{\tilde{p}(t)}{\tilde{p}(t) + \tilde{p}(f)}$$
  Esta função normaliza a contribuição de ambos os termos pela sua soma. Garante que, mesmo que o alvo seja muito mais provável que o contraponto, a pontuação permaneça sensível a mudanças na probabilidade do contraponto, isolando efetivamente características específicas do contraste.

C. Métricas de Avaliação

Para validar a fidelidade das explicações (quão bem elas refletem o comportamento real do modelo), os autores adaptam métricas de classificação de texto:

1. Cobertura: A porcentagem de casos em que o modelo gera ou o alvo ou o contraponto após a exclusão de características. Alta cobertura garante que as características identificadas são específicas ao contraste, não à geração geral de texto.
2. Taxa de Inversão (Flip Rate): A taxa na qual o modelo muda de prever o alvo para o contraponto à medida que características salientes são progressivamente ocultadas (excluídas). Uma explicação fiel deve causar uma alta taxa de inversão com exclusão mínima.

3. Contribuições Principais

1. Primeiro Método Contrastivo para S2T: Introduziu um pipeline inovador para gerar explicações contrastivas para modelos de fala, adaptando a atribuição baseada em perturbação para espectrogramas.
2. Mecanismo de Pontuação Inovador: Propôs o Avaliador Relativo ($S_{CR}$) como uma alternativa superior ao Avaliador por Diferença padrão para S2T, demonstrando que produz mapas de saliência distintos e verdadeiramente contrastivos.
3. Framework de Avaliação Robusto: Desenvolveu uma avaliação de dupla métrica (Cobertura + Taxa de Inversão) adaptada para tarefas generativas de S2T para medir a fidelidade da explicação.
4. Validação Empírica: Validou o método na atribuição de gênero do falante em tradução de fala em três pares de idiomas (Inglês $\to$ Francês, Italiano, Espanhol).

4. Resultados

O método foi avaliado usando o conjunto de dados MuST-SHE, focando na tradução de termos neutros em gênero do inglês para línguas românicas com gênero (por exemplo, "I am curious" $\to$ curioso vs. curiosa).

• Distinção de Mapas de Saliência:
  • Avaliador por Diferença ($S_{CD}$): Produziu mapas de saliência altamente correlacionados (Pearson $r \approx 0,93$) com explicações não contrastivas. Falhou em isolar características específicas de gênero.
  • Avaliador Relativo ($S_{CR}$): Produziu mapas com baixa correlação ($r \approx 0,33$) com mapas não contrastivos, isolando com sucesso regiões acústicas relevantes para o gênero.
• Desempenho de Cobertura:
  • Ao excluir características identificadas pelo Avaliador por Diferença, a cobertura caiu abaixo de 20% após apenas 2% de exclusão (indicando que as características eram genéricas).
  • O Avaliador Relativo manteve cobertura >30% mesmo após 20% de exclusão, provando que visa características específicas ao contraste de gênero.
• Desempenho da Taxa de Inversão:
  • Alvos Femininos: Ocultar os 5% superiores das características identificadas pelo Avaliador Relativo fez o modelo mudar para previsões masculinas em >70% dos casos cobertos.
  • Alvos Masculinos: As taxas de inversão foram menores (~30%), o que os autores atribuem a um viés de padrão masculino em modelos S2T (onde o masculino é o padrão a menos que haja fortes pistas femininas), e não a uma falha do método.
• Robustez do Modelo: Os resultados foram consistentes em diferentes arquiteturas (Transformador Multilíngue, Conformer Monolíngue) e pares de idiomas.

5. Significado e Implicações

• Avanço da XAI para Fala: Este trabalho preenche a lacuna entre técnicas de explicação contrastiva baseadas em texto e os desafios únicos do processamento de fala, fornecendo uma base para entender como os modelos S2T utilizam pistas acústicas.
• Detecção de Viés: O método isola efetivamente as características acústicas (por exemplo, tom, formantes) que os modelos usam para desambiguação de gênero. Isso é crucial para auditoria de viés de gênero em IA, revelando que os modelos frequentemente dependem de traços vocais que podem desfavorecer falantes transgênero ou aqueles com características vocais atípicas.
• Aplicações Futuras: Embora demonstrado em gênero, a metodologia é generalizável para outros fenômenos S2T, como desambiguação de homófonos, resolução de coreferência e seleção de registro de polidez.
• Consciência Ética: O artigo reconhece explicitamente os riscos éticos de usar traços vocais para previsão de gênero, observando que, embora melhore a precisão, pode prejudicar grupos marginalizados. A ferramenta é projetada para explicar comportamentos atuais do modelo para facilitar melhor supervisão e futuras estratégias de mitigação.

Em resumo, o artigo fornece um framework técnico rigoroso para entender por que os modelos S2T fazem escolhas específicas entre alternativas, indo além do "o que" eles preveem para o "como" eles decidem, com foco específico na questão crítica do viés de gênero na tradução de fala.