Resumo Técnico: Redução da Sensibilidade a Prompts em Reconhecimento de Fala Baseado em LLM Através de Projeção Aprendível

1. Declaração do Problema

Embora o Reconhecimento Automático de Fala (ASR) baseado em Modelos de Linguagem de Grande Escala (LLM) tenha surgido como uma arquitetura promissora — conectando modelos fundamentais de fala a LLMs por meio de um projetor de fala para LLM —, as implementações atuais dependem fortemente de prompts fixos e manualmente definidos tanto para treinamento quanto para inferência.

O artigo identifica uma vulnerabilidade crítica e pouco explorada neste design: a sensibilidade a prompts. Os autores demonstram que:

• A escolha do prompt impacta significativamente o desempenho do ASR (medido pela Taxa de Erro de Palavras, WER).
• Nenhum prompt único desempenha de forma ótima em todos os conjuntos de dados ou cenários.
• Pequenas variações na redação ou na colocação dos embeddings de fala dentro do prompt podem levar a diferenças drásticas na qualidade da transcrição.
• Em alguns casos, prompts específicos performam pior do que não usar nenhum prompt (um prompt "vazio"), introduzindo instabilidade e limitando a robustez de sistemas práticos de ASR.

2. Metodologia

2.1. Arquitetura Base

O estudo utiliza a arquitetura SLAM-ASR como fundamento. Este modelo consiste em:

• Codificador de Fala: WavLM-large (treinado em 94 mil horas de dados não rotulados).
• Projetor de Fala: Um módulo leve ($sp(\cdot)$) que mapeia recursos de áudio com taxa de amostragem reduzida para o espaço de entrada do LLM.
• LLM: Vicuna-7B (ajustado finamente a partir do Llama).
• Estratégia de Treinamento: O codificador de fala e o LLM são congelados; apenas o projetor de fala é treinado.

2.2. Solução Proposta: O Projetor de Prompt

Para abordar a sensibilidade a prompts sem modificar o LLM subjacente ou o codificador de fala, os autores propõem um módulo Projetor de Prompt, denotado como $pp(\cdot)$.

• Conceito: Inspirado pelo sucesso do projetor de fala, o projetor de prompt aprende uma função de projeção comum para transformar embeddings de prompts fixos e manualmente definidos em uma região mais eficaz do espaço de entrada do LLM.
• Arquitetura: Compartilha a mesma arquitetura do projetor de fala (uma rede linear de duas camadas com ativação ReLU), mas opera sobre embeddings de tokens do LLM em vez de recursos de fala.
• Protocolo de Treinamento:
  1. Treinar o modelo base "puro" (codificador/LLM congelados, projetor de fala aprendido).
  2. Congelar todos os componentes do modelo base treinado.
  3. Treinar apenas o novo projetor de prompt ($pp(\cdot)$) sobre o modelo congelado.
  • Nota: Os autores testaram explicitamente o descongelamento dos modelos subjacentes, mas constataram que isso levou a um treinamento instável e desempenho degradado.

2.3. Configuração Experimental

• Conjuntos de Dados: Quatro conjuntos de dados diversos foram utilizados:
  • LibriSpeech (LS-C/LS-O): Áudio-livros em inglês lidos.
  • CallHome (CH): Conversas telefônicas espontâneas.
  • AMI: Gravações de reuniões multimodais.
  • ContactCenter (CC): Conversas proprietárias específicas de domínio (saúde/finanças).
• Variações de Prompt: Dez modelos de prompt distintos foram avaliados, variando do prompt "base" padrão a variações na redação e na colocação de embeddings, além de um prompt "vazio" (contendo apenas embeddings de fala).
• Baselines: As comparações incluíram modelos puros com diferentes prompts, modelos com ajuste fino LoRA e sistemas recentes de ASR baseados em LLM de última geração.

3. Resultados Chave

3.1. Impacto de Prompts Manuais

A avaliação do modelo puro em dez prompts revelou alta variabilidade:

• Variância de Desempenho: Diferentes prompts produziram WERs significativamente diferentes mesmo sob condições idênticas de modelo e dados. Por exemplo, no conjunto de dados ContactCenter, o WER variou de 11,81% a 13,00% dependendo exclusivamente do prompt.
• Padrões Subótimos: O prompt "base" padrão frequentemente performou pior em comparação com outros prompts criados manualmente e, em alguns casos (por exemplo, CallHome), performou pior do que o prompt "vazio".
• Dependência do Conjunto de Dados: Um prompt que se destacou em um conjunto de dados (por exemplo, CallHome) frequentemente performou mal em outro (por exemplo, AMI), confirmando que nenhum prompt único é universalmente ótimo.

3.2. Eficácia do Projetor de Prompt

A adição do projetor de prompt ($pp(\cdot)$) produziu melhorias consistentes:

• Robustez: O projetor reduziu significativamente a variância de desempenho. Mitigou o impacto negativo de prompts subótimos, garantindo que até mesmo o prompt manual "pior", quando aumentado com $pp(\cdot)$, superasse o melhor prompt manual usado sem o projetor.
• Ganhos de Desempenho: Em todos os quatro conjuntos de dados, a extensão $pp(\cdot)$ reduziu consistentemente o WER em comparação com a baseline pura.
  • Exemplo: No LibriSpeech-Clean, o melhor prompt manual alcançou 2,72% de WER, enquanto o prompt "base" alcançou 3,09%. Com $pp(\cdot)$, o prompt "base" melhorou para 2,34%, e o melhor prompt melhorou para 2,28%.
• Significância Estatística: Testes estatísticos pareados confirmaram que as melhorias foram estatisticamente significativas ($p < 0,05$) em todos os conjuntos de dados.
• Comparação com SOTA: O método proposto, particularmente quando combinado com ajuste fino LoRA, alcançou resultados competitivos ou superiores em comparação com sistemas de última geração recentes (por exemplo, Qwen-Audio, SALMONN) em benchmarks específicos.

4. Significado e Contribuições

O artigo reivindica as seguintes contribuições e significados:

1. Primeira Análise Sistemática: Fornece o primeiro estudo abrangente da sensibilidade a prompts em ASR baseado em LLM, revelando que a escolha do prompt é um fator crítico, muitas vezes negligenciado, no desempenho do sistema.
2. Arquitetura Novel: Introduz o Projetor de Prompt, uma extensão simples e agnóstica ao modelo que aprende a alinhar embeddings de prompts com o espaço de entrada do LLM sem exigir alterações no LLM ou no codificador de fala subjacentes.
3. Robustez sem Complexidade: A abordagem melhora a robustez e reduz a variância de desempenho sem introduzir parâmetros complexos de engenharia de prompts ou tokens. Funciona como uma extensão "plug-and-play" para arquiteturas existentes.
4. Insight Diagnóstico: As descobertas sugerem que pesquisas futuras devem incluir uma baseline de "prompt vazio" como uma ferramenta diagnóstica para detectar prompts manuais com baixo desempenho precocemente no desenvolvimento.

5. Limitações e Trabalho Futuro

Os autores mantêm uma postura modesta quanto ao escopo de seu trabalho:

• Exploração Inicial: Isso é apresentado como um primeiro passo para entender a robustez de prompts.
• Lacuna de Comparação: O artigo não compara diretamente o Projetor de Prompt com métodos de aprendizado de prompt suave (que aprendem tokens específicos de tarefas), observando que uma comparação justa exigiria extenso ajuste de hiperparâmetros em múltiplos prompts e conjuntos de dados, o que está além do escopo atual.
• Generalização: Questões em aberto permanecem sobre se um único projetor pode generalizar entre diferentes tarefas, idiomas ou arquiteturas de LLM.
• Escopo: O trabalho atual foca estritamente na transcrição; a aplicabilidade a outras tarefas downstream é objeto de investigação futura.