Resumo Técnico: Devemos Digitar ou Falar com Agentes de LLM?

Definição do Problema

A interação humana com Grandes Modelos de Linguagem (LLMs) implantados ocorre principalmente através de dois canais: digitar em um teclado QWERTY e falar para uma interface de voz. Nenhum dos canais entrega uma entrada "limpa". A digitação introduz ruído ortográfico (ex: substituições de teclas vizinhas, transposições), enquanto a fala chega ao modelo através de uma camada de transcrição que introduz disfluências (preenchimentos, começos falsos), substituições de homófonos e, cada vez mais, reescritas integrais por ferramentas de ditado apoiadas por IA. Embora a robustez à ruído tipográfico e à disfluência verbal tenha sido estudada isoladamente, há uma falta de comparação sistemática entre essas modalidades, particularmente em relação ao impacto das reescritas de transcrição modernas impulsionadas por IA. Além disso, os benchmarks existentes frequentemente dependem de ruído sintético que não reflete os erros motores específicos da digitação ou as reescritas estruturais das ferramentas de ditado.

Metodologia: O Mecanismo HIVE

Para abordar essas lacunas, os autores introduzem o HIVE (Human Input-Variation Engine), um conjunto de perturbações projetado para reproduzir os erros específicos inerentes aos canais de entrada humana.

• Arquitetura: O HIVE consiste em 17 operadores e 2 controles, implementados via transformações baseadas em regras com semente (seeded rule-based transforms) ou transferência de estilo few-shot (usando Qwen2.5-7B-Instruct).
• Operadores de Voz (11): Eles modelam o pipeline de transcrição.
  • Registros: "Spoken-casual" (estilo podcast, com alta taxa de preenchimento) e "Spoken-formal" (fala preparada).
  • Reescritas: "Spoken-succinct" (comprime e reordena) e "Spoken-clean" (torna o texto mais conciso mantendo a estrutura).
  • Fatores Determinísticos: Isolam propriedades superficiais específicas como injeção de preenchimentos, conversão de números para palavras, remoção de palavras funcionais, perda de caixa/pontuação e substituição de homófonos.
• Operadores de Teclado (6): Eles modelam erros motores em um layout QWERTY.
  • Inclui substituições de teclas vizinhas, transposições, repetições de teclas, inserções de teclas conectadas, omissão de espaços e um controle de substituição aleatória.
  • As edições são aplicadas sobre a base Damerau–Levenshtein com distâncias fixas por palavra.
• Configuração Experimental:
  • Modelos: Cinco modelos ajustados para instrução (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3, Qwen3-8B, phi-4).
  • Benchmarks: Seis conjuntos de dados cobrindo aritmética (GSM8K, GSM-Symbolic, GSM1k), síntese de código (HumanEval) e raciocínio de múltipla escolha (MMLU-Pro, TruthfulQA).
  • Protocolo: Decodificação greedy com avaliação de par correspondente (limpo vs. perturbado) através de 5 sementes para isolar os efeitos da perturbação do ruído de amostragem.

Principais Descobertas

1. A Transcrição de Voz Custa Precisão; A Estrutura Importa Mais do que os Preenchimentos

As perturbações de transcrição de voz reduzem consistentemente a precisão em todos os modelos testados. O operador mais danoso é o "spoken-succinct" (compressão e reordenação), que reduz a precisão em cerca de 24 pontos percentuais. Crucialmente, a penalidade é impulsionada pela estrutura da transcrição, e não pela presença de preenchimentos (fillers).

• Remover preenchimentos de uma transcrição falada ("spoken-filler-stripped") não recupera a precisão.
• Adicionar preenchimentos a um texto limpo ("clean+fillers") diminui a precisão, mas de forma menos severa do que o registro falado completo.
• Isso sugere que a penalidade é "sobredeterminada": os preenchimentos são suficientes para causar dano, mas não necessários, já que a reestruturação do registro (ex: frases excessivamente longas, encadeamento de cláusulas) independentemente prejudica o desempenho.

2. Perturbações de Teclado São Menos Danosas

Erros de teclado QWERTY são significativamente menos custosos do que erros de voz, com uma queda média de precisão de ~3,0 pontos comparado a ~9,7 pontos para voz.

• Os modelos absorvem uma quantidade surpreendente de erro de digitação antes do colapso do desempenho. A precisão permanece estável até que cerca de 12% das palavras contenham erros, após o qual cai drasticamente.
• Concentração vs. Dispersão: Três edições dentro de 20% das palavras são duas vezes mais prejudiciais do que uma edição espalhada por 50% das palavras, pois palavras fortemente editadas tornam-se irrecuperáveis no contexto.
• Erros específicos de QWERTY (substituições de vizinhos) são ligeiramente menos danosos do que substituições aleatórias arbitrárias, provavelmente porque as substituições de vizinhos frequentemente resultam em tokens alternativos menos plausíveis.

3. A Lacuna de Modalidade é um Efeito de Tarefas de Raciocínio

A lacuna de desempenho entre voz e digitação parece ocorrer quase exclusivamente em tarefas que exigem que o modelo construa ou deduza uma resposta (ex: aritmética, geração de código).

• Em tarefas de múltipla escolha onde a resposta é selecionada a partir de opções fornecidas, a lacina entre voz e digitação é negligenciável.
• Em tarefas de geração, as entradas de voz resultam em 6 a 7 pontos percentuais a menos de precisão do que a digitação.

4. A Sobrevivência de Tokens é o Principal Preditor de Dano

A causa fundamental da degradação do desempenho é a destruição dos tokens originais.

• Existe uma forte correlação positiva ($r=+0,79$) entre a porcentagem de tokens da pergunta original que sobrevivem à perturbação e a precisão resultante.
• Adicionar novos tokens (inflação de tokens) tem um impacto negativo mínimo comparado à destruição dos existentes.
• Operadores que preservam a sequência original de tokens (mesmo com adição de preenchimentos) são muito menos danosos do que aqueles que reescrevem ou comprimem o texto, o que destrói a tokenização original.

5. O Dano Não se Deve Exclusivamente à Contaminação do Conjunto de Teste

A penalidade de desempenho persiste em conjuntos de dados descontaminados (GSM-Symbolic e GSM1k), que regeneram problemas com novas formas superficiais enquanto preservam a lógica de raciocínio. Isso indica que o dano não é meramente devido aos modelos recuperarem soluções memorizadas dos dados de treinamento, mas reflete uma incapacidade genuína de processar a estrutura da entrada perturbada.

6. Adaptação Leve Não Pode Mitigar o Dano

Tentativas de treinar modelos para absorver essas perturbações via autodestilação (adaptadores LoRA) foram amplamente malsucedidas.

• Configurações de adaptação de alto rank poderiam fechar a lacuna para a fala conversacional, mas apenas ao reduzir o desempenho do modelo em entradas limpas, o que viola a restrição de que a robustez não deve vir ao custo do desempenho base.
• Configurações de baixo rank preservaram a precisão limpa, mas falharam em melhorar o desempenho em entradas perturbadas.
• Adicionar termos para penalizar a atenção a preenchimentos ou alinhar estados ocultos não fechou a lacuna. O dano parece intrínseco à arquitetura atual do modelo e sua distribuição de treinamento.

7. Orçamentos de "Pensamento" Recuperam o Teclado, Mas Não a Voz

Habilitar um modo de "pensamento" (raciocínio de cadeia de pensamento/chain-of-thought) no Qwen3-8B quase totalmente recupera o desempenho em perturbações de teclado, mas deixa os registros falados essencialmente intocados.

• O raciocínio ajuda a reconstruir o texto embaralhado onde os tokens originais são preservados (erros de teclado).
• Ele falha em recuperar o desempenho quando a estrutura de entrada é fundamentalmente alterada ou comprimida (reescritas de voz); notavelmente, o desempenho de fala comprimida na verdade piora com um orçamento de pensamento habilitado.
• Isso sugere que o raciocínio pode reparar o ruído ao nível de token, mas não consegue compensar a perda da sequência original de tokens e da integridade estrutural inerente às reescritas de voz.

Significância e Alegações

O artigo afirma que falar é atualmente o "canal caro" para interagir com LLMs, principalmente devido às reescritas estruturais introduzidas por ferramentas de ditado baseadas em IA. Os autores argumentam que o dano não é uma simples questão de ruído, mas uma perda da sequência de tokens original e da integridade estrutural necessária para o raciocínio.

Implicações Práticas:

• Para Usuários: Ao usar interfaces de voz, o que é falado é o que o modelo terá que trabalhar; os usuários devem evitar divagações ou depender de ferramentas subsequentes para "limpar" o texto, pois a remoção mínima de disfluência é preferível à reescrita estrutural.
• Para Desenvolvedores: Front-ends de ditado devem minimizar a reformatação e a reestruturação da entrada do usuário. O maior dano medido vem da camada de "reescrita" das ferramentas de ditado, que também é a parte "mais barata de alterar".
• Para Pesquisa: A robustez à perturbação de entrada é específica de cada modalidade. Modelos robustos a erros de digitação não são necessariamente robustos à disfluência falada, e a adaptação leve é insuficiente para fechar essa lacuna.

O estudo conclui que, embora os erros de digitação sejam absorvíveis por modelos de raciocínio, as alterações estruturais inerentes à transcrição de voz (particularmente as reescritas por IA) representam um desafio fundamental que os modelos atuais e as estratégias de adaptação leve não conseguem superar totalmente.