Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion
Este artigo demonstra que perturbações lexicais degradam severamente o raciocínio de LLMs ao fragmentar a tokenização e desviar a atenção nas camadas de transformer, um efeito acoplado que torna as estratégias de reparo em tempo de inferência ineficazes porque elas falham em restaurar simultaneamente tanto o conteúdo corrompido quanto a alocação de atenção.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Os modelos de linguagem de grande escala são os motores por trás de uma nova geração de inteligência artificial, capazes de ler instruções complexas, resolver problemas matemáticos e manter conversas que parecem notavelmente humanas. Esses sistemas funcionam decompondo o texto em pequenos pedaços chamados tokens, que atuam como blocos de construção para o modelo compreender o significado. Quando um humano lê uma frase com um erro de digitação, o cérebro ignora o erro sem esforço e capta a mensagem pretendida. Durante anos, pesquisadores assumiram que esses poderosos modelos computacionais compartilhavam essa mesma resiliência, acreditando que erros ortográficos menores ou frases estranhas não prejudicariam significativamente sua capacidade de raciocínio. A questão de quão frágeis esses sistemas realmente são quando confrontados com erros cotidianos e realistas permaneceu amplamente sem resposta, deixando uma lacuna entre seu desempenho impressionante em dados limpos e sua confiabilidade no mundo real, que é desordenado.
Um estudo recente buscou preencher essa lacuna testando como quatro modelos de linguagem de grande escala diferentes lidam com três tipos específicos de corrupção de texto. Os pesquisadores pegaram tarefas de raciocínio padrão, como responder perguntas sobre ciências físicas ou resolver problemas matemáticos de várias etapas, e introduziram erros realistas. Eles simularam erros de digitação rápida onde uma tecla é atingida adjacente à pretendida, trocaram letras vizinhas dentro de uma palavra e adicionaram preenchimentos conversacionais como "hum" ou "sabe" para alongar as frases. O objetivo era ver se os modelos ainda conseguiam encontrar a resposta correta quando o texto parecesse ligeiramente quebrado e entender exatamente por que poderiam falhar.
Os resultados revelaram uma divisão aguda e surpreendente na forma como os modelos reagiram. Quando os pesquisadores adicionaram preenchimentos conversacionais, os modelos performaram quase exatamente como faziam no texto limpo, embora as frases tenham se tornado mais longas. No entanto, quando introduziram erros de nível de caractere, como erros de digitação ou letras trocadas, a precisão dos modelos despencou. Essa queda foi mais severa em tarefas que exigem raciocínio matemático de múltiplas etapas, onde um único erro de digitação pode fazer o modelo perder completamente o rumo. O estudo mostrou que a falha não foi causada pelo comprimento extra do texto, mas pela forma específica como o computador decompõe as palavras em pedaços. Quando uma palavra é escrita incorretamente, o dicionário interno do computador não consegue reconhecê-la como uma unidade única. Em vez disso, ele a divide em fragmentos estranhos e desconhecidos.
Os pesquisadores rastrearam a causa dessa falha até um fenômeno que chamam de desvio de atenção. Em um modelo funcional, o sistema foca sua energia computacional nas partes mais importantes de uma frase, como os números em um problema matemático ou os fatos principais em uma história. Quando uma palavra é fragmentada em pedaços estranhos, esses fragmentos agem como um ímã, puxando o foco do modelo para longe das evidências importantes e para as partes quebradas do texto. O modelo acaba encarando o erro de digitação em vez da solução. Essa distração é mais prejudicial nas etapas intermediárias e finais do processamento do modelo, onde ele tenta combinar informações para formar uma resposta. O estudo confirmou que é a fragmentação da palavra, e não o comprimento da frase, que impulsiona essa perda de foco.
Para entender por que isso é tão difícil de corrigir, os pesquisadores realizaram uma série de experimentos nos quais tentaram reparar o problema isoladamente. Eles tentaram restaurar o foco do modelo para as partes corretas da frase enquanto deixavam os erros de digitação no lugar, e tentaram corrigir os erros de digitação enquanto deixavam o foco do modelo confuso. Nenhuma das abordagens funcionou bem sozinha. Na verdade, corrigir o foco enquanto o texto permanecia quebrado na verdade fez o modelo performar pior, porque ele agora estava olhando atentamente para a informação errada. O estudo descobriu que o dano ao texto e a distração do modelo estão profundamente ligados; eles não podem ser separados. O modelo depende da forma específica das palavras para compreender a entrada, e quando essa forma é quebrada, a atenção do modelo é puxada junto com ela.
Esse acoplamento explica por que estratégias comuns para melhorar o desempenho, como pedir ao modelo para pensar passo a passo ou usar um corretor ortográfico antes da tarefa principal, frequentemente falham em recuperar a precisão perdida. Esses métodos geralmente tentam corrigir apenas um lado do problema, seja o texto ou o foco, enquanto o outro permanece quebrado. Os pesquisadores também descobriram que a gravidade da falha depende do tipo de informação que é corrompida. Se um erro de digitação atinge um número em um problema matemático, o modelo certamente falhará, pois esse número não pode ser adivinhado a partir do contexto circundante. Se um erro de digitação atinge uma palavra comum, o modelo pode ainda se recuperar. Isso sugere que os erros mais críticos são aqueles que destroem peças de informação únicas e insubstituíveis.
Em última análise, o estudo conclui que a vulnerabilidade desses modelos reside em como eles representam o texto logo no início de seu processamento. Uma vez que uma palavra é dividida em fragmentos desconhecidos, o dano é efetivamente irreversível sem o acesso ao texto original e correto. Os pesquisadores descobriram que mesmo um modelo de reparo poderoso não conseguia corrigir os erros de forma confiável, porque o texto corrompido frequentemente não continha pistas sobre qual deveria ser a palavra original. Isso significa que construir uma inteligência artificial verdadeiramente robusta requer proteger o texto antes que ele entre no modelo, em vez de tentar corrigi-lo depois. As descobertas sugerem que melhorias futuras devem focar em tornar a compreensão inicial do texto pelo sistema mais flexível, para que possa reconhecer o significado mesmo quando a forma superficial esteja ligeiramente danificada, em vez de depender de uma ortografia perfeita para funcionar.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.