LZ Penalty: An information-theoretic repetition penalty for autoregressive language models

No mundo da inteligência artificial, existe uma classe de programas de computador poderosos conhecidos como modelos de linguagem. Esses sistemas são treinados para prever a próxima palavra em uma frase, permitindo que escrevam histórias, respondam perguntas e até resolvam problemas matemáticos complexos ao gerar longas cadeias de raciocínio. Para fazer essas previsões, os modelos dependem de um processo estatístico onde escolhem a palavra mais provável a seguir a partir de uma vasta lista de possibilidades. No entanto, um problema persistente tem assolado esses sistemas, particularmente quando lhe são pedidas tarefas difíceis: eles às vezes ficam presos em um loop. Em vez de avançar com uma nova ideia, o modelo começa a repetir as mesmas palavras ou frases repetidamente, degradando sua produção em algo sem sentido. Esse problema é conhecido como repetição degenerada, e tem sido uma barreira significativa para o uso desses modelos em tarefas determinísticas e confiáveis, onde a saída deve ser consistente e livre de erros.

Por anos, engenheiros tentaram corrigir isso aplicando penalidades simples às escolhas do modelo. Essas penalidades agem como um empurrão suave, desencorajando o modelo de escolher palavras que ele já usou recentemente. Um método conta quantas vezes uma palavra apareceu e reduz sua probabilidade; outro simplesmente penaliza qualquer palavra que tenha aparecido antes. Embora esses métodos funcionem bem para conversas casuais, eles frequentemente falham quando o modelo está engajado em um raciocínio profundo. Os modelos de raciocínio, que geram sequências de texto muito longas para trabalhar em quebra-cabeças lógicos, frequentemente caem em ciclos repetitivos apesar dessas correções padrão. O resultado é um sistema que pode começar forte, mas acaba colapsando em um loop de gagueira de palavras repetidas, tornando a saída inútil para aplicações sérias.

Uma equipe de pesquisadores da Salesforce AI Research propôs uma nova solução que se inspira em um campo completamente diferente: a compressão de dados. O trabalho deles introduz um método chamado penalidade Lempel-Ziv, que é projetado para interromper esses loops repetitivos sem sacrificar a capacidade do modelo de pensar com clareza. A ideia central baseia-se em uma conexão fundamental entre prever a próxima palavra em uma frase e comprimir um arquivo de dados. No mundo da computação, algoritmos de compressão trabalham encontrando padrões e repetições nos dados para tornar os arquivos menores. Se uma sequência de palavras se repete com frequência, um algoritmo de compressão pode descrevê-la de forma muito eficiente, usando menos bits de informação. Os pesquisadores perceberam que, se pudessem medir com que facilidade o fluxo atual de texto do modelo poderia ser comprimido, poderiam usar essa informação para guiar o modelo para longe de padrões repetitivos.

Os pesquisadores desenvolveram um sistema que simula um tipo específico de algoritmo de compressão, conhecido como algoritmo Lempel-Ziv, em tempo real enquanto o modelo gera texto. Esse algoritmo olha para trás em uma janela deslizante do histórico de texto recente, procurando pelas correspondências mais longas de sequências de palavras. Quando o modelo considera uma nova palavra, o sistema calcula o quanto essa palavra mudaria o tamanho total do arquivo comprimido. Se a nova palavra cria um padrão longo e redundante que o algoritmo de compressão pode codificar facilmente, o sistema aplica uma penalidade a essa palavra, tornando-a menos provável de ser escolhida. Por outro sentido, se a palavra introduz informações novas e imprevisíveis que não podem ser facilmente comprimidas, a penalidade é baixa ou inexistente. Esta abordagem é distinta dos métodos anteriores porque não apenas conta quantas vezes uma única palavra aparece; em vez disso, ela observa o comprimento da sequência repetida e quão longe atrás essa sequência ocorreu.

Para testar essa nova abordagem, os pesquisadores a aplicaram a dois modelos de raciocínio avançados, um com 32 bilhões de parâmetros e outro com 14 bilhões. Eles compararam o desempenho da sua nova penalidade contra os métodos padrão da indústria usados hoje. Os resultados foram impressionantes. Ao usar as penalidades de frequência ou repetição padrão, os modelos ainda caíam em loops de repetição degenerada cerca de 4% das vezes, mesmo quando os pesquisadores tentavam ajustar as configurações para evitar isso. Em contraste, a nova penalidade Lempel-Ziv reduziu a taxa desses fracassos repetitivos para efetivamente zero. Os modelos foram capazes de gerar longas e complexas cadeias de raciocínio sem ficarem presos, e sua precisão em testes de referência difíceis permaneceu inalterada. Isso sugere que o novo método remove com sucesso a redundância que causa os loops sem interferir nas capacidades genuínas de raciocínio do modelo.

Os pesquisadores também examinaram o custo computacional de executar esta nova penalidade. Como o sistema deve simular uma etapa de compressão para cada palavra gerada, há uma pequena quantidade de trabalho extra necessário. No entanto, eles descobriram que esse overhead é surpreendentemente pequeno. Para modelos grandes, a redução na velocidade foi de menos de um por cento, uma diferença tão mínima que seria quase imperceptível no uso real. Essa eficiência torna o método prático para adoção imediata, oferecendo uma maneira de tornar os modelos de raciocínio mais confiáveis sem exigir novo poder computacional significativo.

Uma limitação observada pela equipe é que o método é especificamente projetado para linguagem natural. O algoritmo de compressão baseia-se na suposição de que a linguagem possui certas propriedades estatísticas, como o fato de que as palavras tendem a se repetir de maneiras previsíveis ao longo do tempo. Embora o método funcione excepcionalmente bem para texto, os pesquisadores alertam que ele pode não ser tão eficaz para outros tipos de dados, como imagens ou áudio, sem ajustes específicos. Além disso, o sistema não é perfeito para todos os cenários concebíveis; por exemplo, se um usuário pedir explicitamente ao modelo para repetir uma letra cem vezes, a penalidade pode interferir nessa instrução específica. No entanto, para a grande maioria das tarefas onde o objetivo é o raciocínio coerente e não repetitivo, o novo método parece ser uma solução robusta.

As descobertas sugerem uma mudança na forma como pensamos sobre o controle da inteligência artificial. Em vez de depender de instrumentos brutos que simplesmente banem palavras com base em sua contagem, esta abordagem utiliza os princípios matemáticos da teoria da informação para entender a estrutura do próprio texto. Ao tratar a geração de texto como um processo de compressão, os pesquisadores criaram uma ferramenta que filtra naturalmente o ruído da repetição enquanto preserva o sinal do pensamento. Isso permite que modelos de raciocínio de código aberto operem com um nível de determinismo que era anteriormente difícil de alcançar, abrindo as portas para aplicações mais confiáveis em campos onde a consistência é primordial. O trabalho demonstra que, ao olhar para o problema através da lente da compressão de dados, podemos encontrar soluções elegantes para os problemas persistentes que há muito tempo dificultam o progresso dos modelos de linguagem.