TreeWY: Speculative Verification for Gated DeltaNet Hybrids

No mundo da inteligência artificial moderna, os grandes modelos de linguagem atuam como motores poderosos que geram texto palavra por palavra. Para fazer isso, eles devem se lembrar de tudo o que escreveram até agora para garantir que a próxima palavra se ajuste ao contexto. Durante muitos anos, a maneira mais comum de lidar com essa memória era manter uma lista crescente de cada palavra anterior e seus dados associados, um método que funciona bem, mas que exige uma quantidade massiva de memória de computador à medida que a conversa se torna mais longa. Recentemente, surgiu uma nova geração de modelos que mistura essa abordagem tradicional com um método diferente e mais compacto. Esses modelos híbridos utilizam um tipo especial de camada que resume todo o histórico em um único instantâneo de tamanho fixo, em vez de uma lista crescente. Isso os torna incrivelmente eficientes para tarefas padrão de leitura e escrita, permitindo que funcionem em computadores menores. No entanto, essa eficiência cria um novo problema ao tentar acelerar o processo usando uma técnica chamada decodificação especulativa.

A decodificação especulativa é uma estratégia usada para tornar esses modelos de IA mais rápidos. Em vez de gerar uma palavra por vez, um modelo de "rascunho" menor e mais barato adivinha várias palavras à frente, e o modelo principal verifica todas elas de uma só vez para ver quais palpites estavam corretos. Se o modelo principal conseguir verificar uma longa sequência de palpites, ele pode produzir múltiplas palavras em um único passo, aumentando dramaticamente a velocidade. O problema surge com os modelos híbridos mencionados anteriormente. Como a memória deles é um instantâneo único e de tamanho fixo que não pode ser facilmente cortado ou colado, os sistemas atuais precisam tirar uma cópia completa desse instantâneo para cada única palavra que o modelo de rascunho adivinha. Se o modelo de rascunho adivinhar uma longa lista de palavras, o sistema deve armazenar uma cópia da memória para cada palpite. Isso preenche rapidamente a memória do computador, forçando o sistema a interromper as longas sequências de palpites e limitando os ganhos de velocidade. É um gargalo que impede que esses modelos eficientes funcionem tão rápido quanto teoricamente poderiam.

Pesquisadores da Thomson Reuters, liderados por Sneha Murthy Ghantasala, desenvolveram um novo método chamado TreeWY para resolver esse gargalo específico de memória. O trabalho deles foca em uma família de modelos híbridos conhecidos como Qwen3.5, que são projetados para serem eficientes, mas lutam com as demandas de memória da decodificação especulativa. A equipe percebeu que a maneira como esses modelos atualizam sua memória segue um padrão matemático específico que pode ser rearranjado. Em vez de salvar uma cópia completa da memória para cada palpite, eles encontraram uma maneira de calcular os resultados de todos os palpites de uma só vez, usando uma operação matemática única e simplificada. Essa operação trata a sequência de palpites não como uma série de instantâneos separados, mas como uma árvore estruturada onde a informação necessária é compartilhada e computada de forma eficiente.

O cerne de sua descoberta é que eles não precisam mais armazenar o estado completo da memória para cada token de rascunho. No método antigo, se um modelo adivinhasse dez palavras, teria que salvar dez versões completas de sua memória, o que consumia um espaço enorme. Com o TreeWY, o sistema salva apenas um resumo minúsculo e comprimido das mudanças feitas durante a fase de adivinhação. Ele realiza um único cálculo para verificar todos os palpites simultaneamente. Se um palpite for aceito, o sistema reconstrói o estado de memória correto a partir desse pequeno resumo. Se um palpite for rejeitado, o sistema simplesmente descarta o resumo sem nunca ter precisado armazenar o estado de memória completo e pesado. Essa abordagem elimina a necessidade do enorme overhead de memória que anteriormente tornava impossíveis as longas cadeias de palpites.

Os pesquisadores testaram este método em dois tamanhos do modelo Qwen3.5, uma versão de 35 bilhões de parâmetros e uma versão muito maior de 397 bilhões de parâmetros, executando-os em placas gráficas de alto desempenho. Eles compararam seu novo método TreeWY com a abordagem padrão usada em softwares populares de IA. Os resultados mostraram que, quando a memória do computador estava sob forte pressão, o novo método permitia que o sistema lidasse com significativamente mais solicitações de uma só vez. Em alguns casos, a velocidade de geração de texto aumentou quase cinquenta por cento, e o tempo para iniciar a geração de uma resposta caiu drasticamente. Isso aconteceu porque o espaço de memória liberado permitiu que o sistema mantivesse mais conversas ativas simultaneamente sem travar ou perder desempenho.

No entanto, o estudo também descobriu que os benefícios dependem fortemente de quanta memória está disponível. Quando o computador tinha muita memória sobrando, o novo método era ligeiramente mais lento do que a abordagem padrão, custando uma pequena porcentagem de velocidade. Isso ocorre porque o novo cálculo, embora economize memória, leva um pouco mais de tempo para ser executado do que o método simples de apenas copiar os dados. Os pesquisadores observaram que a verdadeira vantagem surge quando o sistema é limitado pela memória, o que é uma situação comum para grandes modelos. Nesses cenários, a capacidade de executar mais conversas ao mesmo tempo supera amplamente o pequeno custo do cálculo.

A equipe também explorou se este método poderia suportar estratégias de adivinhação ainda mais ambiciosas, como uma estrutura de "árvore", onde o modelo adivinha vários caminhos diferentes ao mesmo tempo, em vez de apenas uma linha de palavras. O novo método tornou isso possível ao manter o uso de memória constante, independentemente de quão larga se tornasse a árvore de palpites. Anteriormente, uma árvore de palpites larga exigiria tanta memória que seria impossível de executar. Agora, o sistema pode se dar ao luxo de tentar muitos caminhos diferentes simultaneamente. Embora isso não tenha resultado imediatamente em um aumento massivo de velocidade para os modelos testados, provou que o método é flexível o suficiente para lidar com estruturas de adivinhação complexas e largas que antes eram inacessíveis financeiramente.

Os pesquisadores enfatizaram que sua solução é específica para as regras matemáticas que regem esses modelos híbridos. Ela não depende dos detalhes específicos do design do modelo, mas sim da maneira fundamental como a memória se atualiza. Isso significa que a abordagem poderia potencialmente ser aplicada a outros modelos que utilizam estruturas de memória semelhantes. O trabalho foi implementado em um framework de software amplamente utilizado para rodar modelos de IA, e os pesquisadores verificaram que o novo método produz resultados matematicamente idênticos à abordagem padrão, garantindo que a qualidade do texto permaneça inalterada.

No fim, esta pesquisa demonstra que, ao repensar como a memória é gerenciada durante a fase de adivinhação, é possível desbloquear o potencial total de velocidade dos modelos híbridos eficientes. O estudo mostra que a limitação não estava nos modelos em si, mas na forma como o software gerenciava sua memória. Ao mudar de armazenar instantâneos completos para calcular um resumo compartilhado, os pesquisadores transformaram um gargalo de memória em um caminho para um desempenho superior. Isso permite que esses modelos eficientes funcionem mais rápido e atendam a mais usuários, particularmente em situações onde a memória do computador é o recurso mais escasso. As descobertas sugerem que as melhorias futuras na velocidade da IA podem vir não apenas da construção de modelos maiores, mas de maneiras mais inteligentes de gerenciar os dados que eles já possuem.