Resumo Técnico: MultiHashFormer

Declaração do Problema

Os Modelos de Linguagem (LMs) padrão dependem de matrizes de incorporação (embeddings) aprendidas que escalam linearmente com o tamanho do vocabulário, criando um "gargalo de vocabulário". Esse escalonamento linear trava os modelos em capacidades fixas de tokens, dificultando sua habilidade de se adaptar a novos domínios ou idiomas sem aumentos significativos de parâmetros. Embora pesquisas anteriores tenham explorado o hashing de tokens para restringir a pegada de parâmetros, os modelos baseados em hash existentes (ex: Proformer, HashFormer) utilizam mapeamentos de muitos-para-um. Nesses sistemas, múltiplos tokens compartilham um único índice de hash. Embora eficiente em termos de parâmetros, essa abordagem causa colisões de tokens que impedem a recuperação determinística de tokens durante a geração autorregressiva. Consequentemente, métodos baseados em hash anteriores foram restritos a arquiteturas apenas de codificador (encoder-only) e treinamento discriminativo, tornando-os inviáveis para modelos de linguagem generativos causais (apenas de decodificador/decoder-only).

Metodologia

Os autores propõem o MultiHashFormer, um framework projetado para permitir a autorregressão baseada em hash ao eliminar colisões de tokens através de uma abordagem de assinatura de múltiplos identificadores. A arquitetura consiste em três módulos primários:

1. Codificador de Hash (Hash Encoder):

   • Indexação de Multi-Hash: Em vez de mapear um token para um único ID de hash, cada token é convertido em uma "assinatura de hash" única composta por uma sequência curta de IDs de hash discretos gerados por $H$ funções de hash independentes (usando o algoritmo MurmurHash3). Por exemplo, um token pode ser representado como $[12, 40, 56]$. Este mapeamento de multi-ID suporta teoricamente uma vasta capacidade de vocabulário (ex: $B^H$ assinaturas únicas) com uma pegada de parâmetros estritamente sublinear.
   • Incorporação Composicional com Portão (Gated Compositional Embedding): Para lidar com o fato de que os buckets de hash são compartilhados globalmente (potencialmente causando colisões entre tokens semanticamente não relacionados), o modelo utiliza um portão composicional sensível ao contexto. Este módulo comprime as incorporações de hash individuais em um vetor latente denso e unificado. Ele utiliza uma rede de gargalo feed-forward com normalização softmax para determinar a contribuição de cada bucket, seguido por um adaptador linear para projetar a representação combinada no espaço latente do backbone.

2. Backbone de Processamento de Sequência:

   • Os vetores latentes comprimidos passam por uma pilha padrão de camadas de decodificador Transformer (baseada na arquitetura Qwen3) para gerar representações contextualizadas.

3. Decodificador de Hash (Hash Decoder):

   • Preditores em Cascata (Cascaded Predictor): Para reconstruir o próximo token, o modelo não prevê um único ID de token. Em vez disso, ele reconstrói autorregressivamente a assinatura de multi-ID do próximo token. Isso é alcançado via um sistema iterativo estruturado de correção de erros.
   • O decodificador inicia um loop de predição com o estado oculto final do backbone. Em seguida, prevê iterativamente cada coordenada da assinatura de hash ($H_1, H_2, \dots, H_H$) sequencialmente.
   • Recuperação de Incorporação Suave (Soft Embedding Retrieval): Para manter a diferenciabilidade durante a cascata, o modelo computa uma "incorporação de bucket suave" (o valor esperado da matriz de incorporação ponderada pelas probabilidades de logit) em vez de índices discretos rígidos para os passos intermediários.
   • Atualização de Estado: Um mixer de cascata recursivo atualiza o estado interno concatenando o estado atual com a incorporação suave recuperada, roteando a representação conjunta através de uma camada de gargalo para informar a predição da coordenada de hash subsequente.

4. Modelagem de Probabilidade:

   • Treinamento: O modelo otimiza o produto das probabilidades de coordenadas independentes ($\prod P(H_i(w) | \cdot)$), permitindo predições sobre combinações de coordenadas que podem não mapear para entradas reais do vocabulário para simplificar a otimização.
   • Inferência: Para garantir a geração válida, o modelo exclui explicitamente assinaturas não atribuídas durante a inferência, renormalizando a distribuição de probabilidade estritamente sobre o vocabulário real de tokens ($V_{actl}$).

Principais Contribuições

• Primeiro LM Causal Baseado em Hash: O MultiHashFormer é o primeiro framework que suporta modelagem de linguagem causal usando hashing ao prevenir colisões de tokens através da geração de assinaturas de multi-ID.
• Eficiência de Parâmetros e Desempenho: O modelo supera consistentemente os LMs Transformer padrão em 10 benchmarks nas escalas de 100M, 1B e 3B de parâmetros. Demonstra que desacoplar o vocabulário da matriz de parâmetros é mais eficaz do que simplesmente adicionar camadas aos modelos padrão.
• Expansão de Vocabulário sem Parâmetros: O framework permite a expansão contínua do vocabulário (ex: de 32K para 48K tokens) sem aumentar a contagem de parâmetros ou exigir modificações estruturais. O modelo lida com a expansão multilíngue registrando novas assinaturas virtuais únicas.
• Melhores Representações de Palavras Raras: O mecanismo de bucket compartilhado melhora a representação de palavras raras, como evidenciado pela maior correlação com anotações humanas no dataset Card-660 em comparação com baselines padrão.

Resultados

• Capacidades Principais: Nas escalas de 1B e 3B, o MultiHashFormer (especificamente a configuração H4B16K) supera os baselines padrão em 9 de 11 tarefas, incluindo ganhos significativos em LAMBADA (modelagem de linguagem) e HellaSwag (lógica narrativa).
• Correspondência de Parâmetros: Quando comparado a baselines com contagens de parâmetros equivalentes (ou mesmo baselines com camadas adicionadas para igualar a contagem total de parâmetros), as variantes do MultiHashFormer alcançam desempenho superior na maioria das tarefas.
• Expansão de Vocabulário: Em experimentos de pré-treinamento contínuo expandindo o vocabulário de 32K para 48K (adicionando tokens de Árabe, Chinês e Hindi), o MultiHashFormer manteve ou melhorou o desempenho em tarefas multilíngues sem os ~31 milhões de parâmetros adicionais exigidos pelos baselines padrão para acomodar os novos tokens.
• Palavras Raras: O MultiHashFormer mostrou correlações de Pearson e Spearman mais altas com pontuações de similaridade humana para pares de palavras raras em comparação com modelos padrão, particularmente ao analisar estados ocultos da penúltima camada do decodificador.

Significância e Alegações

O artigo afirma que o MultiHashFormer consegue contornar o tradicional gargalo de vocabulário para LMs baseados em decodificador. Ao substituir a matriz de incorporação linear por uma interface de hashing modular, o modelo alcança uma pegada de parâmetros estritamente sublinear enquanto escala a capacidade do vocabulário para limites teóricos (ex: quadrilhões de assinaturas). Os autores argumentam que esta abordagem resolve a ambiguidade das colisões de tokens em configurações generativas, uma limitação que anteriormente restringia o hashing a modelos apenas de codificador. Além disso, o framework oferece uma solução prática para adaptação multilíngue, permitindo que modelos integrem novos idiomas e tokens sem os custos computacionais e de memória associados à expansão de matrizes de embedding. Os resultados sugerem que o viés indutivo fornecido pelo codificador e decodificador de hash é robusto e deriva da própria arquitetura, em vez de variância de amostragem aleatória.