Resumo Técnico: Leviathan – Desacoplamento das Representações de Entrada e Saída em Modelos de Linguagem

1. Declaração do Problema

Os modelos de linguagem grandes (LLMs) modernos tipicamente empregam uma arquitetura de pesos acoplados, onde uma única matriz de embeddings $E \in \mathbb{R}^{V \times D}$ desempenha duplo papel: mapear tokens de entrada para representações contínuas e projetar estados ocultos de volta ao espaço de vocabulário para previsão de saída. Esse acoplamento força uma única matriz a satisfazer simultaneamente dois objetivos distintos:

1. Representação de Entrada: Requer suavidade, onde tokens semanticamente relacionados ocupam regiões próximas no espaço de representação.
2. Classificação de Saída: Requer discriminação, separando efetivamente todos os tokens ao longo do vocabulário.

Os autores hipotetizam que esse acoplamento impõe uma limitação arquitetônica. Embora modelos totalmente desacoplados (aprendendo matrizes de entrada e saída separadas) desacoplem teoricamente esses objetivos, eles provam-se ineficazes na prática. Experimentos mostram que modelos totalmente desacoplados têm desempenho inferior às bases de pesos acoplados, apesar de um aumento de ~50% na contagem de parâmetros, sugerindo que os parâmetros adicionais não são utilizados efetivamente devido a dificuldades de otimização e sinal de treinamento insuficiente para embeddings discretos, particularmente para tokens raros.

2. Metodologia: A Arquitetura Leviathan

Leviathan introduz uma arquitetura Transformer que desacopla a representação de entrada da previsão de saída sem incorrer no custo proibitivo de parâmetros de embeddings totalmente desacoplados.

2.1 Vetorização de Embeddings Aprendidos (LEV)

A inovação central é a camada LEV, que substitui a matriz densa de embeddings de entrada por uma função contínua aprendida $G: \{0, \dots, V-1\} \to \mathbb{R}^D$. Esta função mapeia índices de tokens para embeddings através de um mecanismo compacto de compartilhamento de parâmetros:

• Indexação Composicional: O vocabulário é fatorado em $k$ componentes usando uma decomposição base-$b$, convertendo um índice de token $i$ em uma tupla $(i_1, \dots, i_k)$.
• Livros de Códigos Compartilhados: Esses índices mapeiam para livros de códigos compartilhados $C_1, \dots, C_k$, gerando uma representação semente $z(i)$. Isso permite que tokens raros se beneficiem de sinais de gradiente passados através de entradas compartilhadas usadas por tokens estruturalmente similares.
• Projeção Contínua: A semente é projetada e normalizada para uma coordenada latente limitada $\tilde{z}_\ell \in [0, 1]^{d_{seed}}$.
• Expansão por Splines: Cada dimensão é modelada por uma expansão de base B-spline quadrática univariada com $\kappa$ nós.
• Produto Tensorial: As dimensões são combinadas via um produto tensorial de posto-$r$.
• Soma de Cabeças: O embedding final é a soma das saídas de $h$ cabeças paralelas após uma projeção linear.

2.2 Arquitetura e Desacoplamento

• Cabeça de Saída Desacoplada: A camada LEV permite que a cabeça de projeção de saída permaneça totalmente desacoplada (uma matriz densa independente da entrada).
• Eficiência de Parâmetros: Como a camada LEV é significativamente menor que uma tabela densa de embeddings, a sobrecarga da cabeça de saída desacoplada é negligenciável. Na escala de 1,2B de parâmetros, o aumento total de parâmetros é de apenas 0,2%.
• Viés Indutivo: A arquitetura impõe um viés indutivo de suavidade sobre o espaço de tokens, contrastando com a geometria discreta e potencialmente anisotrópica de tabelas de consulta padrão.

3. Configuração Experimental

• Modelos: Os experimentos foram conduzidos em Transformers apenas com decodificador em três escalas: 200M, 400M e 1,2B de parâmetros.
• Bases de Comparação:
  • ACOPADO (TIED): Base padrão de pesos acoplados.
  • DESCOPLADO (UNTIED): Modelo totalmente desacoplado (611M parâmetros na escala de 400M).
  • ALBERT: Fatoração correspondente aos parâmetros de entrada (compressão linear) com uma cabeça de saída desacoplada.
  • Ablações: MLP Plano e MLP Fatorado correspondentes em parâmetros para isolar as contribuições da não linearidade e da estrutura composicional.
• Treinamento: Todos os modelos foram treinados em The Pile (sem direitos autorais) com hiperparâmetros, sementes e orçamentos de tokens idênticos (até 24,1B tokens para modelos de 1,2B).
• Avaliação: Desempenho de modelagem de linguagem em um conjunto de validação retido de The Pile, generalização zero-shot em Wikitext-103 e benchmarks downstream (HellaSwag, ARC, PIQA, WinoGrande, LAMBADA).

4. Resultados Chave

4.1 Desempenho de Modelagem de Linguagem

Leviathan consistentemente supera a base de pesos acoplados em todas as escalas, com a lacuna de desempenho alargando-se à medida que o treinamento progride e a escala do modelo aumenta.

• Escala 1,2B: Leviathan reduziu a perplexidade de validação em 9,2% (0,087 nats) comparado à base acoplada.
• Eficiência de Amostra: Na escala de 1,2B, Leviathan requereu 2,1× menos tokens de treinamento para atingir a perda final da base acoplada.
• Dinâmica de Treinamento: Em escalas menores (200M), Leviathan inicialmente teve desempenho inferior antes de ultrapassar a base; em 1,2B, superou a base durante todo o treinamento.

4.2 Comparação com Alternativas

• Vs. Totalmente Desacoplado: O modelo totalmente desacoplado (DESCOPLADO) teve desempenho inferior à base acoplada durante todo o treinamento, confirmando que o desacoplamento ingênuo sem parametrização eficiente é subótimo.
• Vs. Fatoração Linear: A base fatorada estilo ALBERT também teve desempenho inferior à base acoplada, indicando que a compressão linear sozinha não pode recuperar os benefícios representacionais da geometria acoplada.
• Vs. Leviathan: Leviathan superou tanto DESCOPLADO quanto ALBERT, demonstrando que a geração contínua não linear é superior tanto ao desacoplamento ingênuo quanto à fatoração linear dentro de orçamentos computacionais ótimos de Chinchilla.

4.3 Downstream e Generalização

• Tarefas Downstream: Na escala de 1,2B, Leviathan melhorou o desempenho em todos os seis benchmarks downstream avaliados. Notavelmente, alcançou uma redução de 30% na perplexidade no LAMBADA.
• Transferência Zero-Shot: No Wikitext-103 (uma distribuição diferente), Leviathan mostrou melhorias crescentes de perplexidade com a escala (2,4% em 200M, 12,3% em 1,2B), sugerindo que suas representações contínuas transferem-se mais efetivamente entre distribuições de dados.

4.4 Análise Estratificada por Frequência

Os ganhos de desempenho estão fortemente concentrados na cauda longa da distribuição de tokens:

• Tokens Raros: Para tokens que aparecem menos de 1 em 10 milhões de vezes, Leviathan reduziu a perplexidade em 81% na escala de 1,2B.
• Tokens Frequentes: Para tokens que aparecem mais de 1 em 10 mil vezes, a melhoria caiu para perto de zero (e ligeiramente negativa para os mais frequentes), pois embeddings discretos são suficientes quando os sinais de treinamento são fortes.
• Mecanismo: A parametrização contínua compartilha gradientes entre tokens estruturalmente similares, fornecendo um sinal robusto onde consultas discretas falham devido à esparsidade de dados.

4.5 Robustez

• Tamanho do Vocabulário: Os resultados permaneceram consistentes entre tamanhos de vocabulário de 50k, 100k e 200k, com melhorias relativas de ~2% em toda a faixa.
• Ablações: Os ganhos foram decompostos em: representação contínua (+1,13%), estrutura composicional (+0,37%) e suavidade de spline separável (+0,62%).

5. Significado e Afirmações

O artigo afirma que a prática padrão de acoplamento de pesos impõe uma limitação arquitetônica que não é resolvida simplesmente desacoplando os pesos. Em vez disso, a solução ótima envolve desacoplar as representações de entrada e saída enquanto se impõe suavidade via parametrização contínua.

• Insight Arquitetônico: A geometria representacional dos embeddings de entrada importa. A parametrização contínua é um meio eficiente em dados e computação para melhorar essa geometria, particularmente para tokens raros onde embeddings discretos lutam.
• Eficiência: Leviathan alcança esses ganhos com uma sobrecarga de parâmetros negligenciável (0,2% na escala de 1,2B), tornando-se uma atualização prática para modelos de linguagem modernos.
• Escalabilidade: Os benefícios da camada LEV se acumulam com a escala e os dados, sugerindo que, à medida que os modelos crescem, a vantagem de representações de entrada suaves e contínuas sobre consultas discretas torna-se mais pronunciada.

Os autores concluem que, embora o padrão de melhoria dependente da frequência seja correlacional, a consistência entre escalas, vocabulários e variantes arquitetônicas fornece evidências robustas de que a parametrização contínua mitiga efetivamente as dificuldades de otimização associadas ao aprendizado de embeddings discretos para tokens raros.