Resumo Técnico: CoFrGeNet – Arquiteturas de Frações Contínuas para Geração de Linguagem

Declaração do Problema

Os Transformers tornaram-se a arquitetura dominante para geração de linguagem, dependendo de Atenção Multi-cabeça e Redes Feed-Forward (FFNs) com camadas ocultas grandes. No entanto, esses componentes introduzem sobrecarga computacional significativa, particularmente em termos de contagem de parâmetros e tempo de treinamento. Embora várias aproximações (por exemplo, atenção esparsa, atenção linear) tenham sido propostas para melhorar a eficiência, permanece a necessidade de classes de funções fundamentalmente diferentes que possam substituir esses componentes centrais enquanto mantêm ou melhoram o desempenho.

Trabalhos anteriores introduziram CoFrNets (Redes de Frações Contínuas) para aprendizado supervisionado, utilizando uma estrutura em escada inspirada em frações contínuas. No entanto, adaptar essa arquitetura para modelagem generativa apresenta três desafios específicos:

1. Saídas multidimensionais: Modelos generativos exigem a produção de saídas de alta dimensão, ao contrário das saídas escalares frequentemente observadas em configurações supervisionadas.
2. Aprendizado de funções mais rico: A arquitetura deve aprender representações complexas adequadas para modelagem de sequências.
3. Restrições causais: O modelo deve aprender parâmetros que dependem apenas de tokens anteriores para garantir uma geração coerente.
4. Ineficiência computacional: A não linearidade padrão $1/x$ em frações contínuas requer $d$ divisões para uma escada de profundidade $d$. Como a divisão é significativamente mais lenta que a multiplicação em hardware moderno, isso cria um gargalo tanto para treinamento quanto para inferência, especialmente à medida que a profundidade ($d$) e o número de escadas ($L$) aumentam.

Metodologia

1. Redes Generativas de Frações Contínuas (CoFrGeNets)

Os autores propõem CoFrGeNets, uma família de arquiteturas que substituem camadas de Atenção e/ou FFN em blocos de Transformer por componentes baseados em frações contínuas. A classe de função central é definida como:
$$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$$
onde $x$ é a entrada e $w_k$ são vetores de parâmetros aprendíveis.

2. Componentes Arquiteturais

O artigo introduz designs específicos para substituir componentes de Transformer mantendo restrições causais:

• Substituição de Atenção Causal (CAttnU e CAttnM):

  • CAttnU: Utiliza escadas CoFrNet univariadas onde as entradas são transpostas para misturar dimensões entre tokens. Para impor causalidade (prevenindo vazamento de tokens futuros), a arquitetura emprega camadas lineares triangulares superiores dentro dos ensembles. A multiplicação elemento a elemento das saídas de dois ensembles gera termos cruzados, aumentando o poder de representação sem violar o fluxo causal.
  • CAttnM: Utiliza $L$ escadas CoFrNet para mapear entradas em embeddings de comprimento de sequência, que servem como pesos de atenção. A causalidade é mantida aplicando um softmax causal (combinação convexa de apenas tokens anteriores) antes de ponderar a matriz de valores.

• Substituição de FFN (Cffn):

  • Como FFNs exigem mistura de características e não mistura de tokens, a arquitetura utiliza ensembles de escadas p-variadas (onde $p$ é a dimensão de embedding) sem transpor a entrada.
  • Uma camada linear no final projeta a saída de volta para a dimensão alvo.
  • Crucialmente, a entrada para essas escadas é uma representação gated, não expandida ($\alpha=1$), evitando a explosão de parâmetros típica de FFNs padrão de Transformer que frequentemente usam um fator de expansão $\alpha \gg 1$.

3. Implementação Eficiente via Continuantes

Para abordar a ineficiência computacional das divisões repetidas, os autores derivam uma implementação personalizada baseada em continuantes (polinômios $K_k$).

• Passagem Forward: Em vez de calcular a fração camada por camada com $d$ divisões, a fração contínua é calculada como a razão de dois polinômios: $\tilde{f}(a) = K_{d-1} / K_d$. Isso requer calcular os polinômios recursivamente usando apenas multiplicações e adições, seguidos por uma única divisão ($1/K_d$).
• Passagem Backward: Os autores derivam expressões de forma fechada para os gradientes usando as propriedades dos continuantes. O gradiente $\frac{\partial \tilde{f}}{\partial a_k}$ é expresso como uma razão de continuantes ao quadrado.
• Otimização: Ao calcular $K_d$ uma vez e reutilizar $1/K_d$ para todos os cálculos de gradiente, o número de divisões é reduzido de $d$ para 1. Isso acelera significativamente tanto o treinamento quanto a inferência.

4. Cronograma de Treinamento Personalizado

Os autores propõem um cronograma de atualização de parâmetros diádico para estabilizar o treinamento. Em vez de atualizar todos os parâmetros simultaneamente:

• Componentes lineares são atualizados desde o início.
• Parâmetros em profundidades maiores são congelados inicialmente.
• Atualizações para parâmetros de profundidade $i$ começam apenas após $t/2^i$ iterações (onde $t$ é o total de iterações).
  Essa abordagem incremental previne instabilidade durante as fases iniciais do treinamento.

Contribuições Principais

1. Arquiteturas Novas: Introdução de componentes CoFrGeNet como substituições plug-in para camadas de Atenção e FFN em Transformers, oferecendo uma nova classe de função para modelagem generativa.
2. Formulação Eficiente de Gradientes: Derivação de fórmulas de gradiente personalizadas usando continuantes que reduzem o número de operações de divisão de $d$ para 1 por escada, melhorando drasticamente a eficiência de hardware.
3. Estabilidade de Treinamento: Desenvolvimento de um cronograma de treinamento diádico personalizado que estabiliza o treinamento de arquiteturas profundas de frações contínuas.
4. Validação Empírica: Pré-treinamento e avaliação em modelos de grande escala (GPT2-xl e Llama3) demonstrando desempenho competitivo com contagens de parâmetros reduzidas.

Resultados Experimentais

Configuração

• Modelos: Os experimentos foram conduzidos em GPT2-xl (1.5B) pré-treinado em OpenWebText e GneissWeb, e Llama3 (3.2B) pré-treinado na mistura de dados docling (2T tokens).
• Baselines: As comparações incluíram os Transformers originais, Dense Synthesizer e Atenção Esparsa.
• Variantes: CoFrGeNet-F (FFN substituído), CoFrGeNet-A (Atenção substituída) e CoFrGeNet (ambos substituídos).

Desempenho

• Tarefas Downstream (GLUE): Modelos CoFrGeNet, apesar de possuírem 2/3 a 1/2 dos parâmetros dos modelos originais, alcançaram acurácia competitiva ou superior em tarefas de classificação, Q&A e raciocínio. Por exemplo, o CoFrGeNet-F (985M) superou o GPT2-xl de 1.5B na maioria dos benchmarks GLUE.
• Perplexidade: Em benchmarks de modelagem de linguagem (PTB, Wikitext, Lambada), as variantes CoFrGeNet geralmente alcançaram perplexidade menor que os Transformers de baseline e outras baselines de atenção eficiente.
• Eficiência:
  • Tempo de Treinamento: A implementação baseada em continuantes reduziu significativamente o tempo de treinamento em comparação com uma implementação "literal" (CoFrGeNetB) que não usava continuantes. Para GPT2-xl, o tempo de treinamento caiu de ~203 horas (B) para ~178 horas (CoFrGeNet).
  • Tempo de Inferência: A velocidade de inferência melhorou em quase uma ordem de magnitude para a versão baseada em continuantes em comparação com a implementação literal.
  • Throughput: No Llama3, as variantes CoFrGeNet mostraram maior throughput de tokens/dia e tempo total de treinamento reduzido (por exemplo, CoFrGeNet-F treinado em 6,6 dias vs. 8,5 dias para a baseline).

Significado e Afirmações

O artigo afirma que os CoFrGeNets representam uma alternativa viável e eficiente em parâmetros aos componentes padrão de Transformer. Ao alavancar as propriedades matemáticas das frações contínuas e otimizar sua implementação via continuantes, os autores demonstram que:

• Modelos de linguagem de alto desempenho podem ser construídos com significativamente menos parâmetros.
• O gargalo computacional das operações de divisão em frações contínuas pode ser efetivamente mitigado, tornando a arquitetura prática para fluxos de trabalho industriais de grande escala.
• A abordagem é "plug-and-play", exigindo mudanças mínimas em pipelines de treinamento e inferência existentes.

Os autores concluem que este trabalho estabelece as bases para arquiteturas generativas inspiradas em frações contínuas, potencialmente democratizando a IA ao permitir que entidades com menos recursos pré-treinem modelos de alta qualidade. Eles observam, no entanto, que esses modelos não possuem inerentemente guardas de segurança e permanecem suscetíveis a alucinações e ataques adversariais, sugerindo que pesquisas futuras devem focar em abordar esses desafios dentro da forma funcional específica.