Resumo Técnico: Embeddings de Razão de Progresso para Controle Robusto de Comprimento

1. Declaração do Problema

Embora os modelos de linguagem neurais modernos (LMs) alcancem alta precisão na geração de texto, o controle preciso sobre o comprimento da geração permanece subdesenvolvido. Os Modelos de Linguagem de Grande Porte (LLMs) atuais dependem de critérios de parada estocásticos (amostragem do token <EOS>), o que oferece transparência e controle explícito limitados. Embora LLMs que seguem instruções possam expressar preferências de comprimento via prompting, essa abordagem é restrita a modelos muito grandes treinados em dados gerais extensivos.

Para Modelos de Linguagem Pequenos (SMLs) treinados em conjuntos de dados restritos e específicos de domínio, o controle de comprimento deve ser alcançado por meio de design arquitetônico. Métodos recentes, como Embeddings Posicionais Reversos (RPE), tentam abordar isso alimentando o decodificador com sinais de contagem regressiva discretos que representam a contagem de tokens restantes. No entanto, os autores demonstram que o RPE sofre de uma limitação crítica: ele depende de contagens discretas vinculadas à contagem absoluta de tokens restantes, levando a instabilidade e generalização pobre quando os comprimentos-alvo solicitados caem fora da distribuição de treinamento (comprimentos fora de distribuição).

2. Metodologia: Embeddings de Razão de Progresso (PRE)

Para superar as limitações dos sinais discretos, os autores introduzem os Embeddings de Razão de Progresso (PRE), uma estratégia de embedding contínua vinculada a um sinal trigonométrico de "impaciência".

Conceito Central

Diferentemente do RPE, que usa um índice discreto para tokens restantes, o PRE define uma razão de progresso contínua $r \in [0, 1]$, onde $r = t/l$ ($t$ é o passo atual, $l$ é o comprimento-alvo). Essa razão quantifica o avanço do processo de decodificação.

Sinal Trigonométrico de Impaciência

Os autores modelam o progresso da geração como um "sinal de impaciência" análogo a um ouvinte aguardando o fim de uma mensagem. Baseando-se no processamento de sinais digitais e no teorema de Nyquist–Shannon, eles projetam uma função de embedding $\xi(r)$ que codifica o progresso usando componentes sinusoidais com frequência crescente à medida que a razão se aproxima de 1.

O embedding é construído da seguinte forma:
$$\xi(r)_j = \begin{cases} \sin(\omega_r \cdot x_j) & \text{se } j \text{ é par} \\ \cos(\omega_r \cdot x_j) & \text{se } j \text{ é ímpar} \end{cases}$$
Onde:

• $\omega_r = r \times M$ é a pulsação (frequência), escalando linearmente com a razão de progresso $r$.
• $M$ é um hiperparâmetro (definido como $d_{model}/2$ na prática) que escala o aumento da frequência.
• $x_j$ é uma variável independente derivada do índice da dimensão.

Este design garante que o espaço de embedding seja contínuo e suave, permitindo que o modelo interpole entre razões vistas durante o treinamento e aquelas encontradas no momento da inferência.

Integração e Treinamento

• Arquitetura: O PRE é injetado nas entradas padrão do decodificador Transformer junto com embeddings de tokens e posicionais: $X_t = E_t + P_t + \xi(r_t)$.
• Objetivo de Treinamento: O modelo é ajustado finamente usando Estimativa de Máxima Verossimilhança (MLE) com uma perda padrão de entropia cruzada.
• Regularização: Para melhorar a generalização, ruído gaussiano é injetado na razão de progresso $r$ durante o treinamento ($r = \text{Clip}(r + \delta; 0, 1)$), expondo o modelo a um espectro contínuo de valores em vez de alvos discretos.
• Saturação: Uma vez que a sequência gerada atinge ou excede o comprimento-alvo, a razão é limitada em 1, fazendo com que o sinal de impaciência sature e desencoraje a geração adicional.

3. Contribuições Principais

O artigo apresenta três contribuições primárias:

1. Estratégia Novel: A proposta de Embeddings de Razão de Progresso (PRE), um mecanismo de controle de comprimento baseado em sinais contínuos de "impaciência" que modulam a decodificação de acordo com o progresso de conclusão.
2. Análise do RPE: Uma reprodução e adaptação do método de Embeddings Posicionais Reversos (RPE) em uma arquitetura clássica de codificador-decodificador, fornecendo uma análise detalhada de seus pontos fortes (eficaz dentro da distribuição de treinamento) e fraquezas (falha em generalizar para comprimentos fora de distribuição).
3. Validação Empírica: Demonstração de que o PRE generaliza o controle de comprimento para comprimentos-alvo não vistos sem degradar a qualidade do texto, validado em tarefas de sumarização e geração de perguntas.

4. Resultados Experimentais

Os autores avaliaram o PRE no modelo codificador-decodificador BART-L (400 milhões de parâmetros) em três conjuntos de dados: CNN/DailyMail, XSum (sumarização de notícias) e SQuAD (geração de perguntas).

Desempenho de Controle de Comprimento

• Erro Absoluto Médio (MAE): O PRE supera significativamente tanto a linha de base (sem controle) quanto o método RPE.
  • No CNN/DailyMail, o PRE alcançou um MAE de 0,5 ± 0,3, comparado a 1,6 para o RPE e 19,2 para a linha de base.
  • No XSum, o PRE alcançou um MAE de 0,1 ± 0,2, comparado a 0,7 para o RPE.
  • No SQuAD, o PRE alcançou um MAE de 0,0 ± 0,1, comparado a 0,8 para o RPE.
• Generalização Fora de Distribuição: Enquanto o desempenho do RPE degrada marcadamente quando os comprimentos-alvo excedem 300 tokens (com taxas de outliers subindo para >50% para comprimentos de 550-600), o PRE mantém controle robusto. Por exemplo, no intervalo de 550-600 tokens no CNN/DailyMail, o RPE teve uma taxa de outliers de 50,1%, enquanto o PRE teve apenas 5,4%.

Qualidade do Texto

• ROUGE e BERTScore: O PRE mantém ou melhora ligeiramente as métricas de qualidade do texto em comparação com as linhas de base.
  • No CNN/DailyMail, o PRE alcançou um ROUGE-1 de 45,3 e um BERTScore de 69,8, superando o RPE (44,5; 69,4) e a linha de base (44,2; 69,7).
  • No SQuAD, o PRE alcançou uma pontuação BLEU de 18,6, superando o RPE (16,4) e a linha de base (16,7).

5. Significado e Alegações

O artigo afirma que o PRE oferece um mecanismo robusto e invariante ao comprimento para controlar a geração em geração de texto neural. Seu significado primário reside em sua capacidade de:

• Generalizar Além do Treinamento: Diferentemente do RPE, que está vinculado à distribuição discreta de comprimentos de treinamento, a representação contínua do PRE permite que ele lide efetivamente com comprimentos-alvo arbitrários e não vistos.
• Manter Qualidade: Ele alcança controle preciso de comprimento sem sacrificar a relevância, a informatividade ou a fluência do texto gerado.
• Aplicabilidade: O método é demonstrado como eficaz tanto em tarefas de sumarização abstrativa quanto em geração de perguntas usando arquiteturas padrão de codificador-decodificador.

Os autores concluem que o PRE abre novas direções para controle fino sobre o processo de geração, permitindo sumarização mais progressiva e potencialmente melhorando a explicabilidade, enquanto observam que trabalhos futuros poderiam explorar sua aplicação em modelos apenas de decodificador e raciocínio de cadeia de pensamento.