Resumo Técnico: LingGen – Controle Linguístico Multiatributo Escalável via Mascaramento de Lei de Potência

Declaração do Problema

A Geração de Texto Controlada (CTG) visa produzir texto satisfazendo restrições especificadas pelo usuário, com aplicações em educação, acessibilidade e comunicação personalizada. Embora os métodos existentes controlem efetivamente propriedades grosseiras como sentimento ou tópico, eles têm dificuldade com o controle linguístico de grão fino, particularmente quando:

1. Os atributos alvo são valores reais (ex: contagens específicas de palavras, pontuações de complexidade sintática).
2. O número de atributos controlados varia no momento da inferência (de 1 a $k$).
3. O conjunto de atributos é grande (ex: 40 atributos), levando a interações e compensações (trade-offs) inevitáveis entre os atributos.

As abordagens atuais frequentemente sofrem com ineficiências ao lidar com múltiplos atributos simultaneamente, carecem de flexibilidade para se adaptar a novas configurações ou falham em manter a fluência do texto enquanto aderem a restrições estritas.

Metodologia

Os autores propõem o LingGen, um modelo de geração controlada projetado para controle de grão fino e escalável sobre um grande número de atributos linguísticos de valores reais. A arquitetura consiste em três componentes primários:

1. Codificador de Atributos e Injeção no BOS

O LingGen condiciona um modelo de linguagem base (LLM) em valores de atributos alvo usando um codificador de atributos dedicado.

• Codificação: Cada valor de atributo escalar é mapeado para um espaço de incorporação (embedding) de $d_{attr}$ dimensões via uma camada linear. Estes são combinados com embeddings de tipo de token aprendidos que identificam o atributo específico (ex: distinguindo "comprimento da sentença" de "sofisticação lexical").
• Integração: Um codificador transformer (2 camadas, 5 cabeças) processa esses embeddings, seguido de max-pooling para obter uma representação de tamanho fixo.
• Estratégia de Injeção: Crucialmente, a representação de atributo resultante é injetada apenas no embedding do token de Início de Sequência (BOS). Isso permite que os mecanismos de autoatenção propaguem a informação de condicionamento por toda a geração sem modificar cada embedding de token, evitando assim mudanças de distribuição que podem degradar a fluência.

2. P-MASKING: Mascaramento de Atributos Amostrado por Pareto

Para garantir que o modelo generalize para subconjuntos arbitrários de atributos (de 1 a 40) sem retreinamento, os autores introduzem o P-MASKING.

• Mecanismo: Durante o treinamento, os atributos são mascarados estocasticamente para cada amostra. A taxa de mascaramento ($\rho_{mask}$) é amostrada de uma distribuição de Pareto truncada (uma distribuição de lei de potência limitada).
• Lógica da Distribuição: A função de densidade de probabilidade é definida como $p(x) = \frac{b}{1 - 2^{-b}} \frac{1}{(x+1)^{b+1}}$ para $0 \le x \le 1$.
• Racional: Este esquema de amostragem concentra a massa de probabilidade em conjuntos de atributos quase completos (baixo mascaramento, ex: 0–30%) para ensinar o controle preciso de múltiplos atributos, enquanto mantém uma "cauda" de configurações esparsas (alto mascaramento) para garantir robustez quando apenas alguns atributos são fornecidos no teste. Isso evita as limitações de taxas de mascaramento fixas, que poderiam enviesar o modelo para tamanhos específicos de subconjuntos.

3. Objetivo de Treinamento

O modelo é treinado usando perda de entropia cruzada na sequência de tokens prevista, condicionada aos atributos de entrada. Os valores de atributo alvo são derivados de extratores linguísticos determinísticos aplicados a textos de referência, normalizados usando estatísticas do conjunto de treinamento. Esta abordagem alinha o objetivo de treinamento com a tarefa inerente de previsão do próximo token do modelo, reduzindo a discrepância entre as condições de treinamento e inferência.

Principais Contribuições

1. Modelo LingGen: Um modelo de CTG capaz de controle de grão fino sobre até 40 atributos linguísticos de valores reais (abrangendo contagens superficiais, estrutura sintática e complexidade psicolinguística) enquanto suporta tamanhos de subconjuntos variáveis (1–40) na inferência.
2. Estratégia P-MASKING: Um esquema de mascaramento de atributos amostrado por Pareto que melhora a robustez através de variados tamanhos de subconjuntos de atributos, exigindo apenas um hiperparâmetro ($b$) para ajuste.
3. Análise Empírica: Um benchmark abrangente contra baselines de ajuste fino (fine-tuning), controle em tempo de inferência e prompting, destacando as compensações entre precisão de controle, fluência e eficiência. O artigo também fornece uma análise de interações de atributos (sinergias e conflitos).

Resultados

Experimentos foram conduzidos em 6,8 milhões de amostras (360 milhões de tokens) através de 40 atributos linguísticos.

• Precisão de Controle (MSE): O LingGen alcançou o menor Erro Quadrático Médio médio (1,08) em vários contagens de atributos (1, 5, 10, 20, 40), superando baselines como Mix&Match (1,58), PTG (1,71) e MCTune (2,44 para Llama 2-7B). Demonstrou desempenho consistente independentemente do número de atributos controlados.
• Fluência: Em avaliações humanas, o LingGen recebeu a maior pontuação de fluência (4,60/5,0), superando baselines de ajuste fino como PTG (4,20) e BOLT (3,73). Manteve uma perplexidade competitiva (15,4) em comparação com o OPT-350M base (12,7).
• Eficiência: O LingGen é eficiente na inferência, igualando a velocidade do modelo base (25 ms/token) e superando significativamente métodos de controle em tempo de inferência como PPLM (1515 ms/token) e COLD (3846 ms/token).
• Estudos de Ablação:
  • P-MASKING: Superou as estratégias de nenhum mascaramento e de taxa fixa tanto em MSE quanto em perplexidade.
  • Injeção no BOS: A injeção de atributos no token BOS rendeu o melhor desempenho (36–65% menor MSE) em comparação com a adição de representações a todos os tokens, saídas ou logits, preservando a fluência.
• Interações de Atributos: O estudo identificou sinergias específicas (ex: controlar "Contagem de Sentenças" auxilia "Palavras por Sentença") e conflitos (ex: "Razão de Palavras Únicas" conflita com "Total de Palavras"), sugerindo que algumas combinações de atributos são inerentemente difíceis de satisfazer simultaneamente.

Significância e Alegações

O artigo alega que o LingGen representa um passo significativo em direção ao controle linguístico escalável. Ao combinar um codificador de atributos dedicado com injeção baseada em BOS e P-MASKING, o modelo alcança um equilíbrio superior entre precisão de controle, fluência e eficiência de inferência.

Os autores enfatizam que sua abordagem permite o controle robusto sobre subconjuntos de atributos de tamanho variável sem necessidade de retreinamento, abordando uma limitação chave nos métodos de CTG existentes que frequentemente lutam quando o número de restrições muda. O trabalho demonstra que o controle de grão fino sobre características linguísticas complexas de valores reais é alcançável sem sacrificar a naturalidade do texto gerado, tornando-o adequado para aplicações que exigem adaptação estilística precisa, como a geração de materiais acessíveis para indivíduos com afasia.

O artigo permanece modesto quanto ao seu escopo, observando que foca em um conjunto fixo de 40 atributos computados por extratores determinísticos e não suporta atualmente a generalização "poucos-para-muitos" para atributos não vistos sem a definição de novos extratores. Também reconhece que manter o controle sobre documentos longos (além de 100 tokens) apresenta desafios adicionais.