More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs

Resumo Técnico: Mais Alinhados, Menos Diversos? Analisando a Gramática e o Léxico de Duas Gerações de LLMs

Enunciação do Problema
Enquanto os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais comparados a escritores humanos em dimensões linguísticas, métodos robustos para quantificar essas diferenças permanecem subdesenvolvidos. Especificamente, o impacto do ajuste por instruções e do Aprendizado por Reforço a partir de Feedback Humano (RLHF) na diversidade gramatical e lexical das saídas dos modelos não é bem compreendido. Pesquisas anteriores estabeleceram que modelos base diferem de textos humanos, mas não está claro como gerações mais recentes, ajustadas por instruções, se comparam tanto aos humanos quanto aos seus próprios predecessores. Este estudo aborda essa lacuna investigando se LLMs mais recentes, projetados para melhor alinhamento e coerência, sacrificaram a variedade sintática e lexical.

Metodologia
Os autores empregam um quadro linguístico formal em vez de métricas padrão baseadas em tarefas de PLN para garantir robustez e generalizabilidade.

• Quadro: O estudo utiliza a Gramática de Estrutura Frásica Orientada por Cabeça (HPSG) e a Gramática de Recursos em Inglês (ERG). Diferentemente de parsers estatísticos ou Dependências Universais, o ERG é um parser de diagrama determinístico e exaustivo projetado para fornecer estrutura para todas as sentenças bem formadas em inglês, permitindo a análise de fenômenos linguísticos raros e da parseabilidade.
• Conjuntos de Dados:
  • Texto Humano: Parágrafos de abertura do The New York Times (NYT) de dois períodos distintos: 2023 (utilizado em trabalhos anteriores) e 2025 (novamente coletado).
  • Texto de LLM: Duas gerações de modelos foram comparadas:
    • Geração Antiga (Pré-2023): Modelos base (LLaMA 7B/13B/30B/65B, Falcon 7B, Mistral 7B) treinados antes de outubro de 2023.
    • Geração Nova (2024): Modelos ajustados por instruções (Qwen 2.5, Mistral 7B v0.3, GPT-4o, LLaMA 3.3) treinados até 2024.
  • Protocolo de Geração: Para os dados humanos de 2025, os LLMs foram solicitados com manchetes do NYT e as primeiras três palavras do parágrafo de abertura para gerar leads sintéticos. Modelos ajustados por instruções exigiram prompts explícitos de sistema/usuário para simular a tarefa de conclusão.
• Métricas: A diversidade foi quantificada usando índices de teoria ecológica e da informação:
  • Índice de Shannon-Wiener ($H'$): Mede a riqueza e a uniformidade da distribuição.
  • Índice de Simpson ($D$): Mede a probabilidade de que dois tokens selecionados aleatoriamente pertençam a categorias diferentes.
  • Essas métricas foram aplicadas a tipos sintáticos (configurações de estrutura frásica) e tipos lexicais (representações complexas de HPSG de restrições de palavras, distintas do vocabulário superficial).

Principais Contribuições

1. Comparação Diacrônica: Diferentemente de trabalhos anteriores que comparavam uma única geração de LLMs com humanos, este estudo contrasta diretamente duas gerações de LLMs (base vs. ajustados por instruções) contra duas amostras temporais de escrita humana.
2. Análise Linguística Formal: O uso de HPSG/ERG fornece um método fundamentado linguisticamente e independente de teoria para analisar sintaxe e léxico, evitando vieses inerentes ao desempenho em tarefas de PLN ou a marcação grosseira de classes gramaticais.
3. Aplicação de Métricas de Diversidade: A aplicação dos índices de Shannon e Simpson a estruturas gramaticais oferece uma maneira sistemática de rastrear mudanças estilísticas entre gerações de modelos.

Resultados

• Estabilidade Humana: Textos de notícias em inglês de 2023 e 2025 mostraram estabilidade notável nas métricas de diversidade sintática e lexical, indicando um equilíbrio consistente de variedade no jornalismo profissional.
• Divergência de LLM:
  • Diversidade Sintática: Modelos ajustados por instruções mais recentes (2025) exibiram diversidade sintática significativamente reduzida em comparação com modelos base mais antigos (2023). Enquanto os modelos antigos estavam mais próximos da diversidade humana, os modelos mais recentes favoreceram construções envolvendo modificação e coordenação (por exemplo, frases nominais com modificadores), evitando detalhes específicos como nomes e datas.
  • Diversidade Lexical: O declínio foi ainda mais pronunciado na diversidade lexical. Surpreendentemente, LLMs mais antigos (2023) exibiram a maior diversidade lexical, superando tanto o texto humano quanto os modelos mais recentes. Modelos mais recentes (2025) mostraram a menor variedade lexical, dependendo de "básicos" tipos lexicais (adjetivos, substantivos comuns, verbos transitivos) e evitando referentes específicos.
  • Pontuação: Modelos mais recentes usaram pontuação com significativamente menos diversidade, gerando menos travessões, ponto e vírgulas e aspas em comparação com escritores humanos e modelos antigos.
• Parseabilidade e Comprimento:
  • Modelos mais recentes geraram sentenças mais longas (15–30% mais longas que o texto humano) em comparação com modelos antigos (que eram mais curtos que o texto humano).
  • Apesar do aumento no comprimento, as saídas de LLMs mais recentes foram mais fáceis de analisar (atingindo uma taxa de sucesso de aproximadamente 99%) e exigiram menos recursos computacionais do que o texto humano ou as saídas de LLMs antigos. Isso sugere que os modelos mais recentes produzem sentenças estruturalmente regulares e simplificadas que se alinham às partes mais previsíveis da gramática, enquanto o texto humano dispara fenômenos mais complexos e menos previsíveis.

Significado e Alegações
O artigo alega que, embora o ajuste por instruções melhore a coerência e a adesão aos prompts, ele tem o efeito colateral de estreitar o leque expressivo da saída do modelo. As descobertas sugerem uma compensação onde paradigmas de alinhamento sacrificam a variedade lexical e sintática pelo controle estilístico e segurança factual (evidenciado pela evitação de nomes/datas específicos e estruturas propensas a alucinações reduzidas).

Os autores concluem que modelos maiores e mais recentes não estão convergindo para o comportamento linguístico humano na escrita de notícias profissionais; ao contrário, estão divergindo, tornando-se mais formulaicos e menos diversos do que tanto humanos quanto modelos base anteriores. Isso destaca a necessidade de pesquisas futuras sobre como o ajuste por instruções afeta as capacidades linguísticas e se essas capacidades podem ser restauradas sem comprometer o alinhamento. O estudo tem escopo modesto focado em texto de notícias em inglês, observando que a metodologia é amplamente aplicável, mas atualmente limitada pela disponibilidade de gramáticas HPSG de ampla cobertura para outras línguas.