How Human-Like Are Large Language Models? A Register-Aware Linguistic Evaluation Framework

Resumo Técnico: Quão Semelhantes aos Humanos São os Modelos de Linguagem de Grande Escala? Um Framework de Avaliação Linguística Consciente de Registro

Declaração do Problema
Embora a pesquisa atual sobre Modelos de Linguagem de Grande Escala (LLMs) priorize fortemente a correção factual e benchmarks de desempenho em tarefas (por exemplo, MMLU, QA específica de domínio), a questão fundamental de quão de perto o texto gerado por LLMs se assemelha à linguagem humana em nível linguístico permanece subexplorada. De uma perspectiva de linguística de corpus, a produção de linguagem humana é inerentemente dependente de contexto; contextos comunicativos distintos (registros) dão origem a frequências específicas e padrões de co-ocorrência de características linguísticas. Um texto pode ser factualmente correto, mas linguisticamente "não natural", se falhar em aderir aos padrões do seu registro-alvo. Métodos de detecção existentes frequentemente dependem de embeddings de modelo (que não são interpretáveis por humanos) ou falham em medir adequadamente o alinhamento de registro, particularmente quando os modelos são condicionados a exemplos explícitos de registro em vez de inferir o registro a partir do contexto situacional.

Metodologia
Os autores propõem um framework de avaliação consciente de registro que avalia a semelhança com humanos como um problema de duas amostras entre a distribuição de características linguísticas de um corpus de referência humana e um corpus correspondente gerado por LLM.

1. Geração de Dados e Condicionamento Implícito de Registro:

   • Cinco registros distintos em inglês foram selecionados: Conversa falada (BNC2014Spoken), Escrita acadêmica (S2ORC_ACL), Texto instrutivo online (wikiHow), Escrita criativa (WritingPrompts) e Reportagem de notícias (XSum).
   • Corpos de referência humana foram coletados e metadados foram usados para construir prompts em linguagem natural.
   • Crucialmente, o framework emprega condicionamento de registro implícito: prompts descrevem o contexto situacional sem incluir exemplos de texto específicos de registro, forçando o modelo a inferir o estilo-alvo.
   • Sete modelos de código aberto ajustados para instruções (variando de 8B a 70B parâmetros, incluindo Llama 3, Qwen 3, Gemma 3 e Apertus) foram avaliados em configurações zero-shot e few-shot.

2. Extração de Características:

   • O framework utiliza as 67 características lexico-gramaticais e de discurso introduzidas por Biber (1988), um padrão em linguística de corpus para analisar variação entre registros.
   • Textos foram padronizados para um comprimento de 400 tokens lexicais para garantir comparabilidade.

3. Métrica de Distância (MMD):

   • A discrepância entre os corpora humano e sintético é quantificada usando a Divergência Máxima da Média (MMD) em um Espaço de Hilbert de Kernel Reprodutor (RKHS) com um kernel RBF.
   • O MMD mede a distância entre os embeddings médios de duas distribuições. Um valor de zero implica que as distribuições são idênticas.
   • Para estabelecer uma linha de base, os autores calculam o MMD entre duas subamostras disjuntas do corpus humano ($MMD_{humano-humano}$) para gerar um Intervalo de Confiança (IC) de 95%. Se a distância de um LLM exceder o limite superior deste IC, isso indica um desvio estatisticamente significativo dos padrões de linguagem humana.

Principais Contribuições

• Um Framework Consciente de Registro: Um método para avaliar a semelhança com humanos baseado na diferença distribucional de características linguísticas usando MMD, indo além de métricas específicas de tarefas.
• Implementação de Código Aberto: A liberação de código, configurações de geração e resultados usando as 67 características de Biber.
• Benchmark Abrangente: Uma análise comparativa de sete modelos em cinco registros, incluindo um estudo de ablação sobre estabilidade de prompt e efeitos de geração few-shot.

Resultados

• Desvio Universal: Em todas as configurações testadas, cada LLM produziu uma distribuição de características linguísticas que desviou significativamente da linha de base humana (excedendo o IC humano-humano).
• Dependência de Registro: A classificação dos modelos por "semelhança com humanos" não é consistente entre registros. Por exemplo, os modelos Qwen tiveram melhor desempenho em Conversa falada, Escrita criativa e Notícias, enquanto o Apertus 70B foi o mais próximo das linhas de base humanas para Escrita acadêmica e Texto instrutivo.
• Tamanho do Modelo vs. Desempenho: A semelhança com humanos não é ditada pelo tamanho do modelo. Modelos menores (por exemplo, Qwen 8B) frequentemente performaram tão bem ou melhor do que contrapartes maiores (por exemplo, Llama 70B), dependendo do registro.
• Vieses Linguísticos Específicos:
  • Modelos geralmente superutilizaram Cláusulas de Particípio Presente e Nominalizações em comparação com humanos.
  • Modelos tenderam a produzir palavras mais longas e usaram Adjetivos Atributivos com mais frequência.
  • Modelos mostraram variabilidade reduzida em características linguísticas em comparação com humanos em quatro de cinco registros.
• Estabilidade de Prompt: Embora os valores absolutos de distância variassem com a formulação do prompt, a classificação relativa dos modelos permaneceu consistente (correlação $\ge$ 0,985).
• Efeitos Few-Shot: Fornecer exemplos few-shot geralmente reduziu a distância para a distribuição humana, embora o efeito tenha sido menor e ocasionalmente prejudicial (por exemplo, para Llama 8B em Conversa falada).

Significado e Alegações
O artigo afirma que a semelhança com humanos é uma propriedade dependente de registro que deve ser avaliada com sensibilidade de registro. Agregar resultados entre registros obscurece diferenças sistemáticas; um modelo classificado como "mais semelhante a humanos" em um contexto pode não sê-lo em outro.

Os autores argumentam que seu framework fornece uma métrica transparente e interpretável (MMD em características interpretáveis por humanos) que pode ser otimizada em trabalhos futuros para melhorar a produção de linguagem de LLMs. Ao minimizar o MMD entre textos gerados e amostras representativas de registro, os modelos poderiam ser incentivados a produzir textos que sejam linguisticamente apropriados para seu propósito comunicativo e evitar o "colapso de modo" em distribuições estreitas de características. O estudo conclui que os LLMs atuais, independentemente de tamanho ou arquitetura, falham sistematicamente em replicar a variabilidade total e os padrões específicos de co-ocorrência da linguagem humana dentro de registros específicos.