Resumo Técnico: Modelos Ajustados por Instrução Reutilizam a Sintaxe Humana Localmente Mais do que os Humanos

Declaração do Problema

A convergência sintática — a tendência dos falantes de adaptarem suas construções gramaticais para corresponder às de seus interlocutores — é um fenômeno bem documentado no diálogo humano, operando tipicamente abaixo da consciência através de mecanismos de primagem estrutural (structural priming). Embora os Grandes Modelos de Linguagem (LLMs) sejam agora interlocutores rotineiros, permanece uma questão em aberto se eles exibem uma convergência sintática direcional análoga em relação aos usuários humanos frente aos basais humanos. Especificamente, não está claro se os LLMs reutilizam as regras de gramática livre de contexto (CFG) das turnos humanos precedentes mais do que os humanos, e como esse comportamento varia entre famílias de modelos, escalas de parâmetros e regimes de treinamento (pré-treinado vs. ajustado por instrução).

Metodologia

O estudo utiliza um paradigma de substituição baseado em dados de Blevins et al. [2026], onde turnos gerados por LLM substituem os turnos de um dos falantes em diálogos pré-existentes humano-humano do corpus DailyDialog. Esta configuração permite a comparação direta entre as saídas do modelo e as respostas humanas originais em posições conversacionais idênticas.

Dados e Modelos

• Corpus: 707 conversas díadas em inglês (restritas aos turnos 6–fim), resultando em 1.901 posições correspondentes por modelo.
• Modelos: Dezesseis modelos de pesos abertos de duas famílias (Llama-3.1/3.2 e Gemma-3), variando de 1B a 70B de parâmetros. Cada família inclui variantes tanto pré-treinadas (PT) quanto ajustadas por instrução (IT).
• Condições:
  1. HUMAN (HUMANO): Resposta humana original ($h_i$) para o estímulo humano ($p_i$).
  2. ACTUAL (ATUAL): Geração do modelo ($m_i$) para o estímulo humano ($p_i$).
  3. RANDOM (ALEATÓRIO): Geração do modelo ($m_i$) para um estímulo humano não relacionado ($\tilde{p}_i$) amostrado de uma conversa diferente.

Pipeline de Medição

• Anotação Sintática: As sentenças foram analisadas usando benepar para extrair regras de produção de Gramática Livre de Contexto (CFG). As regras elegíveis foram não-unárias e ocorreram mais de uma vez no corpus humano.
• Métricas:
  • Alinhamento Total de Saída Natural: Sobreposição de regras de CFG entre o alvo e o estímulo atual.
  • Incremento Atual-vs-Aleatório: A sobreposição adicional atribuível ao verdadeiro estímulo conversacional versus um não relacionado.
  • Propensão de Reuso Condicional: Odds de sobreposição ao manter constante o tamanho do conjunto de regras do alvo.
• Modelagem Estatística: Modelos lineares generalizados mistos (GLMMs) foram ajustados para cada modelo e agrupados entre pares de arquitetura. Interceptos aleatórios consideraram a variação entre posições e regras. As covariáveis incluíram frequência da regra e tamanho estrutural do estímulo.
• Análises Exploratórias: Similaridade de cosseno TF-IDF (lexical) e similaridade de cosseno de embedding de sentença L2-normalizada (semântica) foram calculadas para comparar a similaridade do modelo e do humano com o turno precedente.

Resultados Principais

1. Reuso Sintático Universal Acima do Baseline (RQ1)

Cada modelo (todos os 16) demonstrou maior sobreposição de regras de CFG com o turno humano precedente real do que com um estímulo não relacionado. O coeficiente atual-versus-aleatório variou de $\beta = 0,706$ a $1,453$($p \le 6,5 \times 10^{-31}$), confirmando que todos os modelos avaliados exibem convergência sintática direcional.

2. Alinhamento de Ajuste por Instrução vs. Baseline Humano (RQ2)

• Saída Natural: Todo modelo ajustado por instrução mostrou maior sobreposição total entre o atual e o estímulo do que a resposta humana correspondente ($\beta = 0,398$ a $0,796$). Os modelos pré-treinados foram mais próximos do baseline humano, com resultados mistos (quatro significativamente positivos, quatro indistinguíveis de zero).
• Pares de Arquitetura: Todos os oito pares de arquitetura correspondentes mostraram maior reuso total do atual-versus-estímulo sob ajuste por instrução em comparação com seus equivalentes pré-treinados.
• O Confundimento da "Estrutura": Ao decompor esses resultados, os modelos ajustados por instrução produziram respostas com mais estrutura sintática elegível (conjuntos de regras de alvo maiores), o que inerentemente oferece mais oportunidades de sobreposição.
  • Incremento Atual-vs-Aleatório: Modelos ajustados por instrução mostraram um incremento incremental menor do estímulo real comparado aos modelos pré-treinados ($\beta = -0,310$).
  • Reuso Condicional: Quando o tamanho do conjunto de regras do alvo foi mantido constante, a vantagem do ajuste por instrução inverteu-se. Os modelos pré-treinados exibiram uma tendência mais forte de reutilizar as regras disponíveis ($\beta = -0,505$ para IT vs. PT), enquanto os modelos ajustados por instrução mostraram menores odds de reuso condicional.

3. Perfis de Frequência (RQ3)

• Frequência de Regras: Para todos os modelos, o incremento atual-versus-aleatório foi maior para regras de baixa frequência.
• Perfis Divergentes: Humanos e modelos pré-treinados mostraram interações negativas com a frequência (primagem mais forte para regras raras). Os modelos ajustados por instrução mostraram interações de frequência mais variadas, com alguns exibindo interações positivas, sugerando um mecanismo diferente na forma como ponderam o reuso de regras com base na frequência.

4. Similaridade Lexical e Semântica (RQ4)

• Todos os dezesseis modelos foram mais lexicalmente e semanticamente similares ao turno precedente do que as respostas humanas correspondentes.
• Modelos ajustados por instrução produziram consistentemente respostas com maior similaridade semântica média do que seus equivalentes pré-treinados. Os resultados de similaridade lexical foram heterogêneos entre os pares de arquitetura.

Significância e Alegações

O artigo afirma fornecer a primeira medição de convergência sintática local direcional em diálogos humano-LLM através de um amplo inventário de construções e variantes de modelos.

• Mecanismo de Conververgência: Os achados sugerem que o ajuste por instrução otimiza os modelos para "responsividade" local, levando a um maior alinhamento total com o turno precedente. No entanto, isso é parcialmente impulsionado pela geração de respostas contendo mais estrutura sintática, em vez de um aumento puro na propensão de reutilizar regras específicas.
• Reconciliação com Estilometria: Os resultados reconciliam-se com o trabalho anterior (Blevins et al. [2026]) que mostra que modelos ajustados por instrução podem convergir menos em certas características estilométricas; o presente estudo sugere que isso pode refletir uma tendência de introduzir material novo enquanto ainda mantêm alto alinhamento estrutural através do aumento da complexidade do output.
• Implicações para Riscos de Alinhamento: O estudo operacionaliza um componente linguístico local relevante para a hipótese da "espiral de amplificação" (Augustin et al. [2026]), onde o alinhamento linguístico combinado com a geração hiperpersonalizada pode contribuir para a construção de crenças maladaptativas. Os dados confirmam que os LLMs, particularmente os ajustados por instrução, exibem uma acomodação sintática mensurável e forte aos usuários humanos.
• Insight Psicolinguístico: A presença de efeitos de primagem dependentes de frequência (mais fortes para regras raras) em todos os modelos, incluindo os pequenos pré-treinados, sugere que a sensibilidade ao ambiente sintático local é uma propriedade fundamental da previsão do próximo token, potencialmente análoga ao aprendizado implícito baseado em erro em humanos, embora o artigo note que esta analogia requer investigação mecanística adicional.

O estudo conclui que, embora os modelos ajustados por instrução se alinhem mais fortemente com a sintaxe humana em saídas naturais, esse alinhamento é complexo, envolvendo tanto o aumento da oportunidade estrutural quanto mecanismos distintos de ponderação de frequência em comparação tanto com humanos quanto com modelos pré-treinados.