Resumo Técnico: A Acomodação Funciona nos Dois Sentidos: Estudando a Convergência Linguística entre Humanos e Modelos de Linguagem

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) se tornam cada vez mais integrados à vida diária, uma questão aberta crítica permanece: como a presença deles molda o comportamento linguístico humano? Embora os LLMs possam produzir texto indistinguível da linguagem humana, não está claro como os interlocutores humanos adaptam sua fala ao conversar com eles em comparação com interações humano-humano. Especificamente, o artigo investiga o fenômeno da acomodação linguística — a tendência dos falantes de adaptar sua linguagem (fonologia, sintaxe, escolhas lexicais) para corresponder ao seu interlocutor. O estudo busca responder a três perguntas de pesquisa principais:

1. Os LLMs convergem para o estilo de seus usuários ao longo de conversas de múltiplas trocas?
2. Os usuários humanos convergem para o estilo de seu interlocutor LLM?
3. A acomodação humana de LLMs difere de sua acomodação de interlocutores humanos?

Trabalhos anteriores examinaram a convergência de modelo para modelo ou tarefas de substituição de turnos sintéticos, mas há uma falta de dados empíricos sobre a coordenação por turno de humanos e LLMs em configurações realistas de chatbot de múltiplas trocas em vários idiomas.

Metodologia

Os autores empregam uma métrica de convergência assimétrica para desvendar os comportamentos de acomodação de humanos e LLMs. O estudo utiliza o WildChat, um corpus de aproximadamente um milhão de conversas do mundo real entre usuários humanos e ChatGPT (GPT-3.5-Turbo e GPT-4), filtrado para conversas com 2 a 10 pares de trocas.

Dados

• Conjunto de Dados Primário: WildChat, amostrado em oito idiomas (inglês, francês, espanhol, português, italiano, russo, turco e chinês), totalizando até 5.000 conversas por idioma.
• Linhas de Base: Dois conjuntos de dados de diálogo humano-humano foram usados para comparação:
  • DailyDialog: Conversas do cotidiano.
  • Ubuntu Dialogue Corpus: Conversas de suporte técnico (representando uma linha de base orientada a tarefas semelhante a casos de uso comuns de LLMs).

Métricas

A convergência é medida usando a métrica definida por Danescu-Niculescu-Mizil e Lee (2011), que calcula a probabilidade de um falante usar uma característica dado que seu parceiro a usou, menos a taxa de base do falante. Dois tipos de características foram analisados:

1. Palavras Funcionais LIWC: Categorias do léxico Linguistic Inquiry and Word Count (por exemplo, pronomes, artigos, preposições, negações) que servem como marcadores inconscientes de acomodação.
2. Lemas NOUN: Os 100 lemas de substantivos mais frequentes por corpus (filtrados para sinônimos do WordNet sempre que possível) para medir o arrastamento lexical em palavras de classe aberta.

A análise foi conduzida separadamente para o LLM e o usuário humano em cada conversa para capturar a adaptação assimétrica.

Resultados Principais

1. Convergência Assimétrica

O estudo revela uma assimetria significativa na acomodação:

• LLMs Superconvergem: Os LLMs superconvergem significativamente para seus usuários em palavras funcionais e características de classe aberta (substantivos).
  • Palavras Funcionais: A convergência média LIWC para LLMs é aproximadamente o dobro da dos usuários (0,068 vs. 0,035 em inglês). O aumento relativo varia de 22% (preposições) a 164% (negação).
  • Substantivos: A convergência de substantivos dos LLMs é ainda mais pronunciada, com o ChatGPT alcançando uma pontuação média de 0,442 em comparação com 0,141 para os usuários. Isso indica que os LLMs são altamente sensíveis às escolhas lexicais dos usuários além das palavras funcionais.
• Estabilidade Humana: Os usuários humanos acomodam os LLMs em taxas amplamente consistentes com as linhas de base humano-humano.
  • A convergência média LIWC para humanos no WildChat (0,035) cai dentro da faixa observada no DailyDialog (0,036) e no Ubuntu (0,022–0,024).
  • A convergência de substantivos humanos no WildChat (0,141) é comparável ao DailyDialog (0,132) e ao Ubuntu (0,104).
  • Exceção: Humanos mostraram maior convergência em negação ao falar com LLMs (0,081), provavelmente impulsionada pela convergência extrema do LLM nessa característica específica.

2. Robustude Cross-Linguística

A assimetria mantém-se consistentemente em todos os oito idiomas examinados. Apesar das diferenças tipológicas e variações na cobertura dos dados de treinamento:

• As pontuações de convergência de LLMs consistentemente excedem as taxas dos usuários em 95% a 213% para características LIWC.
• A convergência de substantivos de LLMs excede as taxas dos usuários em 214% a 330% em todos os idiomas.
• O inglês, frequentemente o idioma mais bem documentado, cai no meio dessa faixa, sugerindo que a assimetria não é meramente uma função da qualidade do modelo em um idioma específico.

3. Dinâmicas Temporais

Uma análise por turno revela que as taxas de convergência não seguem uma tendência linear consistente ao longo de uma conversa.

• A maioria das flutuações aparece como ruído.
• Tendências lineares significativas (positivas ou negativas) são esporádicas e específicas do idioma (por exemplo, falantes e modelos russos aumentando a convergência, enquanto falantes portugueses divergem), em vez de uma tendência sistemática de qualquer parte acomodar mais ou menos ao longo do tempo.
• Isso contrasta com algumas descobertas anteriores sobre convergência progressiva, sugerindo que a coordenação local turno a turno permanece relativamente estável.

Significado e Afirmações

O artigo afirma que a acomodação no diálogo humano-LLM é fundamentalmente assimétrica. Enquanto os LLMs se ajustam dramaticamente aos estilos linguísticos de seus usuários, os humanos acomodam linguisticamente os LLMs não de forma diferente do que fariam com outra pessoa.

Os autores hipotetizam que essa estabilidade no comportamento humano deve-se à fluência dos LLMs modernos. Citando o consenso de que a acomodação linguística é um processo em grande parte inconsciente (Giles et al., 1991; Pickering e Garrod, 2004), o artigo sugere que, uma vez que uma IA produz linguagem suficientemente coerente, os mecanismos inconscientes de acomodação disparam como no diálogo humano-humano, independentemente da natureza do interlocutor. Essa descoberta contrasta com trabalhos anteriores (por exemplo, Bhatt e Rios, 2021), onde humanos acomodavam bots de forma diferente, uma discrepância que os autores atribuem às respostas incoerentes de sistemas de bots anteriores versus a coerência dos LLMs modernos.

O estudo conclui que, à medida que os LLMs se tornam mais integrados à comunicação cotidiana, entender essas respostas humanas subconscientes é crítico para antecipar os efeitos de longo prazo dos LLMs na linguagem natural, observando que o comportamento de "superacomodação" do modelo não necessariamente elicita uma superacomodação recíproca do humano.