Semantic Variability of Replies Across LLMs: Implications for Designing Conversation-Based Assessment

Resumo Técnico: Variabilidade Semântica de Respostas Geradas por LLMs entre Diferentes LLMs

Declaração do Problema
A integração de Modelos de Linguagem de Grande Escala (LLMs) em avaliações baseadas em conversação introduz uma tensão fundamental entre adaptabilidade e padronização. Embora os LLMs permitam interações naturais e dinâmicas, necessárias para medir habilidades complexas como comunicação e colaboração, sua natureza generativa cria variabilidade. Diferentes aprendizes podem experienciar caminhos de interação divergentes, e entradas idênticas de aprendizes podem resultar em respostas semanticamente distintas dependendo do modelo LLM específico, da configuração do prompt, do ambiente de implantação ou do histórico de chat anterior.

O desafio central de medição não é a existência da variabilidade em si, mas se essa variabilidade permanece dentro de limites aceitáveis para preservar a validade, a confiabilidade e a equidade da avaliação. Se não controlada, a inconsistência semântica entre versões de modelos ou contextos conversacionais pode introduzir variância irrelevante ao construto, ameaçando a comparabilidade das condições de avaliação ao longo do tempo, especialmente dada a rápida evolução e a aposentadoria frequente de LLMs.

Metodologia
Este estudo examinou empiricamente a variabilidade semântica de respostas geradas por LLMs através de diferentes modelos e condições de contexto conversacional, utilizando dados de tarefas reais de resolução de problemas colaborativos diádicos.

• Fonte de Dados: O estudo utilizou 61 "mensagens focais" selecionadas de 99 equipes de participantes humanos engajados em tarefas científicas online. Essas mensagens foram escolhidas da fase final das conversas, onde as respostas humanas foram codificadas como altamente relevantes, garantindo um contexto prévio rico e respostas interpretáveis.
• Condições Experimentais: Quatro LLMs foram avaliados: GPT-4o mini, GPT-5.4, GPT-5.4 mini e GPT-5.4 nano. Cada modelo foi testado sob duas condições de prompting:
  1. Sem Histórico: O prompt continha apenas a instrução do sistema e a mensagem focal.
  2. Com Histórico: O prompt incluía a instrução do sistema, a mensagem focal e todos os turnos conversacionais precedentes.
• Protocolo de Geração: Para cada mensagem focal e condição, cada LLM gerou 100 respostas independentes. A temperatura foi definida em 0,7 onde suportado (especificamente para o GPT-4o mini) para simular a variabilidade natural de resposta.
• Métricas de Similaridade Semântica: A similaridade semântica foi quantificada usando a similaridade de cosseno de embeddings de texto gerados pelo modelo text-embedding-3-large da OpenAI. O estudo analisou:
  • Similaridade Intra-Modelo: A similaridade média par a par entre as 100 respostas geradas por um único modelo.
  • Similaridade Inter-Modelo: A similaridade média entre respostas geradas por diferentes modelos.
  • Alinhamento Humano: A similaridade entre as respostas do LLM e as respostas humanas originais.
  • Sensibilidade ao Contexto: A similaridade entre as respostas geradas com e sem histórico de chat para a mesma mensagem focal.
• Análise Estatística: Modelos lineares de efeitos mistos foram ajustados para estimar os efeitos do tipo de LLM e da condição de histórico de chat sobre dois resultados: a similaridade média de pares (consistência semântica) e o desvio padrão da similaridade de pares (variabilidade semântica).

Principais Resultados

• Dependência do Modelo: A consistência da resposta é fortemente influenciada pela arquitetura e linhagem do modelo. Respostas geradas pelo mesmo LLM foram consistentemente mais similares entre si (similaridade intra-LLM variando de 0,715 a 0,795) do que com respostas geradas por diferentes LLMs (similaridade inter-LLM variando de 0,443 a 0,604). Modelos dentro da mesma família (ex: variantes do GPT-5.4) mostraram maior similaridade inter-modelo do que modelos de diferentes gerações (ex: GPT-4o mini vs. GPT-5.4).
• Impacto do Histórico de Chat: Incluir o histórico conversacional não aumentou universalmente a similaridade das respostas.
  • Na condição Sem Histórico, houve uma forte correlação positiva entre a similaridade semântica das mensagens focais e a similaridade das respostas geradas, indicando que as respostas estavam ancoradas na entrada imediata.
  • Na condição Com Histórico, essa correlação enfraqueceu, sugerindo que o histórico de chat introduziu informações contextuais que tornaram as respostas menos dependentes apenas da mensagem focal.
  • Estatisticamente, a condição "Com Histórico" geralmente aumentou a variabilidade (desvio padrão) das respostas para o modelo de referência (GPT-4o mini). Embora os termos de interação para o GPT-5.4 e GPT-5.4 mini tenham sido positivos e significativos (indicando que foram menos negativamente afetados pelo histórico do que o modelo de referência), o GPT-5.4 mini mostrou um coeficiente de efeito principal negativo (-0,0014, p=0,924) e uma interação positiva significativa (0,0505, p=0,017), sugerindo que sua resposta à inclusão de histórico difere do modelo de referência, mas não implica uniformemente uma maior similaridade média em todas as condições.
• Alinhamento Humano: As respostas geradas por LLM foram consistentemente menos similares às respostas humanas do que eram entre si dentro do mesmo modelo. Embora a inclusão do histórico de chat tenha melhorado ligeiramente o alinhamento com as respostas humanas, a lacuna permaneceu significativa.
• Variabilidade de Inter-Histórico: A similaridade semântica entre respostas geradas com histórico versus aquelas geradas sem histórico foi moderada (mediana ~0,40–0,45), indicando que adicionar contexto altera significativamente o conteúdo semântico do output.
• Variação por Modelo: O GPT-5.4 apresentou significativamente maior variação na similaridade de pares em comparação ao modelo de referência (GPT-4o mini), enquanto o GPT-5.4 nano apresentou significativamente menor variação.

Significância e Alegações
O artigo conclui que estratégias de prompting e contexto conversacional sozinhas são insuficientes para garantir respostas semanticamente consistentes quando o LLM subjacente muda. Os achados destacam que a escolha do modelo é uma variável crítica no design de avaliação.

O autor argumenta que, à medida que os LLMs continuam a evoluir através de atualizações e novos lançamentos, manter condições de avaliação estáveis torna-se um desafio de infraestrutura em vez de meramente um problema de engenharia de prompt. Para preservar a validade e a equidade das avaliações baseadas em conversação, os sistemas requerem mecanismos adicionais — como regras simbólicas, templates de resposta ou camadas de validação — para monitorar, testar e controlar o comportamento da resposta através das transições de modelos. Essas estratégias são essenciais para prevenir a variância irrelevante ao construto e garantir que as condições de avaliação permaneçam comparáveis ao longo do tempo.