Measuring Distribution Shift in User Prompts and Its Effects on LLM Performance

Título: Medindo a Mudança de Distribuição em Prompts de Usuário e Seus Efeitos no Desempenho de LLMs

Autores: Parker Seegmiller e Sarah Masud Preum (Dartmouth College)

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em ambientes dinâmicos do mundo real. No entanto, a distribuição dos prompts (comandos) enviados pelos usuários muda naturalmente ao longo do tempo, entre diferentes grupos de usuários e regiões geográficas. Este fenômeno, denominado mudança de distribuição natural de prompts (natural prompt distribution shift), representa um desafio crítico para a confiabilidade e segurança dos modelos.

Apesar do foco existente na robustez "fora de distribuição" (OOD - Out-of-Distribution) em tarefas específicas, há uma lacuna significativa na literatura sobre como medir essa mudança natural em prompts de usuários reais e qual é o seu impacto real no desempenho de modelos implantados. A premissa atual é que modelos ajustados (fine-tuned) em dados históricos podem falhar drasticamente quando a natureza dos prompts dos usuários evolui, levando à insatisfação do usuário e à degradação do serviço.

2. Metodologia: O Framework LENS

Os autores introduzem o framework LENS (LLM Evaluation under Natural prompt Shift), uma abordagem centrada em dados para quantificar essa mudança e avaliar seus efeitos.

• Fonte de Dados: O estudo utiliza o conjunto de dados WildChat, contendo 1 milhão de consultas reais de usuários a modelos da OpenAI, com metadados de timestamp, endereço IP (para geolocalização e identificação de usuários) e cabeçalhos de solicitação.
• Configuração Experimental:
  • Foram criados 192 cenários de deslocamento de prompts, divididos em três eixos:
    1. Tempo: Comparação entre dados de treinamento de meses anteriores e dados de avaliação de meses futuros (simulando o atraso na atualização do modelo).
    2. Grupos de Usuários: Agrupamento baseado em estágio de adoção (iniciantes vs. avançados) e volume de consultas (baixo vs. alto).
    3. Geografia: Diferenças regionais (ex: Califórnia, Paris, Tóquio).
  • Para cada cenário, definiram-se conjuntos de dados ID (In-Distribution - treinamento) e OOD (Out-of-Distribution - avaliação).
  • Um modelo "Oráculo" foi treinado especificamente nos dados OOD para servir como limite superior de desempenho (o que seria possível se o modelo fosse re-treinado com os novos dados).
• Modelos Avaliados: Três modelos base de tamanhos e famílias diferentes foram utilizados para garantir robustez: Llama3-8B, Qwen2.5-7B e Qwen2.5-14B.
• Métricas de Desempenho: O desempenho foi medido comparando as respostas do modelo ID (treinado em dados antigos) contra o modelo Oráculo (treinado em dados novos) usando o GPT-4o como juiz (LLM-as-a-Judge). A métrica principal foi a Taxa de Perda do Modelo ID (quantas vezes o modelo antigo perdeu para o oráculo).
• Medidas de Mudança de Distribuição: Para quantificar a mudança sem depender de rótulos de terreno, foram utilizadas quatro medidas não supervisionadas:
  • MAUVE: Mede a divergência entre distribuições de texto em espaço de embeddings.
  • $\Delta$-score: Avalia quão representativo um texto OOD é da distribuição ID.
  • Perplexidade: Mede o quão "surpreendente" é o novo dado para o modelo treinado no antigo.
  • BLEU: Mede a sobreposição de n-grams (padrões lexicais superficiais).

3. Principais Contribuições

1. Framework LENS: A primeira estrutura sistemática para medir e analisar a mudança natural de distribuição de prompts em escala real, cobrindo tempo, demografia e geografia.
2. Escala de Avaliação: Realização de uma avaliação em larga escala envolvendo 81 modelos treinados em 4,68 milhões de prompts de treinamento e avaliados em 57.600 prompts, cobrindo 192 cenários distintos.
3. Descoberta de Correlação: Estabelecimento de uma ligação direta e quantitativa entre a magnitude da mudança de distribuição de prompts e a degradação do desempenho do modelo.
4. Análise Qualitativa: Identificação de tendências específicas na evolução dos prompts (ex: prompts tornam-se mais estruturados e complexos ao longo do tempo; diferenças culturais e linguísticas entre regiões).

4. Resultados Chave

Os resultados revelam uma degradação severa e generalizada do desempenho quando os modelos enfrentam mudanças naturais de distribuição:

• Degradação Massiva de Desempenho: Mesmo mudanças moderadas nos prompts dos usuários resultaram em quedas drásticas de desempenho. A taxa de perda média foi de 73% em comparação com os modelos oráculo.
  • Tempo: Queda média de ~44% (o desempenho cai à medida que o atraso temporal entre treinamento e avaliação aumenta).
  • Grupos de Usuários: Queda média de 88%. Modelos treinados em usuários de baixo volume/perfil inicial falharam drasticamente ao interagir com usuários de alto volume/perfil avançado.
  • Geografia: Queda média de 88%. Diferenças geográficas causaram a maior mudança de distribuição (MAUVE médio de 0,05, indicando pouca sobreposição com a distribuição de treinamento).
• Falta de Transferência: A capacidade de seguir instruções aprendida em um conjunto de dados real não se transfere naturalmente para novos contextos dinâmicos. O pré-treinamento massivo não mitigou essa degradação.
• Correlação com Medidas de Deslocamento: Existe uma forte correlação entre a magnitude da mudança de distribuição (medida por MAUVE e $\Delta$-score) e a perda de desempenho. Regiões e grupos com maior divergência de prompts sofreram as maiores quedas.
• Padrões de Prompt:
  • Tempo: Os prompts evoluíram de interações casuais para instruções altamente estruturadas, com formatação específica e restrições complexas.
  • Grupos: Usuários de alto volume tendem a usar prompts "templados" e repetitivos (integração em fluxos de trabalho), enquanto usuários casuais são mais exploratórios.
  • Geografia: Diferenças culturais e uso de inglês como segunda língua (code-mixing) alteraram significativamente a estrutura dos prompts.

5. Significância e Conclusão

O estudo demonstra que a suposição de que modelos de LLM permanecem estáveis após o fine-tuning inicial é falsa em ambientes de produção dinâmicos. A evolução natural do comportamento dos usuários (quem usa, onde e quando) cria um descompasso crítico entre os dados de treinamento e a realidade de implantação.

Implicações Práticas:

• Monitoramento Contínuo: É imperativo implementar monitoramento baseado em dados para detectar mudanças na distribuição de prompts em tempo real.
• Atualização de Modelos: Estratégias de fine-tuning contínuo ou adaptativo são necessárias para manter a confiabilidade, especialmente para modelos especializados ou implantados em nichos específicos.
• Avaliação Realista: As métricas de avaliação de LLMs devem incorporar cenários de mudança de distribuição natural, não apenas benchmarks estáticos, para prever o desempenho no mundo real.

Em suma, o trabalho alerta que a robustez de um LLM não é uma propriedade estática, mas sim dinâmica e dependente da evolução contínua da interação humano-máquina.