Resumo Técnico: Quantificando o Desvio Não Determinístico em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para tarefas críticas, que variam desde sumarização até suporte à decisão. Uma expectativa fundamental nessas implantações é que prompts idênticos, quando executados sob configurações "determinísticas" fixas (por exemplo, temperatura definida como 0.0 e sementes fixas), devam gerar saídas idênticas. No entanto, evidências empíricas sugerem que isso nem sempre ocorre.

O artigo aborda o fenômeno do desvio comportamental de linha de base (baseline behavioural drift): a variabilidade observada quando o mesmo prompt é emitido múltiplas vezes sem instruções estabilizadoras ou intervenções ao nível do operador. Este desvio surge de duas fontes primárias:

1. Propriedades Intrínsecas do Modelo: Algoritmos de amostragem e escala do modelo.
2. Não Determinismo Induzido pela Infraestrutura: Infraestrutura de serviço, incluindo algoritmos de amostragem mal compilados, não associatividade de ponto flutuante e otimizações de API opacas (ex: processamento em lote dinâmico/dynamic batching, enfileiramento de requisições).

O problema central é a falta de uma quantificação sistemática e livre de operadores deste desvio. Sem uma linha de base medida, torna-se impossível distinguir entre a variabilidade inerente do modelo e os efeitos das estratégias de mitigação propostas.

Metodologia

Este estudo é um experimento focado em medição, desenhado para quantificar o desvio de linha de base sob condições normais e livres de operadores. Ele não introduz novas técnicas de estabilização ou métodos de engenharia de prompt.

Configuração Experimental

• Modelos Testados:
  • gpt‑4o‑mini: Um modelo menor servido via API proprietária de nuvem.
  • llama3.1‑8b: Um modelo de pesos abertos rodando localmente em uma única GPU NVIDIA A100 usando o motor vLLM.
• Categorias de Prompt: Cinco categorias distintas foram usadas para testar a sensibilidade:
  1. Resumos subespecificados
  2. Conselhos subespecificados
  3. Restrições leves
  4. Prompts de estilo
  5. Restrições rígidas
• Modos de Prompting:
  1. Repetições Exatas: Prompts idênticos executados múltiplas vezes.
  2. Inputs Perturbados: Sinônimos e pequenas mudanças lexicais introduzidas enquanto o significado é preservado.
  3. Reuso (Reuse): Respostas anteriores alimentadas de volta como entrada para o próximo prompt.
• Parâmetros: Os experimentos foram conduzidos em temperaturas de 0.0 e 0.7.
• Volume: Cada combinação de modelo/prompt foi executada 30 vezes (dataset gapfill) ou 20 vezes (pequena bateria). Execuções com erros de API ou recusas foram excluídas.

Métricas

O estudo baseia-se em métricas lexicais para fornecer um limite inferior conservador sobre o desvio, reconhecendo que métricas semânticas são necessárias para uma análise mais profunda, mas estas são reservadas para trabalhos futuros.

1. Fração de Saída Única (Unique Output Fraction): A razão entre respostas distintas e o total de execuções (aproximando a probabilidade de uma nova resposta em uma segunda chamada).
2. Similaridade de Jaccard Pareada Média: Computada em saídas tokenizadas para medir a sobreposição lexical.
3. Estatísticas de Contagem de Palavras: Média e desvio padrão da contagem de palavras entre as execuções.

Principais Resultados

Os experimentos revelaram que o não determinismo persiste mesmo sob configurações teoricamente projetadas para serem determinísticas (Temperatura 0.0).

• Variabilidade de Linha de Base na Temperatura 0.0:

  • gpt‑4o‑mini: Produziu saídas distintas em aproximadamente 24% das execuções (Fração Única = 0.24) com uma similaridade de Jaccard média de 0.89.
  • llama3.1‑8b: Produziu saídas distintas em aproximadamente 9% das execuções (Fração Única = 0.09) com uma similaridade de Jaccard média de 0.97.
  • Observação: O modelo servido via API exibiu aproximadamente 2,5 vezes mais variabilidade do que o modelo local de pesos abertos.

• Impacto de Perturbação e Reuso:

  • Inputs Perturbados: Aumentaram significativamente a variabilidade (gpt‑4o‑mini: 0.57; llama3.1‑8b: 0.27).
  • Modo de Reuso: Reduziu a variabilidade em comparação com repetições exatas (gpt‑4o‑mini: 0.20; llama3.1‑8b: 0.10).

• Impacto da Temperatura (0.7):

  • Elevar a temperatura para 0.7 resultou em diversidade quase completa. Quase toda execução gerou uma nova resposta (Fração Única $\approx$ 1.0), e a similaridade lexical caiu abaixo de 0.52 em todos os modos.

• Diferenças de Modelo e Implantação:

  • Modelos maiores e implantações servidas via API geralmente exibiram maior variância. O estudo sugere que parte do desvio em ambientes de API reflete a pilha de inferência (otimizações ocultas, batching) em vez dos pesos do modelo isoladamente.

Principais Contribuições

1. Quantificação Sistemática do Desvio de Linha de Base: O artigo fornece a primeira medição sistemática e multimodal do desvio comportamental de linha de base através de dois tipos distintos de implantação (API vs. local), cinco categorias de prompt e três modos de prompting.
2. Evidência de Não Determinismo Persistente: Demonstra que configurações "determinísticas" (Temperatura 0.0) não garantem reprodutibilidade. Os padrões de variabilidade diferem conforme o tamanho do modelo, método de implantação e modo de prompting.
3. Estrutura Conceitual via Orçamentos de Variância: O artigo contextualiza essas medições usando o conceito de um "orçamento de variância" (análogo a um orçamento de erro em engenharia de confiabilidade). Isso enquadra o desvio não como uma falha binária, mas como um problema de alocação de recursos onde as aplicações devem decidir níveis aceitáveis de variabilidade (ex: $\pm$5% para figuras financeiras).
4. Separação de Medição e Controle: O estudo distingue explicitamente a medição do desvio do controle do desvio. Ao estabelecer uma linha de base imparcial, evita-se a confusão entre o ruído de medição e a eficácia de futuras técnicas de estabilização.

Significância e Alegações

O artigo posiciona-se como um estudo descritivo e fundamental, em vez de uma solução prescritiva. Sua significância reside em:

• Estabelecer um Ponto de Referência: Fornece uma linha de base necessária contra a qual futuros estudos de mitigação (ex: engenharia de prompt, decodificação restrita) podem ser comparados. Sem essa linha de base, é impossível determinar se uma intervenção realmente reduz o desvio ou apenas o mascara.
• Destacar Efeitos de Infraestrutura: Os resultados sugerem que uma parte significativa do desvio observado em ambientes de produção provém da pilha de inferência (APIs, hardware, batching) e não do próprio modelo.
• Definir os Limites das Métricas Lexicais: Embora o estudo utilize métricas lexicais para interpretabilidade, ele reconhece explicitamente suas limitações (ex: sinalizar paráfrases inofensivas como desvio) e solicita a integração de métricas semânticas em trabalhos futuros.
• Implicações para Confiabilidade: Os achados implicam que confiar em uma única execução de um LLM pode obscurecer o desempenho de pior caso. Recomenda-se relatar múltiplas execuções para fornecer uma imagem completa do comportamento do modelo.

Os autores concluem que o não determinismo é uma característica inerente aos atuais LLMs, resultante tanto da escala quanto da infraestrutura. Compreender e quantificar este desvio é um pré-requisito para melhorar a confiabilidade de LLMs em sistemas multi-agentes e interações de longo horizonte.