Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

Resumo Técnico: A Robustez de Prompts é Dependente da Tarefa

Definição do Problema
As avaliações atuais de Grandes Modelos de Linguagem (LLMs), particularmente as avaliações de estilo de pesquisa utilizadas para inferir valores, crenças ou posicionamentos políticos de modelos, baseiam-se em uma premissa frágil: que um único prompt gera uma medida estável e significativa do comportamento do modelo. Pesquisas anteriores indicam que variações menores no formato do prompt, na redação e na apresentação das respostas podem alterar significativamente os outputs do modelo. Essa instabilidade é crítica para avaliações baseadas em pesquisas, onde as respostas são frequentemente interpretadas como evidência de uma atitude social intrínseca ou alinhamento político do modelo. Se a resposta de um modelo muda quando o significado da tarefa subjacente permanece constante, a avaliação confunde a habilidade da tarefa com a sensibilidade ao prompt. Este artigo investiga se essa sensibilidade se comporta de maneira diferente para questões objetivas (com respostas corretas fixas) versus questões subjetivas (que pedem opiniões ou valores).

Metodologia
O estudo emprega um framework unificado de teste de robustez através de duas categorias distintas de conjuntos de dados e quatro famílias de modelos ajustados por instrução (Gemma, Llama, Mistral e Qwen).

• Conjuntos de Dados:
  • Tipo-I (Objetivo): MMLU, ARC e CulturalBench-Easy. Estes consistem em questões de múltipla escolha com chaves de resposta fixas.
  • Tipo-II (Subjetivo): Political Compass Test, ValueBench e itens do World Values Survey (WVS). Estes consistem em declarações baseadas em opinião ou escalas de concordância sem uma única resposta "correta".
• Taxonomia de Perturbação: Os autores curaram um conjunto de variações de prompt projetadas para preservar a tarefa pretendida enquanto alteram características superficiais. Elas são categorizadas em:
  • Enquadramento Semântico (Semantic Framing): Parafraseamento, substituição lexical, ruído ortográfico e equivalência lógica.
  • Forma de Superfície (Surface Form): Variação de formato (espaçamento, caixa alta/baixa, separadores).
  • Apresentação de Resposta (Answer Presentation): Substituição de rótulos (alterar A/B/C/D para símbolos/números) e embaralhamento de opções (reordenação de escolhas).
• Protocolo Experimental:
  • Todos os modelos foram executados com decodificação determinística (temperatura 0) para isolar os efeitos do prompt do ruído de amostragem.
  • Os outputs foram normalizados para rótulos canônicos (A, B, C, D) para garantir a consistência entre diferentes formatos de prompt.
  • Métrica: A consistência de resposta ($C_i$) foi calculada como a razão entre a resposta mais frequente e o número total de variantes de prompt válidas para um determinado item.
  • Análise Estatística: Os autores utilizaram modelos de Equações de Estimativa Generalizada (GEE) binomiais para considerar a não-independência de itens que aparecem sob múltiplas variantes de prompt relacionadas. Eles testaram efeitos principais e interações para modelo, conjunto de dados, tipo de conjunto de dados e categoria de prompt.

Principais Resultados
A análise estatística revela que a robustez do prompt não é uma propriedade uniforme, mas é altamente dependente da interação entre o tipo de questão, a perturbação específica e o modelo.

1. Instabilidade Subjetiva vs. Objetiva: Conjuntos de dados subjetivos (Tipo-II) exibem uma consistência significativamente menor do que os conjuntos de dados objetivos (Tipo-I). A consistência média para conjuntos de dados objetivos é de 0,849, comparada a 0,787 para conjuntos de dados subjetivos. Essa lacuna é mais pronunciada sob perturbações de ordem de opções, onde a consistência subjetiva cai para 0,328 contra 0,485 para tarefas objetivas.
2. Sensibilidade à Perturbação: Nem todas as mudanças de prompt afetam os modelos igualmente.
   • Ordem de Opções: Esta é a fonte mais forte de instabilidade em todos os modelos e conjuntos de dados, reduzindo a consistência média para 0,407.
   • Perturbações Semânticas: Parafraseamento, equivalência lógica e substituição lexical são comparativamente estáveis, com pontuações de consistência geralmente superiores a 0,90.
   • Formato e Rótulos: Variação de formato e substituição de rótulos causam instabilidade moderada, particularmente em tarefas subjetivas.
3. Efeitos de Interação: Os modelos GEE confirmam interações significativas entre o tipo de conjunto de dados e a categoria de prompt ($\chi^2 = 175,435, p < 10^{-35}$). Isso indica que tarefas subjetivas não são apenas menos consistentes em média; elas são unicamente sensíveis a como as respostas são apresentadas (ex: ordem e rótulos) em comparação com tarefas objetivas.
4. Variância de Modelo: A robustez varia por modelo. Embora o Qwen geralmente demonstre maior estabilidade sob embaralhamento de opções do que outros modelos, todos os modelos mostram sensibilidade significativa a tipos específicos de perturbação. Nenhum modelo é robusto em todas as categorias de conjuntos de dados e categorias de perturbação.

Contribuições
O artigo apresenta três contribuições primárias:

1. Conjunto de Perturbação Curado: Sintetiza uma ampla taxonomia de perturbações de prompt de trabalhos anteriores sobre sensibilidade de prompt, formatação de múltipla escolha e viés de pesquisa, adaptando-as para uma avaliação unificada entre domínios objetivos e subjetivos.
2. Teste de Robustez Unificado: Fornece uma comparação direta da robustez de prompt entre conjuntos de dados objetivos e subjetivos, isolando o ruído geral de prompt da instabilidade específica de consultas baseadas em valores.
3. Evidência Estatística de Dependência de Tarefa: Usando testes estatísticos agrupados, o estudo demonstra que a sensibilidade ao prompt é uma função conjunta do modelo, do conjunto de dados, do tipo de conjunto de dados e da categoria de perturbação, em vez de um atributo estático do modelo.

Significância e Alegações
Os autores alegam que suas descobertas exigem uma mudança na forma como as avaliações de LLM, particularmente aquelas que inferem valores ou crenças, são conduzidas.

• Fragilidade de Pesquisas de Prompt Único: Uma resposta de prompt único a uma questão política ou de valor não deve ser tratada como uma medida estável das crenças de um modelo, a menos que sobreviva à variação do prompt.
• Interpretação da Instabilidade: Para tarefas subjetivas, a variação do prompt não é meramente ruído; ela revela a fragilidade do posicionamento medido. Um modelo pode usar a redação, a escolha de rótulos ou a ordem das opções como pistas para como responder, o que significa que a "crença" é construída pela estrutura do prompt, em vez de ser recuperada de um estado interno estável.
• Melhores Práticas de Avaliação: O artigo argumenta que a robustez deve ser relatada como uma relação entre modelo, conjunto de dados e categoria de perturbação, em vez de um único escore global. Pesquisadores devem separar perturbações semânticas de perturbações de superfície para identificar modos de falha específicos (ex: seguimento de instrução vs. viés de posição) e devem relatar a consistência através de variantes de prompt, em vez de depender de um único escore de precisão ou de pesquisa.

O estudo conclui que, para a avaliação de valores e crenças, a robustez à variação de prompt deve se tornar um componente padrão do design de avaliação, pois a dependência atual de prompts únicos gera inferências instáveis e potencialmente enganosas sobre o comportamento do modelo.