QSTN: A Modular Framework for Robust Questionnaire Inference with Large Language Models

Título: QSTN: Uma Estrutura Modular para Inferência Robusta de Questionários com Grandes Modelos de Linguagem (LLMs)

1. O Problema

O uso de prompts no formato de questionários tornou-se uma prática padrão para avaliar, sondar e utilizar Grandes Modelos de Linguagem (LLMs) em tarefas como compreensão de linguagem, raciocínio matemático e análise de valores (vieses políticos, traços de personalidade). No entanto, a literatura recente aponta preocupações críticas sobre a robustez das respostas geradas por LLMs:

• Sensibilidade a Perturbações: As respostas variam drasticamente com pequenas mudanças na formatação do prompt, ordem das questões ou opções de resposta (viés de posição, viés de recência).
• Inconsistência: Respostas de múltipla escolha fechada podem divergir fortemente de respostas abertas.
• Falta de Padronização: A ausência de um framework unificado dificulta a reprodução de experimentos e a comparação justa entre diferentes configurações de inferência.
• Custo Computacional: Métodos de inferência ineficientes aumentam o custo e o tempo de processamento em grandes escalas.

2. Metodologia: O Framework QSTN

Os autores apresentam o QSTN (pronunciado "Question"), um framework de código aberto em Python projetado para sistematizar a geração de respostas a questionários via LLMs. A abordagem central é a modularidade, permitindo que pesquisadores variem controladamente cada etapa do pipeline de inferência.

Componentes Principais do QSTN:

1. Apresentação do Questionário: O framework suporta três modos distintos de interação:
   • Sequencial: Cada pergunta é feita em chamadas de chat separadas, mantendo o contexto.
   • Bateria (Battery): Todas as perguntas são enviadas em um único prompt, exigindo uma resposta única para todas.
   • Item Único (Single-item): Cada pergunta é feita em um novo contexto, sem memória das perguntas anteriores.
2. Perturbação de Prompt (Prompt Perturbation): Para testar a robustez, o QSTN automatiza a variação de:
   • Ordem das Questões e Opções: Randomização ou inversão da ordem para mitigar vieses de posição.
   • Transformação de Escalas: Alteração entre escalas ímpares e pares (adicionando/removendo categorias neutras).
   • Erros Tipográficos e Semânticos: Introdução de erros de digitação (troca de teclas, troca de letras) e substituição por sinônimos ou paráfrases, mantendo o significado original.
3. Métodos de Geração de Resposta: Técnicas para elicitar respostas fechadas:
   • Baseadas em Probabilidade de Token: Extração de probabilidades dos tokens de saída.
   • Geração Restrita: Forçar o modelo a escolher apenas entre opções válidas (via instruções de formatação ou restrições de vocabulário/JSON).
   • Geração Aberta: Gerar texto livre e classificá-lo em uma segunda etapa (usando outro LLM como juiz).
   • Distribuição Verbalizada: O modelo gera uma distribuição de probabilidades para todas as opções.
4. Interface de Usuário (No-Code): Oferece uma interface gráfica (GUI) para pesquisadores sem conhecimento de programação configurarem experimentos robustos.

3. Contribuições Principais

• Framework Modular e Reprodutível: O QSTN permite a troca fácil de componentes (apresentação, perturbação, geração), facilitando a análise de sensibilidade e a reprodutibilidade de pesquisas baseadas em LLMs.
• Escala Massiva de Avaliação: Os autores realizaram uma avaliação empírica abrangente com mais de 40 milhões de respostas de pesquisa, cobrindo múltiplos modelos (Llama 3, Qwen, Gemma, Phi, Gemini) e datasets (ANES, GLES, ATP).
• Interface Sem Código: Democratiza o uso de inferência robusta de LLMs para cientistas sociais e pesquisadores que não são especialistas em programação.
• Análise de Custo-Benefício: Demonstra como a escolha do método de apresentação e geração impacta não apenas a qualidade, mas também o custo computacional (tokens e tempo de GPU).

4. Resultados Chave

A avaliação empírica revelou descobertas significativas sobre a confiabilidade dos LLMs em simulações de pesquisa:

• Impacto da Apresentação do Questionário:
  • A forma como o questionário é apresentado afeta drasticamente o alinhamento com respostas humanas reais.
  • A apresentação em Bateria (Battery) geralmente oferece o melhor alinhamento distribucional (medido pela Distância de Wasserstein) para modelos grandes, com uma melhoria de aproximadamente 8% em comparação ao modo "Item Único".
  • O modo Bateria também é mais eficiente, reduzindo o tempo de inferência e o uso de tokens em comparação a chamadas sequenciais (ex: 1 chamada vs. 16 chamadas para o mesmo conjunto de dados).
• Robustez a Perturbações:
  • LLMs exibem vieses significativos. Por exemplo, a frequência de seleção de uma opção aumenta mais de 20 vezes quando ela é movida para o final da lista (viés de recência).
  • Modelos maiores (ex: Llama-3.3-70B, Gemini-1.5-Pro) são mais robustos a perturbações do que modelos menores, mas nenhum é imune.
  • Perturbações como inverter a ordem das opções ou introduzir erros de digitação têm um impacto negativo maior na robustez do que simples trocas de caracteres.
• Métodos de Geração de Resposta:
  • O método de Distribuição Verbalizada (onde o modelo gera uma distribuição de probabilidades) mostrou melhorias significativas no alinhamento com dados humanos em comparação a métodos baseados apenas na probabilidade do primeiro token.
  • Métodos de Geração Restrita (forçando a escolha de uma opção específica) são recomendados para respostas fechadas, pois oferecem melhor alinhamento e maior eficiência computacional do que a geração aberta seguida de classificação.
  • Métodos baseados puramente em probabilidade de token geram respostas desalinhadas e não devem ser usados isoladamente.

5. Significância e Conclusão

O QSTN representa um avanço crucial para a pesquisa de ciências sociais computacionais e avaliação de LLMs. Ao fornecer ferramentas para controlar e variar sistematicamente os parâmetros de inferência, o framework permite:

1. Melhorar a Confiabilidade: Identificar e mitigar vieses artificiais introduzidos pela configuração do prompt.
2. Reduzir Custos: Otimizar o uso de recursos computacionais através da escolha inteligente do modo de apresentação (ex: Bateria).
3. Padronizar a Pesquisa: Estabelecer um padrão ouro para a criação de dados sintéticos e simulações de pesquisa, aumentando a reprodutibilidade científica.

Os autores concluem que a escolha do método de geração de resposta e a configuração do prompt não são detalhes triviais, mas fatores determinantes para a validade de estudos que utilizam LLMs como substitutos de amostras humanas. O QSTN é disponibilizado como software de código aberto (MIT License) para fomentar a adoção desses métodos robustos na comunidade.