Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models

Resumo Técnico: Cuidado com a Lacuna: Como Protocolos de Elicitação Moldam a Lacuna entre Preferências Declaradas e Reveladas em Modelos de Linguagem

1. Declaração do Problema

A literatura recente identificou uma lacuna de preferência declarada–revelada (SvR) em grandes modelos de linguagem (LLMs): uma discrepância entre os valores que os modelos endossam explicitamente em contextos abstratos e as escolhas que fazem em cenários contextualizados (Gu et al., 2025; Liu et al., 2025; Chiu et al., 2025). As avaliações existentes dessa lacuna dependem fortemente de prompting de escolha forçada binária. Essa metodologia colapsa a força da preferência, a indiferença e a incerteza em um único resultado binário, potencialmente confundindo preferências genuínas com artefatos do protocolo de elicitação (Khan et al., 2025; Balepur et al., 2025). O problema central abordado é se a correlação SvR medida reflete um alinhamento real do modelo ou é meramente um subproduto de forçar os modelos a fazerem escolhas decisivas quando podem possuir preferências indeterminadas.

2. Metodologia

Os autores avaliam sistematicamente como os protocolos de elicitação afetam a correlação SvR em 24 modelos de linguagem. O estudo baseia-se no framework LitmusValues e no conjunto de dados AIRiskDilemmas (Chiu et al., 2025), estendendo a metodologia para permitir explicitamente neutralidade e abstenção.

• Protocolos de Elicitação:
  • Escolha Forçada: Os modelos devem selecionar um de dois valores ou ações.
  • Escolha Expandida: Os modelos podem adicionalmente responder com "Preferência Igual" ou "Depende", permitindo a expressão de indiferença ou incerteza contextual.
• Configurações de Elicitação:
  • Preferências Declaradas: Elicitadas por meio de comparações de pares de valores abstratos (16 Valores Compartilhados de IA).
  • Preferências Reveladas: Elicitadas usando 3.000 dilemas morais contextualizados do AIRiskDilemmas.
• Construção de Classificação:
  • As classificações declaradas são derivadas das taxas de vitória em comparações binárias decisivas.
  • As classificações reveladas utilizam classificações Elo (convertidas para uma escala de 1–16) baseadas em vitórias/derrotas através dos dilemas.
  • Escolha Metodológica Crucial: Respostas neutras (Igual/Depende) são excluídas da construção da classificação para isolar prioridades direcionais estritas. Essa exclusão é necessária para criar classificações densas exigidas pela correlação de postos de Spearman, mas tem implicações significativas para os resultados.
• Intervenção: O estudo testa o direcionamento de prompt de sistema, onde a própria hierarquia de valores declarada do modelo (derivada da elicitação de escolha expandida) é pré-fixada ao prompt de sistema durante a elicitação de preferências reveladas para verificar se reduz a lacuna SvR.
• Métricas: A correlação SvR é medida usando a correlação de postos de Spearman ($\rho$) entre as classificações declaradas e reveladas de 1–16.

3. Resultados Principais

A. Taxas de Neutralidade são Altas e Variáveis
Sob elicitação de escolha expandida, as taxas de neutralidade (respostas de "Preferência Igual" ou "Depende") variam significativamente por família de modelo e modo de elicitação.

• Na elicitação de preferência declarada, a neutralidade varia de 48,2% a 100% (por exemplo, Qwen-3-8B seleciona predominantemente "Depende").
• Na elicitação de preferência revelada, alguns modelos (por exemplo, variantes de Mistral-3-8B) selecionam respostas neutras em quase todos os cenários, enquanto outros (por exemplo, Gemma-3-4B) selecionam "Preferência Igual" em ~70% dos casos.
• Isso indica que comparações binárias forçadas frequentemente mascaram incerteza ou indiferença subjacentes.

B. Impacto do Protocolo na Correlação SvR
O estudo avalia três configurações:

1. Forçado–Forçado (Linha de Base): Replicando Chiu et al. (2025), isso mostra uma variância substancial entre modelos na correlação SvR, indicando sensibilidade a padrões de decisão específicos do modelo.
2. Declarado Expandido / Revelado Forçado: Permitir neutralidade apenas nas preferências declaradas (filtrando comparações fracas) produz um aumento marcado na correlação SvR. Por exemplo, LLaMA-3.1-405B-Instruct melhora de $\rho \approx 0,2$ para $\rho \approx 0,7$. Sob esta condição, a correlação SvR está positivamente associada à capacidade do modelo (Índice de Capacidades de Época).
3. Expandido–Expandido: Permitir neutralidade em ambas as preferências declaradas e reveladas faz com que a correlação SvR caia para valores próximos de zero ou negativos para muitos modelos. Isso ocorre porque altas taxas de neutralidade nas preferências reveladas impedem a construção de uma classificação densa e estável; as escolhas binárias residuais fornecem um sinal muito fraco para comparação baseada em correlação.

C. O Direcionamento de Prompt de Sistema é Inconfiável
Aplicar direcionamento de prompt de sistema (injetando a hierarquia declarada do modelo na janela de contexto) durante a elicitação de preferências reveladas não melhora confiavelmente a correlação SvR no domínio de 16 valores.

• Os efeitos são inconsistentes: enquanto um pequeno subconjunto de modelos mostra melhoria modesta, muitos (incluindo a família Claude) exibem correlação reduzida após o direcionamento.
• Isso alinha-se com descobertas anteriores de que o direcionamento de prompt é mais eficaz para pequenos conjuntos de valores (por exemplo, 3 valores) do que para conjuntos maiores (Liu et al., 2025). Com 16 valores, o direcionamento frequentemente introduz interferência que degrada a consistência da decisão.

4. Contribuições Principais

• Sensibilidade ao Protocolo: Demonstra que a correlação SvR é altamente dependente do protocolo. A escolha de permitir ou não neutralidade altera fundamentalmente o alinhamento medido.
• Filtragem de Sinais Fracos: Mostra que permitir que os modelos expressem neutralidade em preferências declaradas filtra comparações indeterminadas, gerando classificações que correlacionam mais fortemente com o comportamento revelado de escolha forçada.
• Limitações do Direcionamento: Fornece evidências de que o direcionamento simples de prompt de sistema é insuficiente para superar a lacuna SvR em domínios de valores grandes (16 valores) e pode ser prejudicial.
• Neutralidade como Recurso: Destaca que altas taxas de neutralidade em preferências reveladas não são meramente ruído, mas indicam que muitos modelos carecem de uma ordenação total limpa sobre valores em cenários contextualizados.

5. Significado e Alegações

O artigo conclui que a correlação SvR não é uma propriedade intrínseca estável de um modelo, mas é fortemente moldada pelo protocolo de elicitação.

• Implicação Metodológica: A avaliação de preferências deve contabilizar explicitamente neutralidade e indeterminação em vez de forçar escolhas binárias que podem criar decisividade artificial.
• Implicação de Alinhamento: Superar a lacuna SvR provavelmente requer intervenções mais fortes do que o direcionamento de prompt de sistema com valores declarados, especialmente quando muitos valores estão em jogo.
• Interpretação da Neutralidade: As altas taxas de "Depende" e "Preferência Igual" em cenários revelados sugerem que muitos modelos não possuem uma hierarquia de valores rígida e independente do contexto, desafiando a suposição de um único "sistema de valores" estável que possa ser facilmente direcionado.

Os autores enfatizam que suas descobertas sugerem a necessidade de métodos de avaliação que não descartem a neutralidade, mas a modelem, pois forçar uma ordenação total sobre preferências indeterminadas pode produzir métricas enganosas de alinhamento.