Resumo Técnico: As Preferências Reveladas Podem Esclarecer o Alinhamento e a Direção de LLMs?

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) transitam de responder a perguntas para apoiar decisões de alto risco sob incerteza (por exemplo, diagnóstico médico), o alinhamento depende não apenas da precisão factual, mas de como os modelos ponderam implicitamente as compensações entre diferentes resultados. Os métodos de avaliação atuais frequentemente dependem de precisão estática ou avaliações heurísticas de viés, falhando em caracterizar rigorosamente as crenças e preferências subjacentes que impulsionam ações consequentes. Especificamente, permanece incerto se os LLMs se comportam como agentes coerentes orientados a objetivos, se seus objetivos declarados correspondem às suas políticas de decisão reais e se instruções explícitas do usuário (direção) podem alterar confiavelmente essas políticas.

Metodologia

Os autores propõem um pipeline empírico fundamentado na teoria da decisão e na análise de preferências reveladas para inferir os modelos de utilidade implícitos dos LLMs. O framework trata o LLM como um agente fazendo escolhas em um problema de decisão estatística e procede em três etapas:

1. Elaboração de Crenças e Ações:

   • Crenças: Para uma tarefa de decisão dada com contexto $x$, o modelo é instruído a relatar uma distribuição de probabilidade subjetiva $P^E(\theta | x)$ sobre o estado latente $\theta$ (por exemplo, a probabilidade de um paciente ter uma doença).
   • Ações: O modelo é instruído a tomar uma decisão $a \in \mathcal{A}$ (por exemplo, diagnosticar, não diagnosticar ou adiar) com base no mesmo contexto.
   • Auto-relatos: O modelo também é solicitado a descrever verbalmente a função de perda (custos de falsos positivos, falsos negativos e adiamento) que pretende utilizar, tanto globalmente quanto para casos específicos.

2. Estimativa da Função de Perda (Preferências Reveladas):

   • Utilizando as crenças elaboradas e as ações observadas, os autores ajustam um modelo de escolha discreta (especificamente um modelo logit multinomial) para recuperar os parâmetros da função de perda $\hat{c}$ que melhor racionalizam o comportamento observado.
   • A função de perda é parametrizada como $\ell_c(a, \theta) = c_{FP} \cdot I[a=1, \theta=0] + c_{FN} \cdot I[a=0, \theta=1] + c_{defer} \cdot I[a=defer]$.
   • A análise foca nas razões desses custos (por exemplo, $c_{FN}/c_{FP}$), que são identificadas mesmo que a escala absoluta não o seja.

3. Métricas de Avaliação:

   • Consistência (ILFC): A porcentagem de casos em que a decisão realizada pelo modelo corresponde à decisão ótima derivada da combinação de suas crenças elaboradas com a função de perda recuperada.
   • Veracidade: Uma comparação entre as razões de custo auto-relatadas pelo modelo e as estimativas de preferência revelada.
   • Análise de Direção: O pipeline testa se a instrução com funções de custo específicas ou probabilidades verdadeiras desloca as preferências implícitas do modelo em direção ao alvo.
   • Previsão Contrafactual: Os autores simulam um agente racional usando as crenças e preferências recuperadas para prever o benefício de intervenções (por exemplo, "Qual seria a redução de perda se corrigíssemos as crenças do modelo?"). Essas previsões são comparadas à redução de perda real realizada após a instrução.

Contribuições Principais

1. Um Framework para Inferir Utilidades Implícitas: O artigo introduz um procedimento estruturado para elicitar crenças e decisões separadamente, estimando então uma função de perda que racionaliza o comportamento, avançando além da precisão estática para o alinhamento baseado em teoria da decisão.
2. Teste Rigoroso de Consistência: Os autores fornecem um método para testar se os modelos se comportam como agentes coerentes orientados a objetivos, comparando decisões observadas contra a política ótima implicada por suas próprias crenças e preferências recuperadas.
3. Avaliação de Auto-relato e Direção: O framework testa se os modelos podem verbalizar fielmente seus objetivos e se a instrução pode direcionar com sucesso suas políticas de decisão para implementar funções de custo especificadas pelo usuário.
4. Decomposição Contrafactual: Os autores demonstram como as preferências reveladas podem prever a eficácia de intervenções, distinguindo entre mudanças impulsionadas por atualizações de crença versus deslocamentos de preferências.

Configuração Experimental e Resultados

O pipeline foi aplicado a quatro domínios de diagnóstico clínico (doença cardíaca estrutural, diabetes, febre pediátrica e choro de bebê) usando quatro modelos de ponta e de código aberto (GPT-5 Thinking High/Minimal, DeepSeek R1 671B, Llama-4 Scout 17B).

• Coerência Interna: Os modelos exibem um grau "substancial, mas imperfeito" de consistência interna. Quando as crenças e preferências recuperadas são combinadas, elas explicam uma grande parcela das decisões (por exemplo, até 99% de consistência para o GPT-5-High com probabilidades verdadeiras), significativamente melhor do que as preferências auto-relatadas.
• Relato Fiel: Os modelos lutam para descrever com precisão a função de perda que explica suas decisões. As razões de custo auto-relatadas frequentemente divergem significativamente das preferências reveladas (por exemplo, os modelos frequentemente exageram o custo de falsos negativos em relação aos falsos positivos em seus relatos verbais em comparação com suas escolhas reais).
• Direcionabilidade:
  • Instrução com Função de Custo: Especificar explicitamente razões de custo nas instruções move as preferências implícitas na direção correta em relação à linha de base, mas o movimento é heterogêneo. Os modelos frequentemente ficam aquém, ultrapassam ou, ocasionalmente, movem-se na direção errada.
  • Instrução com Probabilidade: Fornecer probabilidades verdadeiras não atualiza simplesmente as crenças mantendo as preferências fixas. Em vez disso, altera a função de custo implícita (preferências) do modelo, sugerindo que instruções direcionadas a um componente da tomada de decisão têm efeitos colaterais em outros.
• Validade Contrafactual: A decomposição de preferência revelada prevê com sucesso os benefícios da instrução com função de custo (alta correlação entre a redução de perda prevista e realizada). No entanto, ela falha em prever os benefícios da instrução probabilística, a menos que a mudança na função de custo implícita também seja contabilizada.

Significado e Alegações

O artigo alega que as preferências reveladas oferecem uma ferramenta mais precisa e rigorosa para avaliar a transparência e a direcionabilidade da tomada de decisão de LLMs do que os métodos heurísticos atuais.

• Limitações do Auto-relato: Os resultados sugerem que objetivos verbalizados são descrições pouco confiáveis de políticas de decisão operacionais. Confiar em auto-relatos para verificação de alinhamento é insuficiente.
• Desafios de Direção: Embora os modelos possam ser direcionados, eles não adotam fielmente objetivos especificados pelo usuário. A natureza de "caixa preta" de suas compensações internas significa que, mesmo com instruções explícitas, os modelos podem não implementar a função de custo desejada, e a instrução pode induzir deslocamentos não intencionais nas preferências.
• Utilidade do Framework: A metodologia proposta permite que pesquisadores atribuam erros de decisão a erros de crença factual ou preferências desalinhadas, fornecendo uma maneira estruturada de diagnosticar e potencialmente melhorar o alinhamento de IA em domínios de alto risco.

Os autores enfatizam que suas técnicas descrevem comportamento observável dentro de um framework de caixa preta e não afirmam revelar mecanismos internos, mas fornecem uma base para avançar de alegações informais sobre a busca de objetivos para fundamentação empiricamente testável.