Resumo Técnico: Validação de Crenças Elicitadas de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, como diagnóstico médico, onde a tomada de decisão exige a formação de crenças probabilísticas sobre resultados desconhecidos. Embora pesquisadores possam solicitar a LLMs que emitam probabilidades verbalizadas (por exemplo, "a probabilidade da doença X é de 80%"), permanece incerto se essas emissões refletem crenças internas coerentes que realmente orientam as decisões do modelo. Um modelo pode verbalizar uma probabilidade desconectada de seu processo de tomada de decisão, potencialmente devido a artefatos de ajuste fino ou otimização de preferências que distorcem as probabilidades verbalizadas sem alterar a lógica subjacente de decisão. O trabalho existente foca na calibração (precisão das probabilidades reportadas), mas não aborda se as crenças reportadas são as estatísticas suficientes que governam as ações do modelo. O desafio central é validar, de maneira caixa-preta, se as crenças elicita das de um LLM são uma explicação significativa para suas decisões, sem fazer suposições fortes sobre a função de utilidade do modelo ou exigir acesso a representações internas.

Metodologia

Os autores propõem uma estrutura teórica de decisão para testar a consistência entre crenças elicita das e decisões observadas. A estrutura opera sob a suposição de um tomador de decisão "quase racional", formalizado como um maximizador de utilidade perturbado. Esta classe de agentes maximiza a utilidade esperada sujeita a um regularizador estritamente convexo (por exemplo, entropia), permitindo escolhas estocásticas e componentes de utilidade não observados, o que é mais geral do que a maximização estrita da utilidade esperada.

A estrutura baseia-se em duas condições empiricamente testáveis derivadas dessa formalização:

1. Independência Condicional (Suficiência da Crença):

   • Hipótese: Se as ações de um agente são impulsionadas exclusivamente por sua crença subjetiva $P_S(\theta|x)$, então condicionar nessa crença deve tornar a ação $A$ independente do resultado verdadeiro $\theta$. Formalmente, $A \perp \theta \mid P_S(\theta|x)$.
   • Teste: Os autores testam a hipótese nula $I(A; \theta \mid p) = 0$ usando um teste não paramétrico de Informação Mútua Condicional (CMI) baseado em k-Vizinhos Mais Próximos. Adicionalmente, eles medem a melhoria preditiva do resultado verdadeiro ao adicionar a ação $A$ a um modelo que já condiciona na crença elicita da $p$. Se a ação fornecer poder preditivo adicional significativo, a crença não é uma estatística suficiente.

2. Monotonicidade Cíclica (Crenças Orientadoras de Ação):

   • Hipótese: Para um maximizador de utilidade perturbado, o mapeamento de crenças elicita das para probabilidades de escolha deve ser ciclicamente monótono em relação ao índice de utilidade esperada. Em configurações de estado binário, isso implica que, à medida que a probabilidade elicita da de um estado positivo aumenta, a probabilidade de selecionar ações mais valiosas naquele estado deve aumentar monotonicamente.
   • Teste: Os autores agrupam as probabilidades elicita das e estimam as proporções de escolha dentro dos grupos. Eles formulam um programa linear de margem assinada (SignedLP) para encontrar um vetor de diferença de utilidade $d$ que satisfaça a monotonicidade estrita entre os grupos. Uma estatística positiva $\hat{\gamma}$ indica monotonicidade estrita; um valor negativo indica uma violação.

A estrutura é aplicada a quatro tarefas de diagnóstico médico (doença cardíaca estrutural, diabetes, febre pediátrica e choro de bebê) usando conjuntos de dados de registros do mundo real e redes bayesianas construídas por especialistas. O estudo avalia múltiplas famílias de LLMs (variantes do GPT-5, DeepSeek-R1, Llama-4) elicita ndo crenças e decisões em janelas de contexto separadas para evitar contaminação.

Principais Contribuições

• Estrutura Formal para Validação Caixa-Preta: O artigo introduz as primeiras condições formais, baseadas na teoria da decisão, para testar se as crenças elicita das de LLMs são coerentes com suas ações. Crucialmente, esses testes são agnósticos à função de utilidade do agente, dependendo apenas da estrutura da maximização de utilidade perturbada.
• Condições Necessárias e Suficientes: Os autores provam (Proposição 5) que a independência condicional e a monotonicidade cíclica são conjuntamente necessárias e suficientes para que uma distribuição observada de crenças e ações seja racionalizada por um maximizador de utilidade perturbado que mantém a crença elicita da como sua verdadeira probabilidade subjetiva.
• Protocolo de Validação Empírica: O estudo operacionaliza essas condições teóricas em testes estatísticos práticos (CMI e SignedLP) que podem ser aplicados a qualquer LLM caixa-preta.
• Distinção entre Tipos de Coerência: O trabalho distingue entre coerência teórica-decisória (crenças orientando ações) e coerência probabilística (aderência a axiomas como a Lei da Esperança Iterada), mostrando que são propriedades distintas.

Resultados

• Suficiência Imperfeita: Em todos os modelos e conjuntos de dados, o teste de Independência Condicional rejeita a hipótese nula. As crenças elicita das não são estatísticas suficientes; as ações dos modelos contêm informações residuais sobre o resultado verdadeiro que não são capturadas em suas probabilidades verbalizadas. Isso sugere que os modelos "sabem mais do que dizem" ou que suas informações relevantes para a decisão não são totalmente comunicadas na crença elicita da.
• Monotonicidade Mantém-se (Principalmente): O teste de Monotonicidade Cíclica mostra que, para a maioria das combinações modelo-conjunto de dados, a relação entre crenças elicita das e ações é monótona. Especificamente, 9 de 16 combinações mostraram monotonicidade estrita ($\hat{\gamma}$ positivo), e apenas uma (Febre–Llama) mostrou uma violação. Isso indica que, embora as crenças não sejam perfeitamente suficientes, elas geralmente movem as decisões na direção correta.
• Variância entre Modelo e Domínio:
  • Modelos Mais Fortes: Os modelos mais fortes (por exemplo, DeepSeek-R1, GPT-High) exibem as menores discrepâncias entre crenças e ações, sugerindo que estão observacionalmente mais próximos de agentes com crenças coerentes.
  • Efeitos de Domínio: O conjunto de dados de Diabetes mostrou a monotonicidade mais fraca, com nenhum modelo apresentando uma margem estritamente positiva.
• Calibração Não Corrige a Suficiência: A aplicação de calibração isotônica às crenças elicita das melhorou a calibração marginal, mas não restaurou a independência condicional, confirmando que a falha de suficiência é estrutural, não apenas um problema de calibração.
• Consistência Interna: Testes usando a Lei da Esperança Iterada (LIE) revelaram que a coerência probabilística (aderência aos axiomas de probabilidade) não se alinha necessariamente com a coerência teórica-decisória. Modelos que se saíram bem em testes de consistência decisória não necessariamente se saíram bem em testes de consistência probabilística.

Significado e Alegações

O artigo alega que as probabilidades elicita das de LLMs são resumos imperfeitos, mas comportamentalmente informativos, de informações relevantes para a decisão. Os autores argumentam que, embora os modelos não ajam como se mantivessem crenças perfeitamente coerentes (como evidenciado pela falha de suficiência), as discrepâncias são relativamente pequenas para os modelos mais avançados.

O significado deste trabalho reside em fornecer um método principiado e caixa-preta para validar se a confiança verbalizada de um LLM é uma explicação confiável para suas decisões. Isso é crítico para segurança e transparência em configurações de alto risco, como a medicina. Os autores enfatizam que seus testes não provam que um modelo "realmente" mantém uma crença em um sentido filosófico, mas sim que o modelo é observacionalmente indistinguível de um agente racional que mantém essa crença. Consequentemente, o artigo conclui que as crenças elicita das devem ser validadas empiricamente, em vez de serem assumidas como representações fiéis das crenças do modelo, oferecendo uma ferramenta de diagnóstico para desenvolvedores entenderem modos de falha (por exemplo, distinguir entre excesso de confiança e problemas de percepção de custo em agentes médicos).