Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

Resumo Técnico: Calibragem de Incerteza Semântica a partir de Probabilidades Observáveis de Modelos de Linguagem

Declaração do Problema
Modelos de linguagem (LMs) geram distribuições de probabilidade condicional sobre palavras e frases, contudo, a tomada de decisão profissional em campos como finanças, medicina e direito exige a quantificação de incerteza sobre estados significativos e de valores finitos (ex: diagnósticos, condições de risco ou estados operacionais). Existe um descompasso crítico: a saída nativa de um LM é uma distribuição sobre respostas verbais, que é sensível à redação do prompt, à ordem e ao formato numérico. Em contraste, o posterior científico alvo sobre os estados deve ser invariante a rewordings (reformulações) equivalentes em termos de informação. As abordagens atuais frequentemente confundem confiança numérica impressa ou probabilidades de tokens com probabilidades de estado calibradas, falhando em considerar a instabilidade semântica onde frases sinônimas recebem probabilidades díspares ou onde a "fluência" do modelo mascara a incerteza. O artigo aborda o problema inverso: pode uma distribuição observável e dependente de prompt sobre respostas verbais ser mapeada para um posterior estável e calibrado sobre estados declarados?

Metodologia
O artigo propõe um mapa semântico, uma ponte estatística semiparamétrica que conecta a distribuição de linguagem condicional do LM ao posterior alvo sobre um espaço de estados finito. O framework trata o LM como um processo gerador de dados condicional (um núcleo de Markov) e separa o design estatístico em camadas distintas:

1. Experimento Estatístico Observável: O LM é modelado como uma lei de resposta condicional $Q_u(\cdot | c)$ sobre continuações verbais completas $\Omega$, dado um prompt $c$. O prompt é uma variável de design explícita controlada pelo avaliador.
2. Coarsening (Refinamento) Semântico: Um mapa mensurável pré-especificado $\phi_u$ agrupa continuações verbais sinônimas em estados semânticos $X$ (e uma categoria "não expressa" $\perp$). Isso induz uma medida de pushforward (composição lexical) $p_u$ sobre o espaço de estados.
3. Calibragem e Recuperação Inversa: O artigo formula a recuperação do posterior de referência $\pi^*(y)$ (derivado de um modelo probabilístico declarado e independente) a partir da composição lexical $p_u$ como um problema inverso. Utiliza coordenadas de log-razão aditiva (alr) para mapear vetores de probabilidade para o espaço euclidiano, permitindo a aplicação da teoria de problemas inversos.
4. Garantias Teóricas:
   • Existência e Unicidade: A composição lexical existe e é única condicionada ao mapa semântico fixo e à lei de linguagem.
   • Decomposição de Erro: Um teorema limita o erro do posterior decorrente de três fontes distintas: descompasso semântico (erro de agrupamento), erro de cálculo de probabilidade e massa não expressa (probabilidade fora da partição declarada).
   • Estabilidade: Limites teóricos caracterizam como perturbações na apresentação do prompt (redação, ordem) afetam a composição semântica, distinguindo entre variações de ruído e mudanças consequenciais.
   • Recuperação Inversa: Condições para uma recuperação estável do posterior são definidas via um módulo de observabilidade quantitativa (limite inferior para a separação de posteriors distintos no canal de linguagem).
   • Filtragem Sequencial: Um teorema de filtragem quantifica como erros de medição se propagam ou são atenuados durante atualizações Bayesianas sequenciais, distinguindo entre o erro de medição inicial e defeitos de recursão acumulados.

Contribuições Principais
A principal contribuição do artigo é a formalização do mapa semântico como um estimando estatístico testável, indo além da engenharia de prompt ad-hoc. Especificamente:

• Estimando Declarado: Define um alvo claro: recuperar um posterior de referência sobre estados finitos a partir de uma distribuição de linguagem observável, em vez de tratar a "crença" interna do LM como a verdade fundamental.
• Framework Semiparamétrico: Combina um modelo de linguagem irrestrito com um modelo de calibração de baixa dimensão, evitando a necessidade de modelar os parâmetros internos do LM enquanto contabiliza rigorosamente o mapeamento da linguagem para o estado.
• Decomposição de Incerteza: Fornece uma decomposição matemática das fontes de erro (semânticas, numéricas e de cobertura), permitindo que praticantes diagnostiquem se as falhas derivam de um agrupamento ruim, cálculo de probabilidade impreciso ou cobertura verbal insuficiente.
• Análise de Problema Inverso: Aplica a teoria de problemas inversos para estabelecer condições sob as quais o canal de linguagem é suficientemente informativo para permitir uma inversão estável, distinguindo entre observabilidade de design finito e identificação uniforme.
• Protocolo Empírico: Estabelece um protocolo inferencial rigoroso que separa a descoberta (agrupamento semântico, design de prompt) da confirmação (testes de hold-out, cobertura conformal), prevenindo o viés de antecipação (look-ahead bias) e a busca de especificação dependente de dados.

Resultados
A metodologia foi avaliada em dois cenários:

1. Texto de Mercado Profissional: Uma comparação entre probabilidades derivadas de linguagem (calculadas a partir de probabilidades de tokens de frases) e probabilidades elicitadas numericamente (onde o modelo é solicitado a imprimir um número).
   • Achado: As probabilidades derivadas de linguagem superaram significativamente as probabilidades elicitadas numericamente em precisão (McNemar $p=0.0243$) e regras de pontuação adequada (log-loss e Brier score). Isso sugere que forçar uma saída numérica distorce a informação semântica presente na distribuição de continuação.
2. Recuperação de Posterior Controlada: Uma simulação usando um gerador Bayesiano conhecido para fornecer posteriors de referência exatos, testada em dois modelos ajustados (GPT-4.1-mini e GPT-4o-mini).
   • Recuperação: Os estimas lexicais calibrados recuperaram os posteriors exatos de hold-out com baixa divergência de Jensen–Shannon (aprox. 0.039 e 0.037) e alcançaram 90% de cobertura conformal nominal (94% e 90%).
   • Estabilidade: Paráfrases comuns (reescritas que preservam a informação) resultaram em estimativas amplamente estáveis. No entanto, reordenar evidências ou omitir informações relevantes causou mudanças consequenciais, confirmando que a medição é sensível ao conjunto de informações, mas robusta a ruídos de redação.
   • Condicionamento Inverso: A análise de bootstrap confirmou que os mapas de calibração afins ajustados retiveram todas as direções de log-razão no design amostrado (valores singulares positivos), apoiando a observabilidade de design finito.
   • Entropia: A entropia bruta sobre palavras candidatas não foi correlacionada com a entropia do posterior, enquanto a entropia do posterior calibrado foi altamente correlacionada, demonstrando que a incerteza ao nível da palavra não equivale à incerteza ao nível do estado.

Significância e Alegações
O artigo alega que a incerteza do modelo de linguagem pode ser transformada de uma declaração de confiança não verificada em um estimador de posterior auditável sob condições explícitas e testáveis.

• Escopo Modesto: Os autores declaram explicitamente que o método não prova que o LM "sabe" a verdade ou possui crenças internas inacessíveis. O posterior alvo é condicional ao modelo gerador de evidência declarado e à partição semântica.
• Validação sobre Confiança: A contribuição é um framework de validação. Se o mapa semântico falhar (ex: baixa massa expressa, baixo condicionamento inverso ou falha na cobertura conformal), o resultado deve ser rejeitado ou reparado. Se tiver sucesso, o estimativo suporta procedimentos conscientes de incerteza, como abstenção, revisão humana ou atualização sequencial.
• Princípio Geral: O princípio do "mapa semântico" é apresentado como um template geral para auditar classificações e recomendações, garantindo que o significado relevante para a aplicação seja estável e não meramente uma função de engenharia de prompt.
• Limitações: Os resultados são condicionais ao modelo ajustado específico, à família de prompts e às definições de estado. Eles não estabelecem observabilidade uniforme sobre classes de funções irrestritas ou cobertura sequencial uniforme no tempo sem testes adicionais de nível de trajetória. O método não é um substituto para análise de decisão específica do domínio ou uma garantia de performance de trading em tempo real.

Em resumo, o artigo substitui a dependência da "engenharia de prompt" para estabilidade por um framework estatístico rigoroso que trata a linguagem como um canal de medição ruidoso, fornecendo as ferramentas para quantificar, limitar e validar a recuperação de probabilidades de estados significativos através desse canal.