Resumo Técnico: Regras de Pontuação Adequadas para Quantificação de Incerteza em Agentes

Declaração do Problema

Agentes de modelos de linguagem operam cada vez mais através de trajetórias estendidas envolvendo observação, raciocínio, uso de ferramentas e revisão de planos. Nessas configurações, a incerteza não é meramente uma propriedade da resposta final, mas um sinal dinâmico que evolui com o histórico de interação. Embora trabalhos recentes tenham migrado para a geração de sinais de incerteza ao nível da trajetória (por exemplo, calibração passo a passo, incerteza propagada), a avaliação desses sinais permanece falha.

Métricas de avaliação existentes, como AUROC, AUPRC, Erro de Calibração Esperado de Trajetória (T-ECE) e escores de Brier de trajetória escalarizados, confundem a utilidade de classificação com a veracidade probabilística.

• Métricas baseadas em classificação (AUROC/AUPRC) medem a discriminação, mas são invariantes a transformações monótonas de probabilidades, falhando em distinguir entre probabilidades bem calibradas e distorções excessivamente confiantes ou pouco confiantes.
• Métricas de calibração (T-ECE) medem a calibração marginal por binos, mas são "cegas à resolução", recompensando previsões que estão corretas em média dentro dos bines, mesmo que careçam de poder discriminativo dentro desses bines.
• Escores adequados escalarizados (por exemplo, aplicar a perda de Brier a um resumo de trajetória colapsado) são estritamente adequados apenas para o escalar colapsado, não para o traço completo de probabilidade condicionado ao prefixo.

O problema central é a falta de um avaliador estritamente adequado para o processo de probabilidade de sucesso condicionado ao prefixo ($q_t = P_\pi(Y=1 | H_t)$). Sem tal avaliador, é impossível elicitar estritamente traços de probabilidade verdadeiros de agentes, o que é crítico para intervenções a jusante, como adiamento, reflexão ou transferência para humanos, que dependem da escala de probabilidade e não apenas da classificação.

Metodologia

1. O Escore Adequado de Trajetória (TPS)

Os autores introduzem o Escore Adequado de Trajetória (TPS), uma família independente do preditor de regras de pontuação estritamente adequadas para incerteza ao nível da trajetória.

• Definição: O TPS agrega uma regra de pontuação binária estritamente adequada ($S_{\alpha,\beta}$) sobre os passos da trajetória, ponderada por um cronograma escolhido pelo avaliador ($w_t$):
  $$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$$
  onde $F_t$ é a probabilidade relatada pelo agente de sucesso eventual dado o histórico $H_t$, e $Y$ é o resultado terminal.
• Propriedade Estrita: Os autores provam (Teorema 4.1) que, se a pontuação binária subjacente for estritamente adequada e os pesos forem positivos, o TPS é estritamente adequado para o processo completo condicionado ao prefixo. Isso significa que a pontuação esperada é maximizada unicamente quando o agente relata a probabilidade condicional verdadeira $q_t$ em cada passo.
• Família de Escores: O método utiliza a família beta de escores ($S_{\alpha,\beta}$), derivada da construção de mistura de limiar de Schervish–Buja. Esta família inclui o escore logarítmico (caso limite), o escore de Brier ($\alpha=\beta=1$) e permite o ajuste assimétrico de custos através dos parâmetros $\alpha$ e $\beta$.

2. Tratamento de Trajetórias Censuradas

Em benchmarks práticos, as trajetórias são frequentemente censuradas administrativamente (por exemplo, atingindo um orçamento de passos) antes que o resultado $Y$ seja observado. O artigo estende o TPS a esses casos via projeção condicional:

• Escore Reduzido Exato ($TPS^{cen,exact}$): Ao projetar o escore de dados completos no prefixo observável, os autores derivam um escore censurado exato que depende da probabilidade de sucesso de continuação $q_Z = P_\pi(Y=1 | H_Z)$ no ponto de parada. Este escore é estritamente adequado para o prefixo observável.
• Aproximação Censurada Simples ($TPS^{cen,simple}$): Quando $q_Z$ não é estimado, os autores propõem uma aproximação operacional pessimista definindo $q_Z \approx 0$. Isso efetivamente pontua o prefixo censurado como se o ramo de falha tivesse ocorrido. Os autores provam que isso é estritamente adequado para um alvo de pseudo-rótulo ($m_t = P_\pi(\Delta=1, Y=1 | H_t)$), que converge para o alvo verdadeiro apenas se a massa de sucesso faltante for zero.

3. Limitações Teóricas das Métricas Existentes

O artigo demonstra formalmente (Teoremas A e B) por que métricas comuns falham em elicitar o traço completo:

• T-ECE é cego à resolução; uma previsão constante igual à média do bino pode alcançar erro zero mesmo se descartar toda a variação dentro do bino.
• Escores de Brier/Log Escalarizados aplicados a traços agregados (por exemplo, $\Phi_{last}, \Phi_{avg}, \Phi_{min}$) elicita apenas o escalar colapsado, não o traço. Para agregadores como $\Phi_{avg}$ ou $\Phi_{min}$, o traço verdadeiro pode ser estritamente subótimo em comparação com um traço não verdadeiro que manipula a agregação para corresponder ao escalar ótimo.

Resultados Chave

1. Lacuna de Invariância à Calibração

Experimentos no Tau2-Bench revelam uma divergência significativa entre métricas baseadas em classificação e métricas de pontuação adequada.

• Efeito de Recalibração: Quando sinais de confiança verbal foram recalibrados usando escalonamento de Platt, o AUROC mudou negligenciavelmente ($\Delta/SE \approx 0,3$), enquanto o TPS (ponto final logarítmico) melhorou substancialmente ($\Delta/SE \approx 43$).
• Implicação: Métricas de classificação falharam em detectar que o fluxo bruto estava severamente miscalibrado (saturado perto de 0,9–1,0), enquanto o TPS identificou corretamente o erro na escala de probabilidade. O fluxo recalibrado mal excedeu a referência de taxa base no TPS, apesar de desempenho de classificação similar.

2. Impacto da Censura

No WebShop, onde 47% das trajetórias foram censuradas administrativamente (atingindo limites de passos), a população de avaliação mudou significativamente.

• Viés de Seleção: A avaliação apenas completa descartou um subconjunto estruturalmente mais difícil de trajetórias (as censuradas eram 3x mais longas).
• Mudança de Pontuação: Incluir trajetórias censuradas via aproximação censurada simples deslocou o TPS médio em +0,159 nats (IC 95%: [+0,133, +0,188]) em comparação com a avaliação apenas completa.
• Sensibilidade do Preditor: O deslocamento foi positivo para preditores pouco confiantes, mas negativo para preditores excessivamente confiantes (por exemplo, probabilidade de token de conclusão), demonstrando que a pontuação consciente da censura altera o veredito com base no regime de confiança.

3. Validação das Extensões Censuradas

• Censura Artificial: Em trajetórias completas de StrategyQA, Tau2-Bench e HotpotQA, os autores censuraram artificialmente os resultados. A decomposição de forma fechada do escore censurado correspondeu à diferença computada diretamente até a precisão numérica, validando a derivação teórica.
• Auditoria Monte Carlo: No HotpotQA, os autores estimaram $q_Z$ via lançamentos Monte Carlo. O escore reduzido exato diferiu materialmente da aproximação simples $q_Z \approx 0$, confirmando que a escolha da estimação de $q_Z$ impacta a pontuação final.

Significado e Alegações

O artigo alega estabelecer uma estrutura fundamental para a avaliação estritamente adequada da incerteza em agentes. Seu significado reside em:

1. Separar Elicitação de Classificação: Demonstra que métricas de classificação (AUROC) e métricas de calibração (ECE) não elicita estritamente o traço completo de probabilidade necessário para a tomada de decisão probabilística.
2. Necessidade Operacional de Escores Adequados: Os resultados empíricos mostram que a recalibração de probabilidade pode alterar drasticamente o veredito do TPS enquanto deixa as métricas de classificação inalteradas. Isso implica que, para aplicações que dependem de limiares de probabilidade (adiamento, transferência), as práticas atuais de avaliação podem ser enganosas.
3. Tratamento de Restrições do Mundo Real: Ao estender a pontuação adequada para trajetórias censuradas administrativamente, o artigo fornece um método para avaliar agentes em benchmarks com orçamentos de passos sem descartar casos difíceis e truncados ou rotulá-los incorretamente.

Os autores mantêm um escopo modesto, observando que a estrutura assume censura administrativa não informativa e visa resultados binários terminais. Eles afirmam explicitamente que o trabalho foca na propriedade do lado do avaliador dos sinais de incerteza, distinta dos métodos do lado do preditor usados para gerá-los. A estrutura TPS é agnóstica à fonte do sinal (confiança verbal, probabilidades de token, etc.), desde que expressa como uma probabilidade de sucesso condicionada ao prefixo.