Resumo Técnico: ECUASn – Uma Família de Métricas para Avaliação Fundamentada de Sistemas Aumentados por Incerteza

Declaração do Problema

Em tomada de decisão automatizada de alto risco, os usuários (humanos ou sistemas a jusante) necessitam de acesso à incerteza preditiva para decidir se aceitam ou rejeitam a saída de um sistema com base em compensações de custo específicas da aplicação. Esses sistemas, denominados Sistemas Aumentados por Incerteza (UA), geram tanto uma previsão candidata quanto uma pontuação de incerteza.

A literatura atual avalia sistemas UA utilizando métricas desconexas:

1. Qualidade da Previsão: Medida via acurácia ou taxa de erro.
2. Qualidade da Incerteza: Medida via métricas de classificação binária (por exemplo, AUC, ECE, pontuação Brier) tratando a incerteza como um preditor de respostas incorretas.
3. Métricas Integradas: Abordagens como a Área sob a Curva de Risco-Cobertura (AURC) integram esses aspectos varrendo um limiar de rejeição.

Os autores argumentam que essas abordagens são inadequadas. Métricas separadas falham em refletir o valor fornecido ao usuário que toma a decisão final. Além disso, a AURC e suas variantes são invariantes a transformações monótonas da pontuação de incerteza; elas recompensam a classificação, mas não penalizam incertezas mal calibradas (superestimadas ou subestimadas), desde que a ordem relativa seja preservada. Isso é uma falha crítica para sistemas onde a incerteza deve ser interpretada como uma probabilidade de correção. Adicionalmente, os métodos existentes frequentemente exigem a fixação de um custo específico de rejeição ($\gamma$) durante o desenvolvimento, o qual pode não ser conhecido ou pode variar entre usuários e instâncias.

Metodologia

O artigo propõe ECUASn (Custo Esperado para Sistemas Aumentados por Incerteza), uma família de métricas fundamentada na teoria da decisão bayesiana.

1. Fundamento Teórico da Decisão

Os autores definem um sistema UA como uma função $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$, gerando uma resposta candidata $\tilde{d}$ e uma pontuação de incerteza $u$. A decisão final $d$ é ou $\tilde{d}$ ou uma rejeição $d_r$.

Uma função de custo $C_\gamma(y, d)$ é definida com base em um custo de rejeição $\gamma$:
$$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{se } d \in \tilde{\mathcal{D}} \\ \gamma & \text{se } d = d_r \end{cases}$$
onde $\tilde{C}$ é o custo da resposta candidata dada a verdade fundamental $y$.

2. Derivação de Regras de Pontuação Adequadas (PSR)

Para evitar a fixação de $\gamma$, os autores constroem uma métrica que recompensa sistemas que produzem incertezas interpretáveis probabilisticamente.

• Decisão Bayesiana: Para uma função de custo dada e uma distribuição condicional $q$ sobre classes, a decisão ótima minimiza o custo esperado. O custo esperado da decisão ótima, denotado $u_{\tilde{C}}(q)$, serve como a incerteza teórica.
• Regra de Pontuação Adequada (PSR): Ao avaliar a função de custo na decisão Bayesiana, deriva-se uma nova função de custo $C^*_\gamma(y, q)$. Esta função é uma Regra de Pontuação Adequada, o que significa que é minimizada em expectativa quando a distribuição prevista corresponde à distribuição verdadeira. Esta propriedade garante que a métrica recompense probabilidades bem calibradas, ao contrário da AURC.

3. A Família ECUASn

Para criar uma métrica independente de um custo de rejeição específico, os autores integram a PSR $C^*_\gamma$ sobre uma faixa de custos de rejeição possíveis $\gamma$, ponderada por uma função $w(\gamma)$.
$$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$$
Os autores parametrizam a função de peso como $w_n(\gamma) \propto \gamma^{n-1}$, resultando na métrica ECUASn. O parâmetro $n$ controla a compensação:

• $n=0$: Penaliza severamente previsões incorretas feitas com alta confiança (alta incerteza é exigida para rejeição). Isso é recomendado para cenários de alto risco.
• $n \to \infty$: A métrica degenera em direção à taxa de erro padrão 0-1, tornando-se menos sensível à qualidade da própria pontuação de incerteza.

4. Aplicação a Sistemas Generativos

Para modelos generativos, o conceito de "correção" é definido sobre classes de equivalência semântica em vez de correspondências exatas de strings. Os autores argumentam que, para a tomada de decisão ótima, a incerteza deve ser computada sobre a distribuição dessas classes de equivalência, e não sobre sequências individuais de tokens. Isso fornece uma justificativa teórica para achados empíricos de que a entropia semântica produz melhores pontuações de incerteza. Na prática, para tarefas generativas, o número de classes $K$ é assumido como tendendo ao infinito.

Contribuições Principais

1. Substituição de Métrica Fundamentada: Introdução do ECUASn, uma família de métricas fundamentada na teoria da decisão que substitui a AURC. Diferentemente da AURC, o ECUASn recompensa incertezas que são interpretáveis probabilisticamente (regras de pontuação adequadas), mantendo-se agnóstico a um custo de rejeição específico.
2. Insight Teórico sobre Incerteza Generativa: Uma explicação teórica do porquê pontuações de incerteza derivadas de classes de equivalência semântica (e não de previsões individuais) são superiores para sistemas generativos. Isso é derivado diretamente da construção do custo da decisão Bayesiana.
3. Compensação Parametrizada: A introdução do parâmetro $n$, permitindo que profissionais ajustem a métrica com base no perfil de risco específico de sua aplicação (por exemplo, $n=0$ para cenários de rejeição de alto risco).

Resultados Empíricos

Os autores avaliaram o ECUASn em diversos conjuntos de dados de classificação e geração:

• Classificação: Experimentos em conjuntos de dados de linguagem (AGNews, SST-2), fala (SITW, FVCAUS) e imagem (CIFAR-10/100).
  • Impacto da Calibração: As métricas ECUASn (particularmente para $n$ baixo) detectaram com sucesso melhorias na qualidade do sistema devido à calibração post-hoc, enquanto a AURC frequentemente permaneceu inalterada porque é invariante a transformações monótonas que preservam a classificação.
  • Linha de Base Ingênua: O ECUASn identificou corretamente sistemas que, apesar de terem boas pontuações de calibração (como CE ou pontuação Brier na distribuição $q$), performaram pior do que um sistema ingênuo baseado em prior quando se considera a saída combinada de previsão e incerteza.
• Geração (TriviaQA & MMLU): Experimentos usando vários LLMs (Qwen, Ministral, Gemini) e três métodos de elicitação de confiança (Posterior da Sequência, É Verdade, Verbalizado).
  • Desacordo de Métricas: A classificação dos métodos de elicitação de confiança variou significativamente dependendo da métrica utilizada. Por exemplo, o método "Verbalizado" frequentemente teve a melhor taxa de erro (ER), mas calibração pobre, levando a altas pontuações ECUASn (pior desempenho) em comparação com o "Posterior da Sequência".
  • Sensibilidade à Verdade Fundamental: Os autores curaram manualmente um subconjunto do TriviaQA (455 amostras) para corrigir erros na rotulagem automática de equivalência semântica. Eles demonstraram que a avaliação automática pode alterar drasticamente as classificações dos sistemas, destacando a necessidade de protocolos de avaliação cuidadosos.

Significado e Alegações

O artigo alega que o ECUASn fornece uma avaliação abrangente de sistemas UA, integrando o impacto de previsões incorretas e incertezas imperfeitas em um único valor.

• Alinhamento com Teoria da Decisão: As métricas são projetadas para refletir a utilidade real do sistema para um usuário tomando decisões sob incerteza, em vez de apenas medir propriedades estatísticas da saída.
• Sensibilidade à Calibração: Ao recompensar a interpretabilidade probabilística, o ECUASn aborda uma limitação majoritária da AURC, que falha em distinguir entre incertezas bem calibradas e mal calibradas se a classificação for preservada.
• Utilidade Prática: O framework permite que os usuários selecionem um valor de $n$ apropriado para sua tolerância ao risco, tornando-o uma ferramenta flexível para avaliar sistemas em ambientes de alto risco onde o custo de um falso positivo (aceitar uma resposta errada) é severo.

Os autores concluem que, embora o ECUASn assuma que o usuário opera sob um framework de teoria da decisão (minimizando o custo esperado), ele oferece uma alternativa mais robusta e fundamentada às práticas atuais de avaliação para sistemas aumentados por incerteza.