Resumo Técnico: LLMs Podem Recusar Perguntas que Não Conhecem? Medindo a Recusa Consciente de Conhecimento em Tarefas Fáticas

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados para tarefas factuais intensivas em conhecimento. No entanto, eles frequentemente sofrem de má calibração, fornecendo respostas incorretas com alta confiança (alucinações). Um mecanismo de segurança crítico é a recusa consciente de conhecimento: a capacidade de um modelo de recusar responder a perguntas que estão fora de seus limites de conhecimento. Embora trabalhos recentes tenham explorado induzir recusas por meio de prompts ou ajuste fino, as métricas de avaliação existentes falham em medir com precisão essa capacidade. Métricas tradicionais, como taxas de recusa ou combinações de precisão e recusa (por exemplo, F-score), são frequentemente heurísticas, sensíveis a mudanças induzidas por prompts na frequência de recusa e não capturam a correlação fundamental entre a decisão de um modelo de recusar e a incorreção real da resposta que ele teria fornecido.

Metodologia: O Índice de Recusa (RI)

Para abordar essas lacunas, os autores propõem o Índice de Recusa (RI), uma métrica inovadora projetada para quantificar a recusa consciente de conhecimento.

Definição

O RI é definido como a correlação de posto de Spearman entre a probabilidade de recusa ($r_i$) de um modelo e sua probabilidade de erro ($w_i$) em um conjunto de perguntas.
$$\text{RI} = \rho_S = \text{Corr}(\text{Rank}(r_i), \text{Rank}(w_i))$$
Um RI perfeito de 1 indica que um modelo recusa consistentemente as perguntas mais difíceis (propensas a erros) e responde às mais fáceis. Um RI de 0 implica comportamento de recusa aleatório. Diferentemente de métricas de calibração que medem discrepâncias absolutas (por exemplo, Erro de Calibração Esperado), o RI foca no posto da dificuldade, tornando-o robusto a deslocamentos nas taxas gerais de recusa.

Framework de Avaliação em Duas Passadas

Como as probabilidades de recusa são latentes (um modelo recusa ou responde em uma única passada), os autores introduzem um método de avaliação em duas passadas leve para estimar o RI:

1. Primeira Passada: O modelo é avaliado em um conjunto de dados factuais com um prompt de sistema permitindo que ele responda ou recuse. As respostas são classificadas como Corretas, Incorretas ou Recusadas. Isso gera a taxa de recusa ($r$) e a precisão das respostas tentadas.
2. Segunda Passada: Para as perguntas recusadas na primeira passada, o prompt de sistema é atualizado para forçar o modelo a responder (removendo a opção de recusa). A correção dessas respostas forçadas é registrada.
3. Cálculo: Usando a distribuição conjunta das decisões de recusa e da correção das respostas forçadas, os autores modelam a relação usando uma cópula Gaussiana. Eles estimam o parâmetro de correlação ($\rho$) via máxima verossimilhança na tabela de contingência $2 \times 2$ resultante e convertem-no para a correlação de posto de Spearman ($\rho_S$) usando a fórmula padrão: $\rho_S = \frac{6}{\pi} \arcsin(\frac{\rho}{2})$.

Contribuições Principais

1. Índice de Recusa (RI): Uma métrica principiante que mede diretamente o alinhamento entre decisões de recusa e incorreção da resposta, independente da precisão geral do modelo ou de sua taxa de recusa.
2. Avaliação Leve: Um protocolo de duas passadas que requer apenas avaliações padrão de caixa-preta (sem modelos auxiliares, acesso a estado interno ou estimativa de confiança baseada em amostragem cara) para calcular o RI.
3. Validação Empírica: Experimentos extensivos em 16 modelos (incluindo modelos de código aberto e proprietários como Qwen, Llama, Claude, GPT e Gemini) e 5 conjuntos de dados (SimpleQA, PreciseWikiQA, FaithEval, etc.).
4. Insight sobre Confiabilidade do Modelo: O estudo revela que alta precisão factual não garante comportamento de recusa confiável, identificando uma lacuna persistente nas capacidades atuais de LLMs.

Resultados Experimentais

• Estabilidade: O RI permanece estável em diferentes taxas de recusa induzidas por variações de prompts de sistema. Em contraste, métricas heurísticas (por exemplo, F-score, Pontuação Ponderada) flutuam significativamente (até 70% de variação) quando as taxas de recusa mudam, falhando em capturar uma capacidade subjacente consistente.
• Correlação com Calibração: O RI mostra uma forte correlação positiva (85,8%) com pontuações AUROC derivadas de estimativa de incerteza baseada em amostragem ($P(\text{Respondendo})$), validando sua fidelidade como medida de calibração de posto.
• Classificações de Modelos: O RI fornece classificações de modelos consistentes independentes de precisão e taxas de recusa. Quando os efeitos monotônicos de precisão e taxas de recusa são removidos, métricas heurísticas degradam-se para estabilidade quase aleatória, enquanto o RI mantém alta consistência de classificação.
• Influência da Família de Modelos: O preditor mais forte da capacidade de recusa consciente de conhecimento é a família do modelo (pipeline de treinamento e dados), e não a escala do modelo ou precisão geral. Por exemplo, os modelos Claude e Qwen consistentemente superam os outros no RI, enquanto as variantes Gemini e GPT-4.1 frequentemente ficam abaixo da linha de regressão.
• Sensibilidade ao Contexto: Os modelos exibem desempenho degradado de recusa quando a verdade fundamental não está disponível no contexto fornecido (por exemplo, em cenários "Inrespondíveis" ou "Inconsistentes"), sugerindo uma dependência excessiva de pistas contextuais em vez de calibração de conhecimento interno.

Significado e Alegações

O artigo afirma que o RI captura uma dimensão essencial, previamente negligenciada, da confiabilidade do modelo. Enquanto as avaliações factuais atuais focam em precisão ou taxas de alucinação, o RI destaca que mesmo modelos com alta precisão podem possuir comportamentos de recusa pouco confiáveis e frágeis.

Os autores argumentam que:

1. Prompting é insuficiente: Simplesmente instruir modelos a serem "mais cautelosos" aumenta as taxas de recusa, mas não melhora a qualidade das decisões de recusa (o RI permanece estável e longe do perfeito).
2. Necessidade de novos padrões de avaliação: A avaliação factual abrangente deve incorporar medidas de recusa consciente de conhecimento. Confiar apenas na precisão ou em métricas de calibração padrão pode mascarar riscos significativos na implantação de modelos.
3. Utilidade Prática: A avaliação RI em duas passadas oferece uma alternativa prática e de baixo custo a métodos de calibração caros, permitindo comparações mais confiáveis do autoconhecimento do modelo sem exigir acesso de caixa-branca ou treinamento auxiliar.

O trabalho conclui que, embora os LLMs estejam melhorando em precisão factual, sua capacidade de julgar com precisão os limites de seu próprio conhecimento permanece um desafio crítico que requer medição e melhoria dedicadas.