"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

Resumo Técnico: "Não Sei" – Rumo à Confiança Adequada com Geração Aumentada por Recuperação Consciente da Certeza

Declaração do Problema
O artigo aborda o desafio de estabelecer "confiança adequada" em sistemas de IA, especificamente Modelos de Linguagem de Grande Escala (LLMs). Embora os LLMs ofereçam comunicação em nível humano, eles sofrem de alucinações (respostas factualmente incorretas) e "sycofância" (alinhamento excessivo com as preferências do usuário em detrimento da precisão). Um problema crítico é que os LLMs frequentemente expressam excesso de confiança em suas respostas, mesmo quando a pergunta é não objetiva ou o contexto é insuficiente. Esse excesso de confiança impede que os usuários julguem com precisão a veracidade do sistema. Os autores argumentam que o valor humano de benevolência — definido aqui como a necessidade de honestidade, confiabilidade e dependabilidade — pode ser atendido se um sistema de IA puder monitorar seu próprio conhecimento, refletir sobre sua incerteza e comunicar essa autorreflexão ao usuário.

Metodologia
Os autores propõem CERTA (Geração Aumentada por Recuperação Aprimorada por Certeza para Respostas Confiáveis), um sistema especializado de Geração Aumentada por Recuperação (RAG) projetado para incorporar certeza autorrefletida em suas respostas.

1. Modelagem de Certeza da Tríade RAG:
   Em vez de depender do LLM para autoavaliar sua confiança (o que pode ser enviesado), o CERTA calcula a incerteza com base na similaridade semântica entre três componentes do pipeline RAG, conhecidos como a Tríade RAG:

   • Relevância Pergunta-Contexto (QCR): Mede se o contexto recuperado está semanticamente alinhado com a pergunta do usuário.
   • Relevância Contexto-Resposta (CAR): Mede se a resposta gerada é apoiada pelo contexto recuperado (fundamentação).
   • Relevância Resposta-Pergunta (AQR): Mede se a resposta gerada aborda semanticamente a pergunta original.

   Essas pontuações são calculadas usando similaridade de cosseno em embeddings (text-embedding-3-small da OpenAI). Essas pontuações numéricas são então traduzidas em "instruções de certeza" textuais fornecidas ao gerador LLM.

2. Abordagens do Sistema:
   O artigo avalia quatro abordagens distintas usando dois LLMs (GPT-4.1 da OpenAI e Mistral-Small-3.1):

   • RAG (Linha de Base): RAG padrão sem instruções específicas sobre certeza.
   • CERTA-0: Adiciona uma instrução geral ao prompt para ser honesto sobre a certeza da resposta.
   • CERTA-1: Incorpora a pontuação QCR e a instrução ao prompt, informando ao modelo a relevância entre a pergunta e o contexto recuperado.
   • CERTA-2: Uma abordagem de múltiplos passos. Primeiro, gera uma resposta intermediária, calcula todas as três pontuações da Tríade (QCR, CAR, AQR) e, em seguida, solicita novamente ao modelo com a pergunta, o contexto, a resposta intermediária e todas as três instruções de certeza para produzir uma resposta final e autorrefletida.

3. Benchmark de Certeza:
   Para avaliar esses métodos, os autores criaram um conjunto de dados de 90 pares pergunta-contexto derivados do TrustLLM Benchmark. O conjunto de dados abrange quatro categorias:

   • Factualidade: Perguntas factuais (algumas sem resposta).
   • Preferência Pessoal: Perguntas subjetivas (por exemplo, "O que é melhor?").
   • Sycophância: Perguntas projetadas para testar se o modelo concorda com um ponto de vista declarado pelo usuário (potencialmente falho).
   • Escolhas Morais: Dilemas éticos.

   Cada pergunta é emparelhada com três tipos de contexto: relevante (contém a resposta), incompleto (falta a resposta específica) e irrelevante (não contém resposta).

Principais Contribuições

1. O Sistema CERTA: Uma extensão novel do RAG que utiliza a Tríade RAG para calcular e comunicar incerteza tanto numericamente quanto verbalmente. Inclui um painel que permite aos usuários selecionar comportamentos para cenários de baixa certeza (por exemplo, resposta padrão, "Não sei" ou retorno ao conhecimento do LLM).
2. O Benchmark de Certeza: Um conjunto de dados curado de 90 pares pergunta-contexto não objetivos em quatro categorias baseadas em valores e três tipos de contexto, projetado especificamente para testar a capacidade de uma IA de expressar incerteza de forma adequada.
3. Avaliação Empírica: Um estudo comparativo do RAG de linha de base contra três configurações CERTA usando dois LLMs distintos.

Resultados
Os experimentos indicam que o CERTA altera com sucesso o comportamento do sistema em direção à incerteza adequada:

• Frequência de "Não Sei": CERTA-1 e CERTA-2 produziram significativamente mais respostas de "Não sei" em comparação com o RAG de linha de base, particularmente quando os contextos estavam incompletos ou irrelevantes.
• Factualidade: Com contextos relevantes, os sistemas responderam adequadamente. Com contextos irrelevantes, o RAG de linha de base ocasionalmente alucinou usando conhecimento interno, enquanto os sistemas CERTA permaneceram estritamente objetivos e expressaram incerteza.
• Preferência Pessoal: O RAG de linha de base ocasionalmente forneceu respostas confiantes a perguntas subjetivas. As abordagens CERTA identificaram corretamente a falta de respostas objetivas e optaram por "Não sei".
• Sycophância e Moralidade: Embora tanto o RAG de linha de base quanto o CERTA evitassem contradições diretas, os sistemas CERTA tinham menos probabilidade de concordar ou discordar de pontos de vista opostos, optando por "Não sei" com mais frequência. O CERTA também demonstrou mais cautela em julgamentos morais, evitando moralismo estrito quando o contexto estava incompleto.
• Diferenças de Modelo: O modelo de código aberto Mistral exibiu mais incerteza inerente que o GPT-4.1, mas o CERTA melhorou ambos.
• Consistência: A adição de instruções de certeza não fez com que os sistemas mudassem respostas corretas para incorretas; aumentou principalmente a taxa de respostas cautelosas onde apropriado.

Significado e Alegações
O artigo alega que comunicar certeza autorrefletida é um mecanismo viável para construir confiança adequada em IA, alinhando-se ao valor humano de benevolência. Os autores concluem que:

• CERTA-0 é frequentemente suficiente para melhorar o RAG de linha de base ao introduzir honestidade básica regarding a certeza.
• CERTA-1 fornece uma abordagem mais cuidadosa ao utilizar explicitamente a pontuação de Relevância Pergunta-Contexto.
• O método permite que os sistemas sejam "aversos ao risco" em cenários de alto risco ao admitir incerteza em vez de alucinar.
• A abordagem é agnóstica ao recuperador, avaliando apenas a qualidade do contexto fornecido e não o mecanismo de recuperação em si.

Os autores permanecem modestos em relação às suas alegações, observando que o painel ainda não foi validado com usuários humanos para medir a calibração real da confiança. Eles reconhecem limitações, como o uso de formatos de múltipla escolha que podem mitigar a sycophância artificialmente, e a dependência da similaridade de cosseno, que tende a produzir pontuações de faixa média (em torno de 0,5) em vez de valores extremos. Trabalhos futuros são sugeridos para incluir estudos com usuários e testes com fontes de dados mais ruidosas.