Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

No cenário em rápida evolução da inteligência artificial, os grandes modelos de linguagem tornaram-se ferramentas poderosas para gerar texto, responder perguntas e auxiliar em tarefas complexas. No entanto, um desafio persistente permanece: esses sistemas às vezes produzem respostas que parecem confiantes, mas são factualmente incorretas, um fenômeno conhecido como alucinação. Para usuários que dependem desses modelos para decisões críticas, o perigo não reside apenas em estar errado, mas em estar errado com absoluta certeza. Para enfrentar isso, pesquisadores há muito buscam maneiras de medir a incerteza de um modelo, essencialmente perguntando ao sistema o quão seguro ele está de sua própria saída. Os métodos tradicionais frequentemente fornecem uma única pontuação de confiança para toda uma resposta, de forma semelhante a uma previsão do tempo que fornece uma única probabilidade para um dia inteiro. No entanto, uma única resposta pode conter uma mistura de fatos precisos e erros sutis, tornando uma pontuação geral única excessivamente simplista para ser útil para alguém que precisa verificar detalhes específicos antes de agir.

Um novo estudo de Toghrul Abbasli e colegas da Universidade de Tsinghua e outras instituições propõe uma abordagem mais granular para este problema. Em vez de tratar uma resposta como um único bloco de texto, os pesquisadores desenvolveram um método para decompor cada resposta em suas menores unidades independentes de informação, que eles chamam de afirmações atômicas. Eles então atribuem uma pontuação de confiança específica a cada uma dessas afirmações individuais. A equipe testou essa técnica em vários modelos de linguagem modernos, incluindo sistemas de grandes desenvolvedores, usando dois tipos distintos de conjuntos de perguntas: um focado em conhecimento factual geral e outro projetado para enganar os modelos fazendo-os aceitar premissas falsas. Suas descobertas sugerem que, ao isolar e calibrar a confiança ao nível da afirmação, é possível criar um sinal muito mais confiável para os tomadores de decisão. Essa abordagem permite que os usuários aceitem as partes de uma resposta que têm alta probabilidade de serem verdadeiras, enquanto sinalizam sentenças específicas para revisão ou rejeição posterior, oferecendo um caminho prático para uma inteligência artificial mais segura e confiável em ambientes de alto risco.

O núcleo do trabalho dos pesquisadores envolve um pipeline de múltiplas etapas que opera sem a necessidade de modificar o funcionamento interno dos próprios modelos de linguagem. Primeiro, o sistema gera uma resposta à pergunta do usuário. Em seguida, uma ferramenta auxiliar decompõe essa resposta em afirmações curtas e autossuficientes, como "Einstein propôs a teoria da relatividade" ou "Isso ocorreu em 1905". Uma vez que a resposta é decomposta, o sistema avalia cada afirmação individualmente. Ele utiliza dois sinais primários para determinar o quão confiante o modelo deve ser em cada afirmação. O primeiro sinal vem da autoavaliação do próprio modelo ou confiança verbalizada, onde o modelo é instigado a declarar o quão seguro está. O segundo sinal baseia-se na consistência; o sistema gera várias variações da resposta e verifica se a mesma afirmação aparece em todas elas. Se uma afirmação é repetida em diferentes tentativas, ela é tratada como mais confiável. Esses dois sinais são então combinados para produzir uma pontuação de confiança final para cada afirmação específica.

Para garantir que essas pontuações sejam significativas, os pesquisadores aplicaram um processo estatístico chamado calibração post-hoc. Esta etapa ajusta os números brutos de confiança para que eles se alinhem com a realidade. Por exemplo, se o sistema atribui uma confiança de 90 por cento a um conjunto de afirmações, a calibração garante que aproximadamente 90 por cento dessas afirmações sejam de fato corretas. O estudo testou essa estrutura em seis modelos de linguagem diferentes, variando de sistemas de código aberto a modelos comerciais proprietários, através de milhares de perguntas. Os resultados mostraram que essa abordagem ao nível da afirmação reduziu significamente a taxa de erro na estimativa de confiança em comparação com métodos que olhavam apenas para a resposta como um todo. Em questões factuais, as pontuações calibradas tornaram-se muito mais precisas, o que significa que, quando o sistema dizia estar 90 por cento seguro, estava de fato correto cerca de 90 por cento das vezes. Essa precisão permite que um usuário humano tome uma decisão concreta: ele pode confiar nas afirmações de alta confiança imediatamente, enquanto direciona sua atenção para aquelas de baixa confiança para verificação.

No entanto, o estudo também identificou um limite claro onde este método enfrenta limitações. Quando as perguntas foram projetadas com premissas falsas — armadilhas que assumem que algo falso é um fato — os modelos frequentemente geraram afirmações fluentes, confiantes, mas inteiramente incorretas. Nesses cenários adversariais, as pontuações de confiança ao nível da afirmação às vezes falharam em detectar o erro porque o modelo era internamente consistente em seu erro. Os pesquisadores descobriram que, embora seu método fosse excelente em separar respostas mistas contendo informações certas e erradas, ele não conseguia sempre superar um modelo que estava confiantemente errado sobre um fato fundamental. Nesses casos, o estudo sugere que as pontuações de confiança sozinhas são insuficientes; uma verificação externa, como uma busca por evidências ou um contraexame por outro sistema, é necessária para capturar esses erros profundos.

A implicação prática deste trabalho é uma mudança na forma como podemos interagir com a inteligência artificial em contextos profissionais. Em vez de aceitar ou rejeitar uma resposta inteira baseada em um senso vago de confiança, os tomadores de decisão podem agora contar com um mapa detalhado de confiabilidade. Um relatório médico gerado por uma IA, por exemplo, poderia ser aceito por sua estrutura geral, enquanto dosagens específicas de medicamentos ou detalhes do histórico do paciente seriam sinalizados para revisão humana com base em suas pontuações de confiança individuais. Os pesquisadores enfatizam que esta técnica funciona mesmo com modelos de "caixa fechada", onde os mecanismos internos estão ocultos, tornando-a aplicável aos sistemas comerciais mais avançados atualmente em uso. Embora o método não resolva o problema da alucinação inteiramente, particularmente quando os modelos são enganados por suposições falsas, ele fornece uma ferramenta robusta para gerenciar a incerteza. Ao decompor a caixa preta da saída de um modelo de linguagem em peças verificáveis, o estudo oferece uma maneira de tomar decisões de alto risco com uma compreensão mais clara do que pode ser confiado e do que requer investigação adicional.