Resumo Técnico: Autoavaliação Agrupada para Quantificação de Incerteza em LLMs

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem um desempenho notável em diversas tarefas, mas frequentemente geram respostas que parecem fluentes e plausíveis, embora sejam factualmente incorretas. Este problema de "alucinação" é particularmente crítico em domínios de alto risco, como saúde, direito e pesquisa científica. Uma barreira significativa para mitigar esses riscos é a falta de estimativas de incerteza explícitas e confiáveis. Os métodos existentes para quantificar a incerteza dependem frequentemente de sinais indiretos, como a entropia através de gerações amostradas ou métricas de divergência semântica. Essas abordagens possuem duas limitações primárias:

1. Interpretabilidade: Pontuações indiretas (ex: métricas baseadas em entropia) são difíceis de serem interpretadas pelos usuários finais, limitando a utilidade prática.
2. Subutilização do Conhecimento Interno: Muitos métodos medem discrepâncias de saída sem aproveitar a compreensão interna do LLM sobre seu próprio conhecimento. Além disso, tentativas de fazer com que os LLMs verbalizem a incerteza diretamente falham devido ao problema bem documentado de excesso de confiança do modelo (overconfidence).

Metodologia: Autoavaliação Agrupada

Os autores propõem a Autoavaliação Agrupada (Clustered Self-Assessment), um método de dois estágios projetado para elicitar e quantificar a incerteza ao induzir o LLM a avaliar suas próprias respostas geradas. O processo transforma o problema de estimativa de incerteza em uma tarefa estruturada de múltipla escolha (MCQ).

Estágio 1: Agrupamento de Respostas

Para uma determinada pergunta de entrada, o LLM gera múltiplas respostas (amostras). Para reduzir a redundância semântica preservando a diversidade, essas amostras são agrupadas em clusters semanticamente distintos:

• Estimativa de Relacionamento Semântico: Um modelo externo de Inferência de Linguagem Natural (NLI) (especificamente o deberta-large-mnli) é usado para estimar os relacionamentos semânticos pareados entre as respostas amostradas. Para cada par $(a_i, a_j)$, o modelo NLI prevê rótulos como implicação (entailment), neutro ou contradição.
• Lógica de Agrupamento: O método emprega um filtro baseado em regras nos rótulos bidirecionais de NLI. Duas respostas são agrupadas no mesmo cluster se o seu relacionamento bidirecional não contiver nenhuma contradição e incluir pelo menos uma implicação em qualquer direção.
• Seleção de Representantes: Cada cluster é representado por uma única resposta (tipicamente a primeira atribuída ao cluster). Este processo garante que o conjunto final de opções represente respostas candidatas semanticamente distintas, em vez de variações menores da mesma resposta.

Estágio 2: Autoavaliação via MCQ

As respostas agrupadas são usadas para construir uma MCQ estruturada:

• Formulação da Pergunta: A pergunta original é apresentada juntamente com as respostas representativas de cada cluster como opções distintas (ex: Opção A, Opção B, Opção C).
• Opção de Segurança: Uma opção adicional, "Nenhuma das anteriores", é incluída para dar conta de cenários onde todos os clusters gerados estão incorretos ou o modelo está altamente incerto.
• Pontuação de Confiança: A MCQ construída é alimentada de volta no LLM original. A probabilidade de token atribuída à escolha específica correspondente à sua resposta principal (decodificada via greedy decoding) serve como a pontuação de confiança.
  • Formalmente, se $c_{i^*}$ é o rótulo de token da escolha correta, a pontuação de confiança $S$ é $P(c_{i^*})$.

Principais Contribuições

1. Elicitação de Autoavaliação: O método aproveita as representações internas de incerteza dos LLMs ao estruturar as gerações amostradas em um formato de MCQ. Isso induz o modelo a avaliar explicitamente a correção de suas próprias respostas, em vez de depender de proxies estatísticos indiretos.
2. Desempenho e Eficiência Superiores: A abordagem supera consistentemente as linhas de base existentes (incluindo Entropia Semântica, EigenScore e SAR) em múltiplos modelos e conjuntos de dados. Notavelmente, ela alcança um desempenho competitivo com apenas duas amostras adicionais, enquanto algumas linhas de base exigem até dezesseis amostras, reduzindo significamente o custo computacional.
3. Interpretabilidade Humana: Ao usar a probabilidade de token de uma escolha específica como a pontuação de confiança, o método fornece uma métrica intuitiva para os usuários interpretarem, mapeando diretamente para a probabilidade de a resposta estar correta.

Resultados Experimentais

O método foi avaliado em sete modelos de código aberto de última geração (séries Qwen-2.5, Qwen-3 e Gemma-3) e três conjuntos de dados: TriviaQA (TQA), Natural Questions (NQ) e XSum (sumarização).

• Acurácia (AUROC): O método alcançou a maior Área Sob a Curva Característica de Operação do Receptor (AUROC) em todos os modelos e conjuntos de dados. Por exemplo, no TQA com Qwen2.5-32B, atingiu um AUROC de 0.940, superando a próxima melhor linha de base (Deg), que obteve 0.848.
• Eficiência de Amostragem: O desempenho permaneceu robusto mesmo com amostragem mínima. Com apenas duas amostras adicionais, o método superou linhas de base que utilizaram oito ou dezesseis amostras.
• Calibração: Usando o escore de Brier, o método demonstrou calibração superior em comparação com as linhas de base baseadas em probabilidade (P(Verdadeiro) e Probabilidade bruta), indicando que as pontuações de confiança alinham-se bem com a correção empírica.
• Treinamento de Sonda: Quando usado como um sinal de treinamento para uma sonda para prever a incerteza a partir dos estados ocultos do LLM, as pontuações do método permitiram que a sonda superasse as linhas de base em configurações fora da distribuição (out-of-distribution) sem exigir rótulos de correção durante a inferência.

Significância e Limitações

O artigo postula que a Autoavaliação Agrupada oferece uma solução prática, eficaz e computacionalmente eficiente para a quantificação de incerteza. Ao converter o problema em uma tarefa de autoavaliação, ela preenche a lacão entre o conhecimento interno do modelo e métricas de confiança interpretáveis pelo usuário.

Os autores reconhecem limitações específicas:

• Acesso a Logits: O método requer acesso aos logits de saída, que podem não estar disponíveis para modelos de código fechado.
• Dependência Externa: Depende de um modelo NLI externo para o agrupamento, o que introduz sobrecarga computacional e potencial desalinhamento semântico. Os autores sugerem que trabalhos futuros poderiam utilizar as próprias representações internas do LLM para o agrupamento.
• Calibração: O método utiliza probabilidades softmax brutas sem calibração post-hoc, embora já demonstre um forte desempenho.

Em conclusão, o artigo apresenta um framework simples, porém robusto, que aumenta a confiabilidade dos outputs de LLMs ao permitir que os modelos avaliem sua própria incerteza através de autorreflexão estruturada.