💬 NLP

Estimating the Black-box LLM Uncertainty with Distribution-Aligned Adversarial Distillation

Este artigo propõe a Distilação Adversarial Alinhada à Distribuição (DisAAD), um método que treina um modelo proxy leve para imitar a distribuição de saída de um LLM de caixa preta e estimar a incerteza por meio de aprendizado baseado em evidências, abordando efetivamente alucinações sem exigir acesso interno ao modelo ou múltiplas amostragens dispendiosas.

Autores originais: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Huizi Cui, Huan Ma, Qilin Wang, Yuhang Gao, Changqing Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O Mentiroso Confidente

Imagine que você faz uma pergunta a uma celebridade muito famosa e superinteligente (um "LLM de caixa-preta" como o GPT-4). Eles respondem instantaneamente e com total confiança. Mas, às vezes, eles estão alucinando—inventando fatos que soam perfeitos, mas estão completamente errados.

O problema é que, como eles são uma "caixa-preta", você não pode espiar dentro do cérebro deles para ver se realmente estão certos ou apenas chutando. Você só vê a resposta final.

Formas antigas de verificar:
- O método "Pergunte 10 Vezes": Pergunte à mesma celebridade a mesma pergunta 10 vezes e veja se eles dão respostas diferentes. Se eles mudarem a história, estão inseguros. Problema: Isso é lento, caro e você não pode fazê-lo em tempo real.
- O método "Olhe Dentro": Peça à celebridade para mostrar suas anotações internas (logits/probabilidades). Problema: Você não pode fazer isso com modelos de código fechado; eles não mostrarão suas anotações.

A Solução: O "Ator Sombra" (DisAAD)

Os autores propõem um truque inteligente chamado DisAAD. Em vez de tentar espiar dentro do cérebro da celebridade ou perguntar a eles 10 vezes, eles constroem um "Ator Sombra" pequeno e leve (um modelo proxy) para representar a celebridade.

Veja como o Ator Sombra aprende a dizer a verdade:

1. O Campo de Treinamento (Distilação Adversarial)

Imagine uma escola de teatro onde o objetivo é fazer um aluno (o Modelo Proxy) atuar exatamente como uma estrela famosa (o LLM de Caixa-Preta).

O Diretor (Discriminador): Um professor rigoroso que observa tanto a Estrela quanto o Aluno.
O Objetivo: O Aluno tenta imitar perfeitamente as falas e maneirismos da Estrela. O Diretor tenta descobrir quem é a Estrela real e quem é o aluno.
O Processo:
1. O Diretor faz uma série de perguntas à Estrela e registra as respostas.
2. O Aluno tenta responder às mesmas perguntas.
3. O Diretor critica o Aluno: "Você soou um pouco estranho ali!" ou "Isso foi uma combinação perfeita!"
4. O Aluno ajusta sua atuação até que o Diretor não consiga mais distinguir o Aluno da Estrela.

Uma vez que o Aluno é treinado, ele aprendeu os padrões exatos da confiança da Estrela. Ele sabe exatamente quando a Estrela está "fingindo" e quando está "séria".

2. O Trabalho de Detetive (Quantificação de Incerteza)

Agora, quando a Estrela real dá uma resposta a uma nova pergunta, não perguntamos à Estrela novamente. Em vez disso, pedimos ao Ator Sombra para reproduzir essa resposta.

Como o Ator Sombra foi treinado para imitar a "vibe" interna da Estrela, ele pode olhar para a resposta e dizer:
- "Baixa Incerteza (Baixa EU, Baixa AU): A Estrela está confiante, e os fatos estão alinhados com o que a Estrela geralmente sabe. Confie nesta resposta."
- "Alta Incerteza (Alta EU, Baixa AU): A Estrela está agindo confiante, mas o Ator Sombra sabe que isso é uma "lacuna de conhecimento". A Estrela está blefando. Não confie nesta resposta."
- "Alta Incerteza (Alta EU, Alta AU): A Estrela está confusa e não sabe a resposta de jeito nenhum. Não confie nesta resposta."

Por Que Isso é uma Mudança de Jogo

O artigo afirma três superpoderes principais para este método:

É uma Maravilha de "Uma Única Tentativa": Você precisa de apenas uma resposta do LLM de Caixa-Preta para verificar se é confiável. Você não precisa perguntar a ele 10 vezes (economizando tempo e dinheiro).
Funciona em Modelos "Fechados": Você não precisa ver as anotações internas da Estrela. Você só precisa da resposta final. O Ator Sombra descobre o resto.
É Minúsculo e Rápido: O Ator Sombra é incrivelmente pequeno (apenas 1% do tamanho do modelo gigante que ele imita). É como usar uma calculadora de bolso para verificar o trabalho de um supercomputador.

Os Resultados

Os autores testaram isso em várias perguntas difíceis (como fatos médicos, curiosidades e veracidade).

A Pontuação: O método do "Ator Sombra" deles superou todos os outros métodos existentes por uma ampla margem (melhorando a precisão em cerca de 18% a 22%).
A Eficiência: Mesmo com um conjunto de dados minúsculo de apenas 1.000 exemplos para treinar o Ator Sombra, ele funcionou melhor do que métodos que exigem poder computacional massivo.

Analogia de Resumo

Pense no LLM de Caixa-Preta como um mago que tira coelhos de chapéus. Às vezes o coelho é real; às vezes é um truque.

Os métodos antigos eram como pedir ao mago para tirar o coelho 10 vezes para ver se o truque funciona, ou tentar espiar debaixo do chapéu (o que o mago não deixará você fazer).
O DisAAD é como contratar um pequeno aprendiz de mago que assistiu ao mago mestre performar milhares de vezes. O aprendiz aprende o "sinal" específico do mestre (um tremor na mão, um tom de voz específico).
Agora, quando o mago mestre tira um coelho, você apenas pergunta ao aprendiz: "Você viu o 'sinal' do mestre naquele?" Se o aprendiz disser "Sim, ele estava fingindo", você sabe que o coelho é um truque, mesmo que o mestre pareça confiante.

A Conclusão: Este artigo nos dá uma maneira de saber instantaneamente se uma IA superinteligente está dizendo a verdade ou apenas inventando coisas, sem precisar ver seu cérebro ou fazer a mesma pergunta dez vezes.

Resumo Técnico: Estimativa da Incerteza de LLMs de Caixa-Preta com Destilação Adversarial Alinhada à Distribuição

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) alcançaram avanços significativos em raciocínio e geração, mas permanecem propensos a "alucinações" — geração de informações plausíveis, porém factualmente incorretas. Esse problema é exacerbado em modelos maiores e mais instrutivos, que frequentemente exibem excesso de confiança, criando uma falsa sensação de confiabilidade. Embora a quantificação de incerteza (UQ) seja uma estratégia promissora de mitigação, os métodos existentes enfrentam limitações críticas quando aplicados a LLMs de caixa-preta (por exemplo, GPT-4, Claude-3) acessíveis apenas via APIs:

Métodos de múltiplas amostras (por exemplo, Entropia Semântica) exigem múltiplas chamadas de inferência para estimar a incerteza, o que é computacionalmente caro e ineficiente para aplicações em tempo real.
Métodos de amostra única que dependem de estados internos (por exemplo, logits, ativações ocultas) são inaplicáveis a modelos de código fechado que não expõem esses parâmetros.
Métodos de autoavaliação frequentemente falham em produzir estimativas credíveis sem ajuste fino específico.

O desafio central abordado por este trabalho é: Como podemos prever a incerteza em tempo real de um LLM de caixa-preta baseando-nos exclusivamente em um único par entrada-resposta, sem acesso a estados internos do modelo ou múltiplas iterações de amostragem?

Metodologia: Destilação Adversarial Alinhada à Distribuição (DisAAD)

Os autores propõem o DisAAD, um framework de duas etapas que aproveita um modelo proxy leve para aproximar a distribuição de saída de um LLM alvo de caixa-preta. O modelo proxy é treinado para "saber se o LLM de caixa-preta sabe ou não", herdando efetivamente as características de incerteza do alvo.

1. Destilação Adversarial Alinhada à Distribuição

A primeira etapa foca no treinamento de um pequeno modelo proxy ( $M_p$ ) para imitar as regiões de alta probabilidade da distribuição de saída do LLM alvo de caixa-preta ( $M_B$ ).

Coleta de Dados: Um conjunto de dados de destilação ( $D_{distill}$ ) é construído consultando o LLM alvo com prompts diversos. Para cada prompt, múltiplas respostas são geradas, e as $M$ respostas superiores com a maior consistência semântica mútua são selecionadas. Essa estratégia isola as regiões de alta probabilidade da distribuição de saída condicional do alvo.
Arquitetura de Treinamento Adversarial: O framework emprega uma configuração de geração-discriminação:
- Gerador (Modelo Proxy): Um modelo base (por exemplo, LLaMA3) ajustado finamente via Adaptação de Baixo RANK (LoRA). Ele aprende a gerar respostas consistentes com o LLM alvo.
- Discriminador: Um modelo treinado para distinguir entre respostas geradas pelo proxy e aquelas do LLM alvo de caixa-preta.
Objetivo de Otimização: O modelo proxy é otimizado para minimizar uma perda composta:
- Perda de Tarefa ( $L_{task}$ ): Uma perda de destilação em nível de token que alinha as previsões do próximo token do proxy com as respostas do alvo.
- Perda de Regularização ( $L_{reg}$ ): Uma restrição em nível de sequência onde o modelo proxy gera saídas que o discriminador não consegue classificar com confiança como "falsas".
- O treinamento prossegue de forma alternada até que o discriminador não consiga mais distinguir entre as saídas do proxy e do alvo, indicando que o proxy se alinhou com sucesso à distribuição do alvo.

2. Quantificação de Incerteza Guiada pelo Proxy

Na segunda etapa, o modelo proxy treinado é usado para estimar a incerteza para novas consultas ao LLM de caixa-preta.

Reprodução: Dado um prompt de entrada $x$ e a resposta do caixa-preta $y_B$ , o modelo proxy reproduz a resposta para extrair sinais internos (logits) que são inacessíveis de outra forma.
Aprendizado Profundo Evidencial: Os logits extraídos são tratados como parâmetros de evidência para uma distribuição Dirichlet. Isso permite o desacoplamento da incerteza em dois componentes:
- Incerteza Aleatória (AU): Reflete a incerteza dos dados (pico da distribuição). Alta AU indica que o modelo não tem certeza sobre o token específico.
- Incerteza Epistêmica (EU): Reflete a incerteza do modelo (lacunas de conhecimento). Alta EU indica que o modelo carece do conhecimento para fazer uma previsão confiante, mesmo que a distribuição seja pontiaguda (excesso de confiança).
Estimativa de Confiabilidade: A confiabilidade final da resposta é calculada agregando o impacto sinérgico de AU e EU nos tokens mais incertos da sequência.

Contribuições Principais

Novo Paradigma para UQ de Caixa-Preta: O DisAAD elimina a necessidade de acessar estados internos do modelo ou realizar múltiplas iterações de amostragem, permitindo a quantificação de incerteza em tempo real usando apenas um único par entrada-resposta.
Aprendizado de Proxy Alinhado à Distribuição: O artigo introduz um método onde um pequeno modelo proxy aproxima as regiões de alta probabilidade da distribuição de saída de um LLM alvo via destilação adversarial, permitindo que o proxy caracterize a incerteza do alvo.
Validação Empírica: Experimentos extensivos demonstram que um modelo proxy compreendendo apenas 1% do tamanho do LLM alvo pode alcançar desempenho superior de estimativa de incerteza em comparação com as melhores linhas de base existentes.

Resultados Experimentais

O método foi avaliado em três benchmarks: TruthfulQA (veracidade), BioASQ (biomedicina) e TriviaQA (conhecimento geral).

Desempenho: Em configurações de caixa-preta (alvejando GPT-4 e LLaMA2-70B), o DisAAD alcançou uma AUROC média de 0,7321 e uma AUPR de 0,9134. Isso representa uma melhoria substancial sobre as melhores linhas de base, com um aumento médio de 18,2% na AUROC e 22,9% na AUPR.
Comparação com Métodos de Caixa-Branca: Apesar de não ter acesso a estados internos, o DisAAD superou métodos de caixa-branca (incluindo LogTokU, que usa logits) na maioria dos casos. Por exemplo, com o LLaMA2-70B como alvo, o DisAAD melhorou a AUROC em 6,7% sobre o LogTokU.
Eficiência: O framework requer apenas um pequeno conjunto de dados de destilação (aproximadamente 1.000 amostras de 100 prompts) para treinar um modelo proxy eficaz. O desempenho estabiliza após aproximadamente 50 prompts de destilação.
Tamanho do Modelo: Experimentos com tamanhos de proxy variados (1B, 3B, 8B) revelaram uma relação não monotônica, com o modelo de 3B alcançando resultados ótimos. Modelos maiores (8B) tenderam a herdar problemas de excesso de confiança, enquanto modelos menores (1B) careciam da capacidade para modelagem complexa de incerteza.

Significado e Alegações

O artigo afirma que o DisAAD oferece um paradigma mais eficaz e prático para a quantificação de incerteza de LLMs, particularmente para aplicações críticas de segurança envolvendo modelos comerciais de caixa-preta. Ao permitir a detecção de alucinações através de um proxy leve, o método facilita a implantação mais segura e confiável de LLMs, sem a sobrecarga computacional de múltiplas amostragens ou as restrições de privacidade de acessar parâmetros internos.

Os autores reconhecem limitações, observando que o método foca na incerteza em nível de token e pode negligenciar inconsistências semânticas de nível superior. Além disso, a dependência da destilação adversarial introduz uma dependência da qualidade do conjunto de dados de destilação, embora os experimentos sugiram que o método é robusto com amostras limitadas. O trabalho é apresentado como um passo rumo ao aprimoramento da confiabilidade de LLMs de caixa-preta em cenários do mundo real.