Resumo Técnico: Melhoria de Incertezas Baseadas em Consistência em LLMs via Busca em Feixe

Declaração do Problema

A Quantificação de Incerteza (UQ) baseada em consistência emergiu como um método robusto para avaliar a confiabilidade das saídas de Modelos de Linguagem de Grande Escala (LLMs), particularmente em cenários de caixa-preta. Esses métodos geralmente estimam a incerteza medindo o nível de concordância entre múltiplas gerações produzidas via amostragem multinomial.

No entanto, os autores identificam limitações críticas na aplicação da amostragem multinomial a tarefas de Resposta a Perguntas (QA) de formato curto:

1. Alta Redundância: Devido às distribuições de probabilidade acentuadas em respostas curtas, a amostragem multinomial frequentemente produz gerações duplicadas ou quase idênticas. O artigo observa que, para saídas curtas (2–4 tokens), as taxas de redundância podem atingir 30–50%, levando ao desperdício de recursos computacionais.
2. Alta Variância: Como cada execução de amostragem produz um conjunto diferente de candidatos, as estimativas de incerteza resultantes exibem variância significativa entre as execuções, comprometendo sua robustez.
3. Ineficiência: Atingir estimativas estáveis frequentemente requer um grande número de amostras, o que é computacionalmente caro.

O problema central é que a amostragem multinomial falha em explorar efetivamente o espaço de saída do modelo em cenários de formato curto, resultando em estimativas de confiança ruidosas e quantificação de incerteza subótima.

Metodologia

O artigo propõe uma nova família de métodos de UQ que substituem a amostragem multinomial pela Busca em Feixe para gerar saídas candidatas. A metodologia baseia-se em três insights principais:

1. Candidatos Distintos: A busca em feixe mantém inerentemente as $k$ sequências parciais mais prováveis, garantindo saídas candidatas distintas e reduzindo a redundância.
2. Estimação Ponderada por Probabilidade: Tratar simplesmente os candidatos do feixe como amostras uniformes superestimaria saídas de baixa probabilidade. Em vez disso, os autores introduzem um estimador ponderado por importância. Eles normalizam as probabilidades das sequências dos candidatos do feixe ($b^{(i)}$) para formar pesos $w_i$:
   $$w_i = \frac{p(b^{(i)} | x)}{\sum_{j=1}^M p(b^{(j)} | x)}$$
   Esses pesos são então usados para calcular métricas baseadas em consistência (por exemplo, Dissimilaridade, Excentricidade) em vez de usar uma média simples.
3. Justificativa Teórica: Os autores derivam um limite inferior teórico para a massa de probabilidade ($m_B$) do conjunto do feixe necessária para que o estimador ponderado pelo feixe atinja um Menor Erro Quadrático Médio (MSE) do que o estimador Monte Carlo (multinomial) padrão. Eles provam que, se o conjunto do feixe cobrir uma porção suficiente da massa de probabilidade (especificamente $m_B > 1 - \frac{1}{2\sqrt{M}}$ para uma condição simplificada), a abordagem de busca em feixe produz um erro menor.

Métodos Adaptados

Os autores adaptam vários métodos existentes de UQ baseada em consistência para utilizar a busca em feixe:

• Dissimilaridade: Mede a diferença semântica esperada entre a resposta principal e os candidatos do feixe, ponderada por $w_i$.
• Excentricidade: Utiliza um Laplaciano de grafos na matriz de similaridade de todas as amostras (incluindo a resposta principal). Os autores modificam o cálculo de incorporação para usar centróides ponderados por probabilidade.
• Dissimilaridade de Autovetor: Mede a distância da incorporação da resposta principal até a média ponderada das incorporações das amostras no espaço do Laplaciano.
• CoCoA: Um método híbrido que combina probabilidades em nível de token com consistência de amostras. Os autores substituem o sinal de consistência pelo estimador ponderado pelo feixe.

Principais Contribuições

1. Identificação de Limitações: O artigo demonstra empiricamente que a amostragem multinomial leva a alta redundância e variância em QA de formato curto, tornando-a uma escolha subótima para UQ baseada em consistência nesses contextos.
2. Estimadores Ponderados pelo Feixe: A proposta de uma nova família de métodos de UQ que utilizam candidatos de busca em feixe com ponderação por importância para aproximar melhor a distribuição do modelo sem gerar duplicatas.
3. Análise Teórica: A derivação de uma condição suficiente livre de distribuição (Teorema 1) garantindo que o estimador ponderado pelo feixe supere o estimador Monte Carlo multinomial quando o conjunto do feixe captura uma massa de probabilidade suficiente.
4. Validação Empírica: Avaliação extensa em seis conjuntos de dados de QA (TriviaQA, WebQuestions, CoQA, HotpotQA, CommonsenseQA, ARC-Challenge) e seis modelos (Gemma 3, Llama 3.1, Qwen 3).

Resultados

Os experimentos demonstram que substituir a amostragem multinomial pela busca em feixe melhora consistentemente o desempenho dos métodos de UQ baseados em consistência:

• Desempenho de Estado da Arte: Variantes guiadas por feixe de Dissimilaridade, Excentricidade, EigVecDissimilarity e CoCoA alcançam as melhores ou segundas melhores pontuações de Razão de Rejeição de Previsão (PRR) em quase todas as combinações de modelo e conjunto de dados.
• Robustez: Os métodos de busca em feixe mostram variância significativamente menor nas estimativas de incerteza em comparação com a amostragem multinomial.
• Eficiência de Amostragem: As melhorias são mais pronunciadas com orçamentos de amostra pequenos ($M \ge 2$). A busca em feixe atinge pontuações PRR altas com menos candidatos (saturando em torno de $M=5$ para tarefas de resposta aberta e $M=2$ para tarefas de múltipla escolha), enquanto a amostragem multinomial melhora de forma mais gradual.
• Vantagem em Formato Curto: A lacuna de desempenho entre a busca em feixe e a amostragem multinomial é maior para comprimentos de saída curtos (onde a redundância é mais alta) e diminui à medida que o comprimento da saída aumenta.

Significado e Alegações

O artigo alega que a busca em feixe não deve ser descartada como uma estratégia de decodificação para quantificação de incerteza. Embora frequentemente associada a geração determinística e de alta qualidade, os autores argumentam que, quando combinada com ponderação por probabilidade, a busca em feixe fornece um mecanismo mais eficiente e estável para explorar o espaço de saída em QA de formato curto do que a amostragem multinomial estocástica.

O significado deste trabalho reside em:

• Eficiência Prática: Oferece uma maneira de melhorar o desempenho da UQ "essencialmente de graça" em cenários de caixa-branca, pois a busca em feixe é frequentemente já realizada ou pode ser executada com custo adicional negligenciável em comparação com a geração de $M$ amostras multinomiais independentes.
• Fundamentação Teórica: Fornece uma condição formal sob a qual a busca em feixe é comprovadamente superior à amostragem para UQ, indo além de melhorias heurísticas.
• Ampla Aplicabilidade: O método melhora tanto métricas puramente baseadas em consistência quanto métodos híbridos (como CoCoA) que combinam consistência com probabilidades de token, sugerindo uma melhoria generalizável para estimativa de incerteza em tarefas de geração de formato curto.

Os autores permanecem modestos quanto às limitações, observando que sua avaliação está atualmente restrita a cenários de caixa-branca (requerendo acesso às probabilidades do modelo) e conjuntos de dados de QA de formato curto. Eles reconhecem que a generalização para geração de formato longo e cenários de caixa-preta (requerendo estimativa empírica de probabilidade) permanece uma questão em aberto.