Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Resumo Técnico: Second Guess: Detecção de Incerteza por Meio de Abstenção e Estabilidade de Resposta em Modelos de Linguagem Pequenos

Declaração do Problema
Modelos de Linguagem Grandes (LLMs) frequentemente geram respostas confiantes, porém incorretas, em vez de se absterem quando incertos. Essa questão é particularmente aguda para Modelos de Linguagem Pequenos (SLMs), definidos aqui como modelos generativos baseados em transformadores com menos de 10 bilhões de parâmetros. Os SLMs estão cada vez mais sendo implantados em ambientes de borda e móveis, onde restrições computacionais e operação autônoma (muitas vezes sem supervisão humana imediata) tornam necessária uma detecção confiável de incerteza. Os métodos existentes para permitir a abstenção enfrentam limitações significativas: abordagens baseadas em treinamento exigem acesso aos pesos do modelo e retreinamento; métodos baseados em prompts que dependem de autoavaliação de confiança frequentemente falham, pois os modelos não se avaliam com precisão; e métodos de consenso baseados em amostragem incorrem em sobrecarga computacional proibitiva, inadequada para SLMs com recursos limitados.

Metodologia: Second Guess
O artigo propõe o "Second Guess", uma técnica de prompting leve e sem parâmetros, projetada para resposta a perguntas de múltipla escolha (MCQA), que não requer acesso a estados internos ou parâmetros do modelo. O método opera com base na constatação empírica de que modelos com conhecimento estável fornecerão respostas consistentes, independentemente das opções disponíveis, enquanto modelos incertos exibem comportamento instável quando uma opção "Não sei" é introduzida.

A técnica envolve duas passagens diretas por pergunta:

1. Prompt Original: O modelo é solicitado com o conjunto padrão de quatro opções de resposta ($C = \{c_1, c_2, c_3, c_4\}$), gerando a resposta $R_1$.
2. Prompt Aumentado: Uma opção "Não sei" é inserida em uma posição aleatória no conjunto de opções ($C' = \{c_1, c_2, c_3, c_4, \text{"Não sei"}\}$), e o modelo é solicitado novamente para gerar a resposta $R_2$.

A saída final $R$ é determinada comparando as duas respostas:

• Se $R_1 = R_2$, a resposta original é mantida.
• Se $R_1 \neq R_2$ (independentemente do que seja a nova resposta), a saída é classificada como abstenção ("Não sei").

Essa abordagem trata efetivamente as discrepâncias de resposta entre os dois prompts como um sinal de incerteza, exigindo apenas duas consultas por pergunta.

Configuração Experimental
Os autores avaliaram o Second Guess em quatro SLMs ajustados para instruções (variando de 2B a 8B parâmetros: Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B e Qwen3-4B) em quatro benchmarks de MCQA: CommonsenseQA, QASC, MMLU-Pro e SuperGPQA. A avaliação incluiu tanto modelos base quanto modelos ajustados usando Adaptação de Baixo Rank (LoRA).

O método foi comparado a várias linhas de base:

• Prompt Original: MCQA padrão sem aumento.
• Prompt Aumentado: Uma abordagem de passagem única onde "Não sei" é incluído desde o início.
• Autoavaliação: Uma estratégia de dois passos onde o modelo verifica sua própria resposta.
• Limiar de Entropia: Um método post-hoc que converte saídas de alta entropia em abstenções.

Principais Resultados
A avaliação utilizou três métricas: Precisão, Taxa de Erro e Risco Composto (uma combinação de respostas incorretas e casos em que o modelo se abstém, apesar de ter originalmente a resposta correta).

1. Redução do Risco Composto: O Second Guess alcançou a maior melhoria no risco composto de 10,81% em todos os modelos base e conjuntos de dados, superando a melhor linha de base (Autoavaliação em 7,69%) enquanto usava o mesmo número de consultas (duas).
2. Robustez ao Ajuste Fino: Em modelos ajustados, o Second Guess manteve uma melhoria de risco composto de 8%. Em contraste, métodos baseados em entropia degradaram-se significativamente em modelos ajustados, pois o aumento da confiança do modelo tornou a entropia de tokens menos informativa para detecção de incerteza.
3. Relação Inversa com o Desempenho Base: O artigo identifica uma relação inversa entre a precisão base de um modelo e a melhoria obtida com o Second Guess. Modelos com menor precisão base (por exemplo, Llama no SuperGPQA com ~32% de precisão) apresentaram as reduções de risco mais significativas (excedendo 25%), enquanto modelos de alto desempenho tiveram ganhos modestos ou nulos.
4. Mecanismo de Melhoria: A análise das transições de resposta revelou que a redução de risco decorre principalmente da detecção de troca de opções, e não da seleção explícita de "Não sei". Modelos que estavam incertos tendiam a alternar entre opções incorretas quando a opção "Não sei" era adicionada, em vez de selecionar consistentemente o token de abstenção.

Significância e Alegações
O artigo alega que o Second Guess oferece uma solução prática e acessível para melhorar a confiabilidade dos SLMs em contextos críticos para a segurança e autônomos. Sua significância reside em ser:

• Sem parâmetros: Não requer ajuste de hiperparâmetros ou acesso aos pesos do modelo.
• Computacionalmente Eficiente: Exige apenas duas passagens diretas, tornando-o viável para SLMs de caixa-preta e dispositivos de borda, onde métodos baseados em amostragem são excessivamente custosos.
• Eficaz para Modelos de Desempenho Inferior: Alinha-se especificamente à lacuna de confiabilidade em modelos menores e menos capazes, onde a redução de erros é mais crítica.

Os autores observam limitações, reconhecendo que a utilidade do método diminui à medida que a escala do modelo e o desempenho base aumentam, e que a avaliação não incluiu raciocínio de Cadeia de Pensamento (CoT), o que pode alterar as capacidades das linhas de base. No entanto, o trabalho estabelece que a instabilidade comportamental (troca de respostas) é um sinal robusto e detectável de incerteza que pode ser explorado para induzir abstenção sem mudanças arquitetônicas complexas.