Resumo Técnico: SAGE – Alvos de Incerteza Condicionados à Resposta para o Alinhamento da Incerteza Verbal

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram textos fluentes e plausíveis mesmo quando a resposta subjacente é incerta ou não sustentada, levando a alucinações com potenciais consequências graves no mundo real. Embora pesquisadores tenham explorado sinais internos (ex: probabilidades de tokens) e sinais baseados em amostragem para estimar a incerteza, a incerteza verbal — onde o modelo expressa explicitamente sua confiança (ex: "Estou 80% confiante") — oferece um sinal direto e interpretável para os usuários.

No entanto, existe uma lacuna crítica no alinhamento da incerteza verbal: a incerteza expressa muitas vezes falha em refletir a confiabilidade comportamental real do modelo. As abordagens existentes tratam a calibração da incertza como um problema ao nível da resposta (ex: ajuste fino supervisionado em uma única saída ou otimização de preferência pareada). Os autores argumentam que isso é fundamentalmente insuficiente porque uma única resposta não pode revelar se a massa de probabilidade do modelo está concentrada naquela resposta ou dispersa por alternativas plausíveis. Isso cria uma "cegueira distributiva", onde o modelo aprende a mimetizar expressões de incerteza sem aprender a alinhá-las com a estabilidade de sua própria distribuição de respostas.

Além disso, embora os alvos de nível de grupo (usando rollouts repetidos para estimar a incerteza) sejam teoricamente sólidos, os métodos existentes sofrem de um "gargalo de sinal de recompensa":

1. Frequência Máxima de Resposta (MAF): Fiel à estabilidade da resposta, mas grosseiro; ignora a distância semântica e variações de raciocínio, mapeando grupos distintos para pontuações idênticas se a contagem da maioria coincidir.
2. Entropia Semântica (SE): Lida com paráfrases via agrupamento semântico rígido, mas produz recompensas descontínuas e grosseiras. Pequenas mudanças dentro de um cluster não geram sinal, enquanto cruzar fronteiras causa saltos discretos.
3. Entropia de Linguagem de Kernel (KLE): Fornece sinais suaves via similaridade de embedding contínua, mas falha em preservar distinções de respostas críticas para a tarefa. Pode tratar opções mutuamente exclusivas (ex: "A" vs. "B") ou valores numéricos distintos como altamente similares devido à geometria genérica dos embeddings, levando à subestimação da incerteza.

Metodologia

O artigo propõe um framework de duas partes para abordar essas limitações: SAGE (Semantic-Answer Guided Entropy) para construção de alvos e GUPO (Group-Uncertainty Preference Optimization) para treinamento.

1. SAGE: Semantic-Answer Guided Entropy

O SAGE é um alvo de auto-incerteza de nível de grupo projetado para construir uma geometria de incerteza condicionada à resposta. Ele visa ser simultaneamente fiel à resposta, suave na recompensa e preservador de escala.

• Kernel Linguístico: Começa com um kernel de similaridade semântica contínua, $K_{ling}$, baseado no conteúdo portador da resposta $z_i$, medindo a similaridade semântica suave.
• Kernel de Equivalência de Resposta: Para evitar que embeddings genéricos borrem distinções críticas da tarefa, o SAGE introduz um kernel de equivalência de resposta binário e específico para a tarefa, $K_{ans}^{bin}$. Este kernel atribui o valor 1 a respostas equivalentes (ex: mesma etiqueta de múltipla escolha, valor numérico normalizado ou expressão simbólica verificada) e 0 caso contrário.
• Piso Suave (Soft Floor): Para evitar a descontinuidade do agrupamento rígido, o SAGE emprega um mecanismo de "piso suave":
  $$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$$
  onde $c \in [0, 1]$ controla o grau de separação da resposta. $c=0$ impõe separação rígida, enquanto $c=1$ recupera a similaridade linguística pura.
• Kernel Combinado: O kernel final combina similaridades linguísticas e conscientes da resposta:
  $$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$$
• Cálculo de Entropia: A matriz de kernel é normalizada em uma matriz de densidade $P_A$, e o SAGE é definido como a entropia de von Neumann normalizada de $P_A$. Uma entropia menor indica respostas concentradas (baixa incerteza), enquanto uma entropia maior indica dispersão através de significados, caminhos de raciocínio ou respostas finais.

2. GUPO: Group-Uncertainty Preference Optimization

O GUPO é um framework de treinamento que utiliza o SAGE como um sinal de supervisão. Ao contrário dos métodos padrão que otimizam toda a resposta, o GUPO otimiza apenas o canal de incerteza ($v_i$) da resposta $y_i = (z_i, v_i)$.

• Construção de Preferência: Para um grupo de $K$ respostas amostradas, a recompensa $r_i$ é calculada com base na distância entre a incerteza expressa $\hat{u}(v_i)$ e o alvo SAGE $t(G_x)$.
• Otimização: O GUPO aplica uma distribuição de preferência sobre as expressões de incerteza dentro do grupo, otimizando a política para maximizar a log-verossimilhança das expressões de incerteza que melhor correspondem ao alvo de nível de grupo. Isso é formulado como:
  $$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$$
  onde $p_i^{cal}$ é a probabilidade de preferência derivada dos scores de recompensa.

Principais Contribuições

1. Formulação do Problema: Os autores identificam o alinhamento da incerteza verbal como um problema de calibração distributiva e apontam o "gargalo de sinal de recompensa" nos alvos de nível de grupo existentes (MAF, SE, KLE) que limita sua eficácia.
2. Alvo SAGE: Eles introduzem o SAGE, um alvo de entropia inovador que injeta estrutura consciente da resposta na geometria da resposta. Ele preserva a suavidade enquanto corrige a falha de métricas genéricas em distinguir respostas incompatíveis (ex: diferentes etiquetas de opções ou números distintos).
3. Framework GUPO: Eles propõem o GUPO, um framework de otimização de preferência de canal de incerteza que desacopla a calibração da incerteza verbal da otimização do conteúdo total da resposta.
4. Validação Empírica: A abordagem é validada através de três formatos de resposta distintos: QA factual (TriviaQA), raciocínio matemático (MATH-500) e raciocínio de múltipla escolha (MMLU-Pro).

Resultados

Experimentos demonstram que o GUPO + SAGE supera consistentemente os baselines existentes (incluindo Direct Verbalized, CoT, CSFT e LoVeC-DPO) e outros alvos de grupo (MAF, SE, KLE).

• Calibração: O método alcança os menores Brier scores e Erro de Calibração Esperada (ECE) em todos os benchmarks. Por exemplo, no MMLU-Pro, o GUPO+SAGE reduziu o ECE para 0.113 comparado a 0.179 para o segundo melhor baseline.
• Ranking de Incerteza: Melhora significativamente a correlação de Spearman, indicando que a incerteza expressa pelo modelo classifica melhor os exemplos por sua confiabilidade real.
• Precisão Seletiva: O framework gera ganhos substanciais na precisão do subconjunto de alta confiança (ex: +22.4 a +33.0 pontos percentuais no MMLU-Pro em vários limiares de confiança), provando que predições atribuídas a uma incerteza menor são mais propensas a estarem corretas.
• Transferibilidade: As melhorias mantêm-se em diferentes escalas de modelos (Qwen2.5-1.5B, 3B e 7B), sugerindo que o método não depende da capacidade de um backbone específico.

Significância e Alegações

O artigo afirma que a incerteza comportamental de nível de grupo pode ser destilada em expressões de incerteza de resposta única apenas quando tanto a construção do alvo quanto o canal de otimização são devidamente projetados.

• Abordando a Lacuna do Alvo: Os autores argumentam que, sem um alvo confiável e consciente da resposta como o SAGE, os sinais de recompensa colapsam em ruído ou atalhos, impedindo o otimizador de distinguir a incerteza calibrada de padrões superficiais.
• Alinhamento Comportamental: O trabalho muda o paradigma de aprender a "dizer" a incerteza para aprender a "refletir" a estabilidade do próprio comportamento de amostragem do modelo.
• Utilidade Prática: Ao melhorar a ordenação e a escala da incerteza verbal, o framework permite uma tomada de decisão downstream mais eficaz, como confiar, verificar ou abster-se das saídas do modelo.

Limitações: Os autores notam modestamente que seu método alinha a incerteza verbal com a auto-incerteza comportamental (estabilidade da amostragem), não necessariamente com a correção externa (veracidade). Um modelo pode ser estável, mas estar errado. Portanto, o SAGE é apresentado como complementar à calibração baseada em correção e validação externa, e não como um substituto, particularmente em domínios de alto risco como medicina ou direito, onde a evidência específica do domínio é necessária. Além disso, a qualidade do alvo depende da confiabilidade dos módulos de extração de resposta e equivalência.