Resumo Técnico: Alinhando Modelos de Linguagem com Predição Seletiva

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais implantados em domínios de alto risco, como finanças, saúde e direito. Nesses cenários, o custo de uma decisão errônea frequentemente supera significativamente o custo de recorrer a um humano. Os paradigmas padrão de treinamento de LLMs exigem que os modelos respondam a todas as consultas, independentemente de sua certeza interna, levando a "erros confiantes" e alucinações.

Embora a Calibração de Confiança (CC) seja frequentemente vista como um pré-requisito para a Predição Seletiva (SP), os autores argumentam que a CC não é nem suficiente nem necessária para uma SP eficaz.

• CC garante que os escores de confiança atribuídos correspondam à verdadeira probabilidade de correção (ex: uma confiança de 80% implica uma chance de 80% de estar correto).
• SP exige que as predições corretas sejam classificadas acima das incorretas com base na confiança, permitindo que o modelo se abstenha de consultas de baixa confiança para reduzir a taxa de erro no subconjunto selecionado.

O artigo demonstra que uma calibração perfeita não garante uma predição seletiva perfeita (como mostrado na Fig. 1) e, inversamente, uma SP perfeita pode existir com uma confiança mal calibrada se o ranking estiver correto. Métodos de alinhamento existentes, como Aprendizado por Reforço com Recompensas Verificáveis (RLVR) e Aprendizado por Reforço com Recompensas de Calibração (RLCR), focam em métricas de acurácia ou calibração, respectivamente, mas falham em otimizar diretamente o compromisso entre risco e cobertura exigido pela SP.

Metodologia: Aprendizado por Reforço para Recompensa de Seleção (RLSR)

Os autores propõem o RLSR, um novo framework de alinhamento que otimiza diretamente os LLMs para o desempenho de Predição Seletiva usando o algoritmo Group Relative Policy Optimization (GRPO). O objetivo central é minimizar a Área Sob a Curva de Risco-Cobertura (AURC), uma métrica padrão que resume o compromisso entre a taxa de erro (risco) e a proporção de entradas respondidas (cobertura).

Desafios Técnicos Principais e Soluções

A integração da AURC em um framework de aprendizado por reforço apresenta dois desafios primários, os quais o RLSR aborda através de inovações específicas:

1. Recompensas Esparsas e Unilaterais:

   • Desafio: A formulação canônica da AURC apenas penaliza erros (predições incorretas) e não fornece um sinal de recompensa para predições corretas. Isso leva a sinais de aprendizado esparsos e falha em impor uma margem entre a confiança das respostas corretas e incorretas.
   • Solução: Os autores introduzem um objetivo de AURC Elevado (Lifted AURC). Eles reformulam o indicador de erro binário $I\{f(x) \neq y\}$ em uma variável com sinal $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$. Isso cria uma dinâmica de "empurra-puxa" onde as predições corretas recebem recompensas positivas e as incorretas recebem recompensas negativas, incentivando ativamente o modelo a separar as distribuições de confiança de respostas corretas e incorretas.

2. Dependência de Ranking Global:

   • Desafio: A AURC é uma métrica de nível populacional dependente do ranking global de todos os escores de confiança das amostras. O gradiente descendente estocástico (SGD) padrão de mini-lote não pode computar rankings globais sem iterar sobre todo o conjunto de dados, o que anula o propósito de um treinamento de lote eficiente.
   • Solução: O RLSR emprega uma Estratégia de Treinamento em Lote (Batch Training Strategy). Para cada etapa de treinamento, o modelo gera $G$ rollouts para cada um de $B$ prompts. Esses $B \times G$ exemplos são agrupados em um "lote efetivo". Rankings e pesos são computados dentro deste lote agrupado para aproximar a AURC global. Isso permite que o algoritmo permaneça compatível com o GRPO padrão enquanto aproxima a métrica de nível populacional.

Visão Geral do Algoritmo

A função de recompensa $R_{RLSR}$ para uma amostra $i$ é definida como:
$$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{se } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{se } \hat{y}_i \neq y_i \end{cases}$$
onde $\hat{\alpha}_i$ é um peso derivado do ranking da amostra dentro do lote efetivo (baseado na formulação do número harmônico da AURC). O modelo é então atualizado usando a função de vantagem GRPO, que normaliza as recompensas dentro de grupos de rollouts para o mesmo prompt.

Principais Contribuições

1. Alinhamento Direto de SP: Este é o primeiro trabalho a propor o alinhamento direto de LLMs pré-treinados com métricas de Predição Seletiva, em vez de depender de objetivos intermediários como a calibração.
2. Framework RLSR: A introdução de um novo framework de alinhamento que utiliza um objetivo de AURC Elevado e uma estratégia de treinamento baseada em lotes para superar os obstáculos técnicos de otimizar a AURC via RL.
3. Superioridade Empírica: Experimentos abrangentes demonstrando que o RLSR supera bases fortes (RLVR e RLCR) tanto em configurações in-domain quanto out-of-domain.

Resultados Experimentais

Os autores avaliaram o RLSR nos modelos Qwen2.5-7B e Llama-3.1-8B em múltiplos conjuntos de dados (HotPotQA, BigMath e vários benchmarks OOD como GSM8K, GPQA e MedQA).

• Compromisso Risco-Cobertura: O RLSR consistentemente alcançou pontuações AURC menores (indicando melhor desempenho) em comparação ao RLVR e RLCR. Por exemplo, no HotPotQA (in-domain), o RLSR alcançou uma AURC de 0,44, superando significativamente o RLVR (0,56) e o RLCR (0,51).
• Acurácia em Baixa Cobertura: Em cenários de alto risco onde uma baixa cobertura é aceitável para uma alta acurácia, o RLSR mostrou desempenho superior. Com 10% de cobertura no HotPotQA, o RLSR atingiu 66,0% de acurácia, comparado a 45,5% para o RLVR e 53,5% para o RLCR.
• Generalização Out-of-Domain (OOD): O RLSR manteve um desempenho sólido em tarefas OOD, enquanto o RLVR e o RLCR frequentemente degradaram ou mostraram melhorias inconsistentes. Isso sugere que o RLSR aprende um ranking de confiança mais robusto em vez de sofrer overfitting às propriedades distributivas específicas.
• Implantação com Risco Controlado: Em uma simulação de implantação médica (MedQA) com uma meta de acurácia de 75%, o RLSR foi o único método capaz de atingir a acurácia alvo mantendo uma taxa de cobertura razoável. O RLVR falhou em atingir a acurácia alvo independentemente do limiar, e o desempenho do RLCR caiu significativamente no conjunto de teste em comparação ao de validação.
• Separação de Confiança: A análise das distribuições de confiança (Fig. 3) confirmou que a recompensa de AURC Elevado conseguiu criar uma margem (gap) maior entre os escores de confiança das predições corretas e incorretas em comparação com a AURC padrão ou recompensas baseadas em calibração.

Significância e Alegações

O artigo afirma que o RLSR fornece uma abordagem fundamentada para aumentar a confiabilidade dos LLMs para implantação no mundo real. Ao otimizar diretamente o compromisso risco-cobertura, o RLSR permite que os LLMs se abstenham efetivamente de responder quando incertos, reduzindo assim as taxas de erro em aplicações críticas sem a necessidade de intervenção humana para cada consulta.

Os autores enfatizam que, embora a calibração (ECE) seja uma métrica útil, ela não é um substituto para o desempenho de predição seletiva. Otimizar para calibração não melhora necessariamente o ranking de respostas corretas vs. incorretas, que é o requisito fundamental para a SP. Consequentemente, o RLSR representa um caminho mais direto e eficaz para o uso de LLMs em ambientes de alto risco onde o controle de erro é primordial.

Limitações: Os autores observam que seu alinhamento atual foca na métrica holística da AURC. Eles reconhecem que, em configurações práticas de alto risco, um nível de risco específico é frequentemente conhecido de antemão, sugerindo que trabalhos futuros poderiam formular objetivos de maximização de cobertura com risco restrito.