Resumo Técnico: Recompensando a Humildade Intelectual em Grandes Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram conteúdo alucinado ou não verificável, particularmente em domínios fatuais, porque seus objetivos de treinamento tipicamente recompensam a geração de respostas independentemente da certeza. Estratégias de mitigação existentes, como o Ajuste Fino Supervisionado (SFT) e o Aprendizado por Reforço com Feedback Humano (RLHF), frequentemente dependem de feedback humano custoso em loop e não modelam explicitamente a incerteza ou ensinam os modelos a se absterem quando não têm certeza. Este trabalho aborda a necessidade de um paradigma de treinamento que incentive explicitamente a "humildade intelectual" — a capacidade de dizer "eu não sei" — para reduzir alucinações sem depender exclusivamente de dados densos de preferência humana.

Metodologia

Os autores propõem uma estrutura de Aprendizado por Reforço com Recompensas Verificáveis (RLVR) modificada. Esta abordagem utiliza uma estrutura de recompensa ternária para guiar o comportamento do modelo:

• Resposta Correta ($r_{correct} = 1$): Recompensada.
• Resposta Incorreta ($r_{wrong} = -1$): Penalizada.
• Abstenção ($r_{abs}$): Recompensada ou penalizada com base em um hiperparâmetro ajustável. O token de abstenção é definido como "Eu não sei".

Configuração Experimental

• Modelos: O estudo avalia o Granite-3.3-2B-Instruct e o Qwen-3-4B-Instruct.
• Datasets:
  • MedMCQA: Um conjunto de dados médicos de múltipla escolha aumentado com uma opção explícita "Eu não sei" para facilitar a verificação.
  • Hendrycks Math: Um conjunto de dados de problemas matemáticos de múltiplos passos e abertos usado para testar a generalização para cenários de não múltipla escolha.
• Estratégias de Treinamento: Os autores comparam três configurações principais usando Otimização de Política Relativa de Grupo (GRPO):
  1. Apenas RL (RL-only): Treinamento direto com o sinal de recompensa ternária.
  2. RL-SFT-Random: Um processo de dois estágios onde o modelo é primeiro treinado via SFT no MedMCQA com 30% das verdades fundamentais (ground truths) substituídas aleatoriamente por "eu não sei" para incentivar a abstenção, seguido de ajuste fino por RLVR.
  3. RL-RTuning: Semelhante ao anterior, mas o passo de SFT visa especificamente perguntas que o modelo base respondeu incorretamente, ensinando o modelo a se abster apenas em falhas conhecidas (baseado nos princípios de R-Tuning).

Design de Recompensa

A função de recompensa $R(y)$ é definida como:
$$R(y) = \begin{cases} 1 & \text{se } y \text{ está correto} \\ r_{abs} & \text{se } y = \text{"Eu não sei"} \\ -1 & \text{se } y \text{ está incorreto} \end{cases}$$
Para o MedMCQA, uma recompensa de formato também é aplicada para impor uma estrutura de marcação estrita do tipo XML (<reasoning>, <answer>) para garantir estruturas de saída verificáveis.

Principais Resultados

1. Troca (Trade-off) entre Acurácia e Abstenção

Os experimentos revelam uma troca clara e ajustável controlada pela recompensa de abstenção ($r_{abs}$):

• Recompensas Moderadas: Definir $r_{abs}$ como valores positivos pequenos ou ligeiramente negativos (ex: $-0,25$a$0,3$) reduz consistentemente as respostas incorretas (alucinações) sem causar uma degradação severa na acurácia geral em tarefas de múltipla escolha.
• Sensibilidade do Modelo: Modelos maiores (Qwen-3-4B) exibem maior robustez aos incentivos de abstenção em comparação com modelos menores (Granite-3.3-2B). Por exemplo, no MedMCQA, o Qwen-3-4B com $r_{abs}=0,3$ reduziu as respostas incorretas de 32,5% para 10,3%, mantendo 48,0% de correção, embora tenha aumentado a taxa de "Eu não sei" para 41,0%.

2. Desempenho das Variantes de Treinamento

• Apenas RL (RL-only): Eficaz na redução de alucinações no MedMCQA, mas teve dificuldades com o Hendrycks Math. Os autores atribuem isso à "insuficiência de exploração", onde a hesitação inicial do modelo base em usar o token "eu não sei" impede que o algoritmo de RL aprenda o comportamento em cenários abertos.
• RL-SFT-Random: Esta abordagem mitigou com sucesso o problema de exploração. No Hendrycks Math, reduziu as respostas incorretas em aproximadamente 28% com apenas 10% de perda de acurácia. No entanto, no MedMCQA, recompensas de abstenção mais altas nesta configuração levaram a um declínio monotônico na correção, conforme o modelo se tornava excessivamente cauteloso.
• RL-RTuning: Contrário às expectativas, este método teve um desempenho inferior ao RL-SFT-Random. Os autores hipotetizam que o passo de SFT no RL-RTuning foi dominado por respostas de "Eu não sei" (aprox. 60%), fazendo com que o modelo colapsasse em sua capacidade de responder com confiança, um estado do qual não conseguiu se recuperar durante a fase subsequente de RL.

3. Aberto vs. Múltipla Escolha

Embora o esquema de recompensa ternária tenha funcionado bem para questões estruturadas de múltipla escolha, o QA aberto (Hendrycks Math) exigiu o passo inicial de SFT para superar a relutância do modelo em se abster. Sem esse pré-treinamento, o RL-only falhou em induzir o comportamento de abstenção no domínio aberto.

Significância e Alegações

O artigo afirma que o design de recompensa verificável oferece uma alternativa prática, flexível e de baixo custo aos métodos de alinhamento pesados em humanos para mitigar alucinações. As principais conclusões incluem:

• Viabilidade: Recompensar explicitamente a abstenção é uma estratégia viável para promover a humildade intelectual em LLMs.
• Ajustabilidade: A recompensa de abstenção ($r_{abs}$) atua como um botão de controle direto, permitindo que os profissionais equilibrem a troca entre cautela (reduzindo alucinações) e correção (mantendo a acurácia da tarefa) com base nas necessidades específicas da aplicação.
• Escalabilidade: A abordagem é particularmente eficaz para modelos maiores, que demonstram melhor calibração interna sob incentivos moderados de abstenção.
• Limitações: O estudo reconhece que, embora o método reduza as alucinações, ele não as elimina totalmente, e a estrutura de recompensa ideal varia significamente entre modelos e tipos de datasets (MCQ vs. aberto).

Os autores concluem que, embora os resultados atuais sejam promissores, trabalhos futuros são necessários para otimizar a proporção de amostras de abstenção nos passos de SFT (sugerindo 10–30% em vez de 30% ou mais) para evitar o colapso de capacidade e melhorar ainda mais o desempenho em tarefas de raciocínio aberto.