💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

O artigo apresenta o CARE-RFT, um novo método de ajuste fino por reforço que utiliza a divergência KL reversa assimétrica para resolver o equilíbrio entre o desempenho de raciocínio e a confiabilidade do modelo, alcançando as altas capacidades de raciocínio do RFT não restrito enquanto preserva a calibração e a confiabilidade do modelo base.

Autores originais: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Publicado 2026-02-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um aluno muito inteligente e culto (o modelo de IA) como resolver quebra-cabeças complexos. Você quer que ele se torne um mestre do raciocínio, capaz de pensar passo a passo e encontrar soluções criativas. No entanto, você também quer que ele permaneça honesto e não invente fatos quando não tiver certeza.

Este artigo, CARE-RFT, aborda um problema específico que surge quando tentamos treinar esses alunos usando um método chamado "Reinforcement Finetuning" (RFT - Ajuste Fino por Reforço).

O Problema: O "Sonhador Superconfiante" vs. O "Burocrata Cauteloso"

Os autores descobriram que os métodos de treinamento atuais forçam você a escolher entre duas opções ruins:

A Abordagem Sem Restrições (O Sonhador Superconfiante): Se você deixar o aluno aprender puramente por tentativa e erro sem regras estritas, ele ficará muito bom em resolver quebra-cabeças difíceis. Ele começa a pensar fora da caixa! Mas ele também começa a alucinar. Ele se torna tão confiante em suas respostas que inventará fatos falsos com confiança ou mentirá sobre coisas que não sabe. Ele perde sua "calibração", o que significa que sua confiança não corresponde à sua precisão real.
- Analogia: É como um aluno que memoriza o gabarito de uma prova de matemática, mas não entende a matemática. Se a prova mudar ligeiramente, ele apenas adivinha descontroladamente e com confiança, acertando a resposta por sorte, mas falhando em ser confiável.
A Abordagem Restrita por RKL (O Burocrata Cauteloso): Para impedir as mentiras, os pesquisadores geralmente adicionam uma "coleira de segurança" chamada Reverse KL (RKL). Isso força o aluno a permanecer muito próximo de sua personalidade original pré-treinada. Isso o mantém honesto e factual.
- O Problema: A coleira é muito apertada. Ela pune o aluno por tentar algo novo ou diferente. Como eles têm medo de se desviar do caminho "seguro", param de aprender como resolver quebra-cabeças difíceis e complexos. Eles permanecem honestos, mas deixam de ser inteligentes.

A Solução: CARE-RFT (O Treinador de "Confiança Ancorada")

Os autores propõem um novo método chamado CARE-RFT. Pense nisso como um treinador inteligente que sabe exatamente quando afrouxar a coleira e quando apertá-la.

Em vez de uma regra única e rígida, o CARE-RFT usa uma ferramenta especial chamada Skew Reverse KL. Veja como funciona usando uma metáfora simples:

O Conceito de "Âncora": Imagine que o aluno é um barco, e o modelo original, bem treinado, é uma âncra pesada.
RKL Padrão (O Jeito Antigo): A âncora é uma corrente gigante e inquebrável. Se o barco tentar derivar mesmo que um pouco para águas novas e inexploradas (explorando novos caminhos de raciocínio), a corrente o puxa de volta violentamente. O barco permanece seguro, mas nunca explora.
RFT Sem Restrições (O Outro Jeito): A âncora é cortada. O barco pode ir para qualquer lugar, mas pode bater em rochas (alucinações) ou derivar para um abismo (má calibração).
CARE-RFT (O Novo Jeito): A âncora é um vínculo inteligente e ajustável.
- Quando o aluno está incerto: Se o barco estiver derivando para águas nebulosas e incertas, o vínculo puxa com força, mantendo o aluno fundamentado no conhecimento factual e seguro do modelo base. Isso evita alucinações.
- Quando o aluno está confiante e recompensado: Se o aluno tentar um novo caminho e este funcionar (ele recebe uma recompensa alta), o vínculo relaxa. Ele permite que o aluno derive mais longe para explorar e aprender raciocínios complexos, mas apenas porque ele provou que está no caminho certo.

O Que Acontece Quando Você Usa o CARE-RFT?

O artigo realizou experimentos em diferentes modelos de IA (como o Qwen2.5) e descobriu que o CARE-RFT alcança o "melhor dos dois mundos":

Ele mantém a inteligência do "Sonhador": Os modelos tornaram-se tão bons em resolver problemas difíceos de matemática e raciocínio quanto os modelos sem restrições e propensos a alucinações.
Ele mantém a honestidade do "Burocrata": Os modelos permaneceram tão confiáveis e factualmente precisos quanto os modelos cautelosos e com a coleira. Eles pararam de inventar fatos e seus níveis de confiança correspondem ao seu desempenho real.

O Segredo da "Entropia"

Os autores também observaram a "entropia" (uma medida de incerteza) dos modelos durante o treinamento.

Os modelos Sem Restrições tornaram-se "frágeis" — sua incerteza colapsou para zero rápido demais, tornando-os superconfiantes e propensos a erros.
Os modelos RKL permaneceram muito "vagos" e incertos para aprender tarefas difíceis.
O CARE-RFT encontrou uma zona "Goldilocks" (nem muito quente, nem muito frio). Ele permitiu que os modelos se tornassem confiantes o suficiente para resolver problemas difíceis, mas não tão confiantes a ponto de pararem de questionar a si mesmos.

Resumo

Em suma, o CARE-RFT é uma nova técnica de treinamento que atua como uma rede de segurança inteligente. Ele permite que os Grandes Modelos de Linguagem explorem novas e complexas estratégias de raciocínio sem perder o contato com a realidade. Ele prova que você não precisa escolher entre ser um raciocinador brilhante e um verificador de fatos confiável; com a abordagem certa de "confiança ancorada", você pode ser ambos.

Resumo Técnico: CARE-RFT

Declaração do Problema

O Ajuste Fino por Reforço (RFT - Reinforcement Finetuning) emergiu como um paradigma fundamental para desbloquear capacidades de raciocínio emergentes em Grandes Modelos de Linguagem (LLMs), exemplificado por modelos como o DeepSeek-R1-Zero. No entanto, os autores identificam um compromisso crítico entre desempenho de raciocínio e confiabilidade do modelo:

RFT sem Restrições: Embora algoritmos como a Otimização de Política Relativa de Grupo (GRPO) sem restrições alcancem uma precisão de raciocínio superior, eles comprometem severamente a confiabilidade do modelo. A remoção de restrições leva ao "reforço indiscriminado", onde o modelo reforça cadeias inteiras de pensamento (incluindo etapas intermediárias logicamente falhas) se o resultado final for correto. Isso resulta em aumento nas taxas de alucinação, degradação da factualidade em benchmarks de recuperação e má calibração (alto Erro de Calibração Esperada, ou ECE).
RFT com Restrição RKL: Para mitigar alucinações, abordagens padrão impõem uma penalidade de divergência de Kullback–Leibler Reversa (RKL) para manter a política treinada ( $\pi_\theta$ ) próxima de uma política de referência ( $\pi_{ref}$ ). Embora isso preserve a calibração e a factualidade, a penalidade RKL é ilimitada. Ela impõe penalidades infinitas em tokens onde o modelo de referência atribui baixa probabilidade, efetivamente sufocando a exploração de caminhos de raciocínio inovadores e de alta recompensa que se desviam do modelo base. Consequentemente, os ganhos de raciocínio são limitados em comparação ao RFT sem restrições.

O desafio central é projetar um método de regularização que permita a exploração necessária para o raciocínio, enquanto evita os desvios não ancorados que causam alucinações e má calibração.

Metodologia: CARE-RFT

Os autores propõem o CARE-RFT (Confidence-Anchored Regularized Reinforcement Finetuning), que substitui a penalidade RKL padrão por uma divergência de KL Reversa Assimétrica (SRKL).

Fundamentação Teórica

A divergência RKL padrão ( $D_{RKL}$ ) penaliza desvios onde $\pi_\theta$ atribui probabilidade a tokens que $\pi_{ref}$ considera improváveis. Esta penalidade cresce de forma ilimitada conforme $\pi_{ref}(o_t) \to 0$ , impedindo o modelo de explorar estratégias de raciocínio de baixa probabilidade, mas potencialmente corretas.

O CARE-RFT introduz um parâmetro de assimetria $\alpha \in (0, 1)$ para definir uma distribuição de mistura. A divergência SRKL é definida como:
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

Mecanismos Principais

Penalidade Ancorada pela Confiança: A penalidade SRKL é sensível à confiança.
- Desvios Ascendentes (Exploração): Quando o modelo está confiante ( $\pi_\theta$ é alto) e consistentemente recompensado, a penalidade para aumentar a probabilidade de um token é limitada. O termo $\log(1/\alpha)$ serve como um limite superior finito. Isso permite que o modelo acumule massa de probabilidade em novos padrões de raciocínio de alta recompensa sem ser suprimido pelo baixo valor de probabilidade do modelo de referência.
- Desvios Descendentes (Preservação): Quando o modelo tenta reduzir a probabilidade de tokens que o modelo de referência favorece (ou quando o modelo está incerto), a penalidade permanece ilimitada (divergindo para $-\infty$ conforme a razão se aproxima de 0). Isso garante que o modelo não se desvie dos priors bem calibrados do modelo base, preservando o embasamento factual.
Estabilidade de Gradiente: O coeficiente de gradiente de SRKL é limitado para movimentos ascendentes, mitigando o "estouro de gradiente" (gradient blow-up) e a variância do estimador frequentemente observados com o RKL padrão quando o modelo de referência atribui probabilidade próxima de zero aos tokens amostrados.

Configuração Experimental

Os autores avaliaram o CARE-RFT através de múltiplas escalas de modelos (Qwen2.5-3B e 7B) e três algoritmos distintos de RFT:

GRPO: A otimização de política relativa de grupo fundamental.
DAPO: Uma variante agressiva e sem restrições.
GSPO: Uma abordagem recente de otimização de nível de sequência.

Benchmarks:

Raciocínio: MATH e GSM8K (medidos por Pass@4).
Confiabilidade/Factualidade: TruthfulQA e SelfAware (medidos por Pass@1).
Calibração: Erro de Calibração Esperada (ECE) no TruthfulQA.

Resultados Principais

Os experimentos demonstram que o CARE-RFT consegue quebrar o compromisso entre precisão e calibração:

Desempenho de Raciocínio: O CARE-RFT iguala o desempenho de raciocínio do RFT sem restrições. Por exemplo, usando o Qwen2.5-3B com GRPO, o CARE-RFT alcançou uma pontuação MATH de 0,600, quase idêntica à versão sem restrições (0,610) e significativamente superior ao GRPO com restrição RKL (0,510).
Confiabilidade e Calibração: Ao contrário do RFT sem restrições, que sofreu quedas severas na precisão do TruthfulQA e alto ECE, o CARE-RFT recuperou a confiabilidade do modelo base.
- TruthfulQA: O CARE-GRPO obteve 0,465, próximo ao modelo base (0,489) e ao RKL-GRPO (0,480), enquanto o GRPO sem restrições caiu para 0,350.
- ECE: O CARE-RFT manteve um ECE baixo (0,132), comparável aos métodos com restrição RKL (0,125) e significativamente melhor que os métodos sem restrições (0,210).
Dinâmica de Treinamento: A análise da entropia de tokens revelou que o RFT sem restrições leva a um colapso catastrófico na entropia (excesso de confiança), enquanto o RKL mantém a entropia alta, mas limita o refinamento. O CARE-RFT alcança uma redução de entropia controlada, permitindo que o modelo refine as distribuições para o raciocínio sem colapsar em excesso de confiança.

Significância e Alegações

O artigo afirma que uma regularização cuidadosa e consciente da confiança é a chave para construir modelos de raciocínio tanto capazes quanto confiáveis.

Resolução de Compromisso: O CARE-RFT resolve a tensão entre a necessidade de exploração (para desbloquear o raciocínio) e a necessidade de restrição (para prevenir alucinações) ao introduzir uma penalidade unilateral e limitada.
Generalização: O método é apresentado como uma camada de regularização "plug-and-play" compatível com vários algoritmos de RFT (GRPO, DAPO, GSPO) e escalas de modelos.
Insight Mecanístico: O trabalho estabelece que a falha do RFT sem restrições não é meramente a falta de restrições, mas especificamente a natureza indiscriminada das recompensas ao nível do resultado. Ao mudar para restrições de nível de token ancoradas pela confiança, o modelo pode aprender padrões de raciocínio complexos sem sacrificar os priors fatuais do modelo base.

Os autores concluem que sua abordagem permite que os modelos alcancem o "momento aha" do raciocínio emergente, mantendo a confiabilidade necessária para aplicações de alto risco, sem exigir as penalidades ilimitadas que sufocam o aprendimento no RFT tradicional com restrição RKL.