💬 NLP

CARE-RFT: Confidence-Anchored Reinforcement Finetuning for Reliable Reasoning in Large Language Models

El artículo presenta CARE-RFT, un nuevo método de ajuste fino por refuerzo que emplea la divergencia KL inversa sesgada para resolver el compromiso entre el rendimiento del razonamiento y la confiabilidad del modelo, logrando las altas capacidades de razonamiento del RFT sin restricciones mientras preserva la calibración y la fiabilidad del modelo base.

Autores originales: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shuozhe Li, Jincheng Cao, Bodun Hu, Aryan Mokhtari, Leqi Liu, Amy Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante muy inteligente y culto (el modelo de IA) cómo resolver acertijos complejos. Quieres que se convierta en un maestro del razonamiento, capaz de pensar paso a paso y encontrar soluciones creativas. Sin embargo, también quieres que siga siendo honesto y no invente hechos cuando no está seguro.

Este artículo, CARE-RFT, aborda un problema específico que surge cuando intentamos entrenar a estos estudiantes utilizando un método llamado "Refinamiento por Refuerzo" (RFT, por sus siglas en inglés).

El Problema: El "Soñador Excesivamente Confiado" vs. El "Burócrata Cauteloso"

Los autores descubrieron que los métodos de entrenamiento actuales te obligan a elegir entre dos opciones malas:

El Enfoque Sin Restricciones (El Soñador Excesivamente Confiado):
Si dejas que el estudiante aprenda puramente mediante ensayo y error sin reglas estrictas, se vuelve muy bueno resolviendo acertijos difíciles. ¡Empieza a pensar fuera de la caja! Pero también comienza a alucinar. Se vuelven tan confiados en sus respuestas que inventarán hechos falsos con total seguridad o mentirán sobre cosas que no saben. Pierden su "calibración", lo que significa que su confianza no coincide con su precisión real.
- Analogía: Es como un estudiante que memoriza la clave de respuestas de un examen de matemáticas pero no entiende las matemáticas. Si el examen cambia ligeramente, simplemente adivina de forma errática y segura, obteniendo la respuesta correcta por suerte pero fallando en ser fiable.
El Enfoque con Restricción RKL (El Burócrata Cauteloso):
Para detener las mentiras, los investigadores suelen añadir una "correa de seguridad" llamada KL Inversa (RKL). Esto obliga al estudiante a permanecer muy cerca de su personalidad original preentrenada. Esto los mantiene honestos y factuales.
- El problema: La correa es demasiado apretada. Castiga al estudiante por intentar algo nuevo o diferente. Debido a que tienen miedo de desviarse del camino "seguro", dejan de aprender cómo resolver acertijos difíciles y complejos. Se mantienen honestos, pero dejan de ser inteligentes.

La Solución: CARE-RFT (El Entrenador con "Anclaje de Confianza")

Los autores proponen un nuevo método llamado CARE-RFT. Piensa en esto como un entrenador inteligente que sabe exactamente cuándo aflojar la correa y cuándo apretarla.

En lugar de una regla única y rígida, CARE-RFT utiliza una herramienta especial llamada Skew Reverse KL (KL Inversa Sesgada). Así es como funciona usando una metáfora simple:

El concepto del "Ancla": Imagina que el estudiante es un bote, y el modelo original, bien entrenado, es un ancla pesada.
RKL Estándar (La vieja forma): El ancla es una cadena gigante e inquebrantable. Si el bote intenta derivar incluso un poco hacia aguas nuevas y desconocidas (explorando nuevos caminos de razonamiento), la cadena lo tira violentamente hacia atrás. El bote permanece seguro pero nunca explora.
RFT Sin Restricciones (La otra forma): El ancla se corta. El bote puede ir a cualquier parte, pero podría chocar contra las rocas (alucinaciones) o derivar hacia un acantilado (descalibración).
CARE-RFT (La nueva forma): El ancla es un amarre inteligente y ajustable.
- Cuando el estudiante no está seguro: Si el bote deriva hacia aguas neblinosas e inciertas, el amarre tira con fuerza, manteniendo al estudiante anclado en el conocimiento factual y seguro del modelo base. Esto evita las alucinaciones.
- Cuando el estudiante tiene confianza y es recompensado: Si el estudiante intenta un nuevo camino y este funciona (recibe una recompensa alta), el amarre se relaja. Le permite derivar más allá para explorar y aprender razonamientos complejos, pero solo porque ha demostrado que va por el camino correcto.

¿Qué sucede cuando usas CARE-RFT?

El artículo realizó experimentos en diferentes modelos de IA (como Qwen2.5) y descubrió que CARE-RFT logra "lo mejor de ambos mundos":

Mantiene la inteligencia del "Soñador": Los modelos se volvieron tan buenos como los modelos sin restricciones propensos a las alucinaciones para resolver problemas difíciles de matemáticas y razonamiento.
Mantiene la honestidad del "Burócrata": Los modelos se mantuvieron tan confiables y factualmente precisos como los modelos cautelosos con la correa puesta. Dejaron de inventar hechos y sus niveles de confianza coincidieron con su desempeño real.

El secreto de la "Entropía"

Los autores también analizaron la "entropía" (una medida de incertidumbre) de los modelos durante el entrenamiento.

Los modelos Sin Restricciones se volvieron "frágiles": su incertidumbre colapsó a cero demasiado rápido, haciéndolos excesivamente confiados y propensos a errores.
Los modelos RKL se mantuvieron demasiado "difusos" e inseguros para aprender tareas difíciles.
CARE-RFT encontró una "zona Goldilocks" (punto óptimo). Permitió que los modelos se volvieran lo suficientemente seguros para resolver problemas difíciles, pero no tanto como para dejar de cuestionarse a sí mismos.

Resumen

En resumen, CARE-RFT es una nueva técnica de entrenamiento que actúa como una red de seguridad inteligente. Permite que los Grandes Modelos de Lenguaje exploren nuevas y complejas estrategias de razonamiento sin perder el contacto con la realidad. Demuestra que no tienes que elegir entre ser un razonador brillante y un verificador de hechos confiable; con el enfoque adecuado de "anclaje de confianza", puedes ser ambas cosas.

Resumen Técnico: CARE-RFT

Planteamiento del Problema

El Ajuste Fino por Refuerzo (RFT, por sus siglas en inglés) ha surgido como un paradigma fundamental para desbloquear capacidades de razonamiento emergentes en los Modelos de Lenguaje Grande (LLMs), ejemplificado por modelos como DeepSeek-R1-Zero. Sin embargo, los autores identifican un compromiso crítico entre el rendimiento del razonamiento y la confiabilidad del modelo:

RFT sin restricciones: Aunque algoritmos como la Optimización de Política Relativa de Grupo (GRPO) sin restricciones logran una precisión de razonamiento superior, comprometen severamente la confiabilidad del modelo. La eliminación de las restricciones conduce a un "refuerzo indiscriminado", donde el modelo refuerza cadenas de pensamiento completas (incluyendo pasos intermedios lógicamente erróneos) si el resultado final es correcto. Esto resulta en un aumento de las tasas de alucinación, una degradación de la veracidad en benchmarks de recuperación y una mala calibración (alto Error de Calibración Esperada, o ECE).
RFT con restricción RKL: Para mitigar las alucinaciones, los enfoques estándar imponen una penalización de divergencia de Kullback–Leibler Inversa (RKL) para mantener la política entrenada ( $\pi_\theta$ ) cerca de una política de referencia ( $\pi_{ref}$ ). Si bien esto preserva la calibración y la veracidad, la penalización RKL es ilimitada. Impone penalizaciones infinitas en los tokens donde el modelo de referencia asigna una probabilidad baja, lo que efectivamente sofoca la exploración de nuevas rutas de razonamiento de alta recompensa que se desvían del modelo base. En consecuencia, las ganancias en razonamiento son limitadas en comparación con el RFT sin restricciones.

El desafío central es diseñar un método de regularización que permita la exploración necesaria para el razonamiento mientras evita las desviaciones sin anclaje que causan alucinaciones y mala calibración.

Metodología: CARE-RFT

Los autores proponen CARE-RFT (Finetuning de Refuerzo Regularizado con Anclaje de Confianza), que reemplaza la penalización RKL estándar con una divergencia de Skew Reverse KL (SRKL) (Divergencia de KL Inversa Sesgada).

Fundamento Teórico

La divergencia RKL estándar ( $D_{RKL}$ ) penaliza las desviaciones donde $\pi_\theta$ asigna probabilidad a tokens que $\pi_{ref}$ considera improbables. Esta penalización crece de forma ilimitada a medida que $\pi_{ref}(o_t) \to 0$ , impidiendo que el modelo explore estrategias de razonamiento potencialmente correctas pero de baja probabilidad.

CARE-RFT introduce un parámetro de sesgo $\alpha \in (0, 1)$ para definir una distribución mixta. La divergencia SRKL se define como:
$D_{SRKL}^\alpha (\pi_{ref} \| \pi_\theta) = \sum_{o_t \in V} \pi_\theta(o_t) \log \frac{\pi_\theta(o_t)}{\alpha \pi_\theta(o_t) + (1-\alpha)\pi_{ref}(o_t)}$

Mecanismos Clave

Penalización Anclada a la Confianza: La penalización SRKL es sensible a la confianza.
- Desviaciones Ascendentes (Exploración): Cuando el modelo tiene confianza ( $\pi_\theta$ es alta) y es consistentemente recompensado, la penalización por aumentar la probabilidad en un token es limitada. El término $\log(1/\alpha)$ sirve como un límite superior finito. Esto permite al modelo acumular masa de probabilidad en patrones de razonamiento novedosos y de alta recompensa sin ser reprimido por la baja probabilidad del modelo de referencia.
- Desviaciones Descendentes (Preservación): Cuando el modelo intenta reducir la probabilidad en los tokens que el modelo de referencia favorece (o cuando el modelo tiene incertidumbre), la penalización permanece ilimitada (divergiendo a $-\infty$ conforme la razón se acerca a 0). Esto asegura que el modelo no se aleje de los priors bien calibrados del modelo base, preservando el fundamento fáctico.
Estabilidad de Gradiente: El coeficiente de gradiente de SRKL está acotado para movimientos ascendentes, mitigando el "estallido de gradiente" (gradient blow-up) y la varianza del estimador que se observa frecuentemente con la RKL estándar cuando el modelo de referencia asigna una probabilidad cercana a cero a los tokens muestreados.

Configuración Experimental

Los autores evaluaron CARE-RFT a través de múltiples escalas de modelos (Qwen2.5-3B y 7B) y tres algoritmos distintos de RFT:

GRPO: La optimización de política relativa de grupo fundacional.
DAPO: Una variante agresiva y sin restricciones.
GSPO: Un enfoque reciente de optimización a nivel de secuencia.

Benchmarks:

Razonamiento: MATH y GSM8K (medidos por Pass@4).
Confiabilidad/Veracidad: TruthfulQA y SelfAware (medidos por Pass@1).
Calibración: Error de Calibración Esperada (ECE) en TruthfulQA.

Resultados Clave

Los experimentos demuestran que CARE-RFT logra romper el compromiso entre precisión y calibración:

Rendimiento de Razonamiento: CARE-RFT iguala el rendimiento de razonamiento del RFT sin restricciones. Por ejemplo, usando GRPO en Qwen2.5-3B, CARE-RFT alcanzó una puntuación en MATH de 0.600, casi idéntica a la versión sin restricciones (0.610) y significativamente superior al GRPO con restricción RKL (0.510).
Confiabilidad y Calibración: A diferencia del RFT sin restricciones, que sufrió caídas severas en la precisión de TruthfulQA y un alto ECE, CARE-RFT recuperó la confiabilidad del modelo base.
- TruthfulQA: CARE-GRPO obtuvo 0.465, cercano al modelo base (0.489) y al RKL-GRPO (0.480), mientras que el GRPO sin restricciones cayó a 0.350.
- ECE: CARE-RFT mantuvo un ECE bajo (0.132), comparable a los métodos con restricción RKL (0.125) y significativamente mejor que los métodos sin restricciones (0.210).
Dinámicas de Entrenamiento: El análisis de la entropía de los tokens reveló que el RFT sin restricciones conduce a un colapso catastrófico en la entropía (exceso de confianza), mientras que RKL mantiene una entropía alta pero limita el perfeccionamiento. CARE-RFT logra una reducción de entropía controlada, permitiendo al modelo perfeccionar las distribuciones para el razonamiento sin colapsar en la excesiva confianza.

Significado y Reivindicaciones

El artículo sostiene que la regularización cuidadosa y consciente de la confianza es la clave para construir modelos de razonamiento tanto capaces como confiables.

Resolución del Compromiso: CARE-RFT resuelve la tensión entre la necesidad de exploración (para desbloquear el razonamiento) y la necesidad de restricción (para prevenir alucinaciones) mediante la introducción de una penalización de un solo lado y limitada.
Generalizabilidad: El método se presenta como una capa de regularización de "caída directa" (drop-in) compatible con varios algoritmos de RFT (GRPO, DAPO, GSPO) y escalas de modelos.
Perspectiva Mecanicista: El trabajo establece que el fallo del RFT sin restricciones no es simplemente la falta de restricciones, sino la naturaleza indiscriminada de las recompensas a nivel de resultado. Al pasar a restricciones a nivel de token y conscientes de la confianza, el modelo puede aprender patrones de razonamiento complejos sin sacrificar los priors fácticos del modelo base.

Los autores concluyen que su enfoque permite a los modelos alcanzar el "momento aha" del razonamiento emergente manteniendo la fiabilidad requerida para aplicaciones de alto riesgo, sin necesidad de las penalizaciones ilimitadas que sofocan el aprendizaje en el RFT tradicional con restricción RKL.