Resumen Técnico: Recompensar la Humildad Intelectual en Modelos de Lenguaje de Gran Tamaño

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Tamaño (LLMs) generan frecuentemente contenido alucinado o inverificable, particularmente en dominios fácticos, debido a que sus objetivos de entrenamiento suelen recompensar la generación de respuestas independientemente de la certeza. Las estrategias de mitigación existentes, como el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF), a menudo dependen de una costosa intervención humana y no modelan explícitamente la incertidumbre ni enseñan a los modelos a abstenerse cuando no están seguros. Este trabajo aborda la necesidad de un paradigma de entrenamiento que incentive explícitamente la "humildad intelectual" —la capacidad de decir "no lo sé"— para reducir las alucinaciones sin depender únicamente de datos densos de preferencia humana.

Metodología

Los autores proponen un marco modificado de Aprendizaje por Refuerzo con Recompensas Verificables (RLVR). Este enfoque utiliza una estructura de recompensa ternaria para guiar el comportamiento del modelo:

• Respuesta Correcta ($r_{correct} = 1$): Recompensada.
• Respuesta Incorrecta ($r_{wrong} = -1$): Penalizada.
• Abstención ($r_{abs}$): Recompensada o penalizada según un hiperparámetro ajustable. El token de abstención se define como "No lo sé".

Configuración Experimental

• Modelos: El estudio evalúa Granite-3.3-2B-Instruct y Qwen-3-4B-Instruct.
• Conjuntos de Datos:
  • MedMCQA: Un conjunto de datos médicos de opción múltiple aumentado con una opción explícita de "No lo sé" para facilitar la verificación.
  • Hendrycks Math: Un conjunto de datos de problemas matemáticos de varios pasos y de respuesta abierta utilizado para probar la generalización a escenarios que no son de opción múltiple.
• Estrategias de Entrenamiento: Los autores comparan tres configuraciones principales utilizando Optimización de Política Relativa de Grupo (GRPO):
  1. RL-only: Entrenamiento directo con la señal de recompensa ternaria.
  2. RL-SFT-Random: Un proceso de dos etapas donde el modelo primero es entrenado mediante SFT en MedMCQA, reemplazando aleatoriamente el 30% de las verdades fundamentales con "No lo sé" para fomentar la abstención, seguido de un ajuste fino mediante RLVR.
  3. RL-RTuning: Similar al anterior, pero el paso de SFT se dirige específicamente a las preguntas que el modelo base respondió incorrectamente, enseñando al modelo a abstenerse solo en fallos conocidos (basándose en los principios de R-Tuning).

Diseño de la Recompensa

La función de recompensa $R(y)$ se define como:
$$R(y) = \begin{cases} 1 & \text{si } y \text{ es correcto} \\ r_{abs} & \text{si } y = \text{"No lo sé"} \\ -1 & \text{si } y \text{ es incorrecto} \end{cases}$$
Para MedMCQA, también se aplica una recompensa de formato para imponer estructuras de salida estrictas de tipo XML (<reasoning>, <answer>) para asegurar la verificabilidad.

Resultados Clave

1. Compromiso entre Precisión y Abstención

Los experimentos revelan un compromiso claro y ajustable controlado por la recompensa de abstención ($r_{abs}$):

• Recompensas Moderadas: Establecer $r_{abs}$ con valores positivos pequeños o ligeramente negativos (por ejemplo, de $-0.25$a$0.3$) reduce consistentemente las respuestas incorrectas (alucinaciones) sin causar una degradación severa en la precisión general en tareas de opción múltiple.
• Sensibilidad del Modelo: Los modelos más grandes (Qwen-3-4B) exhiben una mayor robustez a los incentivos de abstención en comparación con los modelos más pequeños (Granite-3.3-2B). Por ejemplo, en MedMCQA, Qwen-3-4B con $r_{abs}=0.3$ redujo las respuestas incorrectas del 32.5% al 10.3%, manteniendo un 48.0% de corrección, aunque aumentó la tasa de "No lo sé" al 41.0%.

2. Desempeño de las Variantes de Entrenamiento

• RL-only: Efectivo para reducir las alucinaciones en MedMCQA, pero tuvo dificultades con Hendrycks Math. Los autores lo atribuyen a una "exploración insuficiente", donde la vacilación inicial del modelo base para usar el token "No lo sé" impide que el algoritmo de RL aprenda el comportamiento en entornos de respuesta abierta.
• RL-SFT-Random: Este enfoque mitigó con éxito el problema de exploración. En Hendrycks Math, redujo las respuestas incorrectas aproximadamente un 28% con solo una pérdida del 10% en la precisión. Sin embargo, en MedMCQA, las recompensas de abstención más altas en esta configuración provocaron un declive monotónico en la corrección a medida que el modelo se volvía excesivamente cauteloso.
• RL-RTuning: Contrario a las expectativas, este método tuvo un desempeño inferior a RL-SFT-Random. Los autores hipotetizan que el paso de SFT en RL-RTuning estuvo dominado por respuestas de "No lo sé" (aprox. 60%), lo que causó que el modelo colapsara en su capacidad de responder con confianza, un estado del cual no pudo recuperarse durante la fase de RL subsiguiente.

3. Preguntas Abiertas vs. Opción Múltiple

Si bien el esquema de recompensa ternaria funcionó bien para preguntas estructuradas de opción múltiple, la IA de respuesta abierta (Hendrycks Math) requirió el paso inicial de SFT para superar la renuencia del modelo a abstenerse. Sin este pre-entrenamiento, el RL-only falló en inducir el comportamiento de abstención en el dominio de respuesta abierta.

Significancia y Reivindicaciones

El artículo afirma que el diseño de recompensa verificable ofrece una alternativa práctica, flexible y rentable a los métodos de alineación intensivos en humanos para mitigar las alucinaciones. Las conclusiones clave incluyen:

• Viabilidad: Recompensar explícitamente la abstención es una estrategia viable para promover la humildad intelectual en los LLMs.
• Ajustabilidad: La recompensa de abstención ($r_{abs}$) actúa como un control directo, permitiendo a los profesionales equilibrar el compromiso entre cautela (reducción de alucinaciones) y corrección (mantenimiento de la precisión de la tarea) según las necesidades específicas de la aplicación.
• Escalabilidad: El enfoque es particularmente efectivo para modelos más grandes, que demuestran una mejor calibración interna bajo incentivos de abstención moderados.
• Limitaciones: El estudio reconoce que, si bien el método reduce las alucinaciones, no las elimina por completo, y que la estructura de recompensa óptima varía significamente entre modelos y tipos de conjuntos de datos (MCQ vs. respuesta abierta).

Los autores concluyen que, aunque los resultados actuales son prometedores, es necesario realizar trabajos futuros para optimizar la proporción de muestras de abstención en los pasos de SFT (sugiriendo un 10–30% en lugar de 30% o más) para evitar el colapso de capacidades y mejorar aún más el desempeño en tareas de razonamiento de respuesta abierta.