Resumen Técnico: De la Negativa a la Riqueza: Recompensas por Rúbrica para el Aprendizaje por Refuerzo de Alucinaciones en Textos Largos

1. Planteamiento del Problema

La generación de textos largos en los Modelos de Lenguaje Grande (LLM) sufre dos tipos distintos de alucinación: alucinación de hechos (afirmaciones inconsistentes con el conocimiento del mundo) y alucinación de fidelidad (afirmaciones no respaldadas por el contexto proporcionado). Si bien el Aprendizaje por Refuerzo (RL) con recompensas de fundamentación puede mitigar las afirmaciones no respaldadas, introduce un compromiso crítico: los modelos suelen aprender a "negarse" a responder o a proporcionar respuestas excesivamente concisas para evitar penalizaciones, sacrificando así la riqueza (cobertura de información).

Los enfoques existentes para imponer la riqueza dependen de proxies globales como la longitud de la respuesta, el recuento de afirmaciones o la relevancia por pares. Los autores argumentan que estos son insuficientes porque:

• La longitud puede inflarse con relleno.
• El recuento de afirmaciones puede incluir hechos triviales o irrelevantes.
• Los juicios de relevancia genéricos no logran identificar contenido específico dependiente de la pregunta.
• Las recompensas de fundamentación estrictas (por ejemplo, penalizaciones binarias para oraciones no respaldadas) fomentan que los modelos minimicen la salida para maximizar la seguridad, lo que conduce a un colapso de "negativa-a-riqueza" donde los modelos responden menos para evitar la alucinación.

2. Metodología

Concepto Central: Rúbricas de Puntos Clave

En lugar de proxies globales, el artículo propone el uso de rúbricas de puntos clave por muestra. Una rúbrica se define no como una respuesta de oro, sino como una lista de verificación estructurada que especifica la información requerida y opcional que una respuesta rica debe cubrir para una pregunta específica.

• Construcción: Las rúbricas se generan mediante un pipeline de unión de múltiples generadores (GPT-5.4, Gemini-3-Flash-Preview y GPT-OSS-120B) para asegurar una amplia cobertura y evitar omisiones de un solo generador.
• Función: Sirven para un doble propósito: como métrica de evaluación para la cobertura de información y como señal de recompensa en RL.

Variantes de Diseño de Recompensa

El estudio compara cinco estrategias de recompensa en dos familias de modelos (Qwen3-4B y DeepSeek-R1-Distill-Llama-8B):

1. FACT-ONLY (Solo Hechos): Recompensa de fundamentación binaria ($R = G(y)$). Penaliza cualquier oración no respaldada.
2. FACT-PROXY (Proxy de Hechos): Combina la fundamentación con detalle genérico (logaritmo del recuento de afirmaciones respaldadas) y relevancia por pares.
3. RUBRIC-ONLY (Solo Rúbrica): Recompensa la cobertura de la lista de verificación de la rúbrica ($C_{rub}$) sin un término de fundamentación explícito.
4. FACT-RUBRIC (Hecho-Rúbrica): Una combinación aditiva de fundamentación y cobertura de rúbrica.
5. FACT-RUBRIC-REL: Una composición suave de tres componentes que combina fundamentación ($0.5G$), cobertura de rúbrica ($0.4C_{rub}$) y relevancia por pares ($0.1R_{rel}$). Crucialmente, esto evita el "gating" (multiplicativo) donde un fallo de fundamentación anula toda la recompensa.

Protocolo de Entrenamiento

• Algoritmo: GRPO (Optimización de Política Relativa de Grupo).
• Datos: Un conjunto de entrenamiento de 4,000 prompts que comprende 2,000 prompts fundamentados (con contexto) y 2,000 prompts abiertos (sin contexto).
• Mecanismo de Seguridad: Se aplica una penalización de formato si la respuesta es demasiado corta para soportar un juicio de fundamentación significativo, evitando que los modelos "hackeen" la recompensa truncando sus respuestas.

3. Resultados Clave

Rendimiento en Distribución (Benchmarks de Fundamentación)

En benchmarks estándar de fundamentación (FACTS Grounding, LongFact, FActScore):

• FACT-ONLY logra la mayor precisión de fundamentación pero suprime significativamente la cobertura de la rúbrica y el recuento de afirmaciones (por ejemplo, la cobertura de Qwen3-4B cae de 0.459 a 0.334).
• RUBRIC-ONLY maximiza la cobertura pero causa que la precisión de la fundamentación colapse (cayendo a 0.097 en Qwen3-4B).
• FACT-RUBRIC-REL ofrece un equilibrio, manteniendo la fundamentación por encima del modelo base mientras preserva una alta cobertura.

Rendimiento Fuera de Distribución (OOD)

En tareas que requieren completar listas de verificación (CL-bench) y escritura creativa (Arena-Hard):

• Fundamentación Estricta (FACT-ONLY/PROXY): Estas recompensas dañan activamente el rendimiento OOD. En DeepSeek-R1-Distill-Llama-8B, FACT-PROXY reduce las tasas de victoria en escritura creativa a una fracción del rendimiento del modelo base.
• RUBRIC-ONLY: Ofrece los resultados OOD más fuertes, indicando que las señales de cobertura específicas de la pregunta se transfieren bien a diversas tareas.
• FACT-RUBRIC-REL: Es la única variante que mejora tanto la fundamentación en distribución como el comportamiento OOD en comparación con el modelo base. Transfiere con éxito el comportamiento de completado de listas de verificación de las recompensas de rúbrica mientras retiene una fundamentación suficiente.

Sensibilidad del Modelo

El compromiso "negativa-a-riqueza" es consistente tanto en Qwen3-4B como en DeepSeek-R1-Distill-Llama-8B. Sin embargo, el modelo DeepSeek, con destilación de razonamiento, es más sensible a las recompensas de fundamentación dura, exhibiendo un colapso de longitud de respuesta más agudo y una degradación OOD más severa que Qwen.

4. Contribuciones Clave

1. Formalización de la Riqueza: El artículo define la riqueza para respuestas largas como cobertura de información específica de la pregunta en lugar de detalle genérico, enmarcando el RL de alucinación como una mitigación conjunta de errores de hechos y de fidelidad.
2. Pipeline de Rúbricas: La construcción de un pipeline de múltiples generadores para rúbricas de puntos clave por muestra, aplicado a cuatro benchmarks de fundamentación y un conjunto de entrenamiento de RL de 4K.
3. Análisis de Composición de Recompensas: Evidencia empírica de que la composición suave de la fundamentación y la cobertura de la rúbrica (específicamente FACT-RUBRIC-REL) ofrece la mejor frontera de Pareto, equilibrando la seguridad en distribución con la utilidad fuera de distribución.

5. Significado y Reivindicaciones

El artículo afirma que el problema de la "negativa-a-riqueza" surge porque las recompensas que se sobreajustan a la fundamentación enseñan a los modelos a decir menos. La importancia de este trabajo radica en demostrar que:

• La fundamentación por sí sola es insuficiente: Captura el respaldo pero no la completitud.
• Las rúbricas son esenciales: Proporcionan la señal necesaria sobre lo que una respuesta debería contener, no solo sobre lo que debería evitar.
• La composición suave es clave: El gating multiplicativo (donde un fallo de fundamentación anula las recompensas de cobertura) suprime el comportamiento útil. Una combinación aditiva suave permite que los modelos reciban crédito por cubrir puntos requeridos incluso si existen problemas menores de fundamentación, preservando el comportamiento de "estilo lista de verificación" necesario para la generación de textos largos.

Los autores concluyen que las rúbricas por muestra son más efectivas como un complemento de la fundamentación, no como un reemplazo, y que la composición de recompensa propuesta (FACT-RUBRIC-REL) proporciona una solución robusta para entrenar generadores de textos largos que sean tanto fundamentados como ricos.

6. Limitaciones

El estudio está limitado a dos modelos de pesos abiertos relativamente pequeños (Qwen3-4B y DeepSeek-R1-Distill-Llama-8B). Los autores señalan que modelos propietarios o más grandes podrían exhibir sensibilidades diferentes a los gates de fundamentación dura. Además, el rendimiento de libro cerrado de FActScore se mantuvo cerca de cero, atribuido a las limitaciones del conocimiento paramétrico del modelo base más que al diseño de la recompensa.