Resumen Técnico: "Reaching Beyond the Mode: RL for Distributional Reasoning in Language Models"

1. El Problema

Los modelos de lenguaje (LM) modernos, tras su entrenamiento con refuerzo (RL), tienden a colapsar la distribución de respuestas posibles hacia un único modo dominante (la respuesta más probable). Si bien esto es efectivo para tareas de evaluación de benchmark que asumen una única respuesta correcta, resulta inadecuado para escenarios del mundo real donde:

• Existen múltiples respuestas válidas: Como en diagnósticos médicos (diferenciales) o generación de código con múltiples algoritmos correctos.
• Hay incertidumbre irredudible: Debido a información incompleta o ambigua (ej. síntomas médicos no concluyentes).
• Se requiere estimación de incertidumbre: Los sistemas de alto riesgo necesitan no solo respuestas, sino también estimaciones de confianza calibradas para cada hipótesis.

Los métodos actuales de inferencia (como el muestreo repetido best-of-k o la verbalización post-hoc de incertidumbre) son computacionalmente costosos, ineficientes y no alinean el objetivo de entrenamiento con la necesidad de explorar un espacio de respuestas diverso. Además, el entrenamiento estándar con recompensas binarias (RLVR) suprime hipótesis alternativas, llevando a una "colapso de entropía".

2. Metodología: Multi-Answer Reinforcement Learning (Multi-Answer RL)

Los autores proponen un marco de aprendizaje por refuerzo que entrena explícitamente a los modelos para generar distribuciones de respuestas en una sola pasada de inferencia, en lugar de una sola respuesta.

3.1 Formulación del Objetivo

El enfoque se basa en dos variantes principales:

1. Multi-Answer RLVR (Reinforcement Learning with Verifiable Rewards):

   • Objetivo: Entrenar al modelo para generar un conjunto estructurado de $K$ respuestas candidatas distintas ($A = \{a_1, ..., a_K\}$) en una sola cadena de pensamiento.
   • Recompensa: Se utiliza una recompensa a nivel de conjunto que cuenta cuántas de las respuestas generadas pertenecen al conjunto de respuestas verdaderas ($Y^*$).
   • Generalización: Cubre casos desde $N=1, K=1$ (RLVR estándar) hasta $N>1, K \ge N$ (recuperación completa del conjunto de respuestas válidas).
   • Restricción: Se añade una recompensa de formato para asegurar que las $K$ respuestas sean únicas.

2. Multi-Answer RLCR (Reinforcement Learning with Calibration Rewards):

   • Objetivo: Extender el enfoque anterior para que el modelo genere también estimaciones de confianza calibradas ($Q = \{q_1, ..., q_K\}$) para cada respuesta.
   • Recompensa: Combina la recompensa de corrección del conjunto con una puntuación de Brier Multi (una regla de puntuación adecuada).
   • Fórmula: $R_{multi}^{RLCR} = R_{multi}^{RLVR} - \frac{1}{K}\sum (q_i - \mathbb{1}[a_i \in Y^*])^2$.
   • Esto incentiva al modelo a asignar probabilidades que reflejen fielmente la veracidad de cada hipótesis, permitiendo interpretar la salida como una distribución discreta o una distribución de Bernoulli multivariada.

3.2 Implementación Técnica

• Base: Se utiliza el modelo Qwen3-8B.
• Algoritmo: GRPO (Group Relative Policy Optimization) modificado.
• Entrenamiento: Se entrena con un solo paso (1 epoch) utilizando un tamaño de lote efectivo de 1536.
• Formato: Se obliga al modelo a usar etiquetas XML específicas (<answer1>, <confidence1>, etc.) para estructurar la salida.

3. Contribuciones Clave

1. Cambio de Paradigma en el Entrenamiento: Pasar de optimizar para una "mejor respuesta" a optimizar para un "conjunto de respuestas plausibles" y su distribución de probabilidad.
2. Eficiencia Computacional: Demostrar que generar un conjunto de respuestas en una sola pasada es significativamente más eficiente que el muestreo repetido (inference-time scaling) de modelos entrenados para una sola respuesta.
3. Calibración de Incertidumbre: Introducir un mecanismo para que el modelo verbalice no solo las respuestas, sino también sus niveles de confianza de manera calibrada, evitando el sobreconfianza sistemática.
4. Diversidad Sin Sacrificar Precisión: Lograr una mayor cobertura de respuestas correctas sin colapsar la entropía del modelo.

4. Resultados Experimentales

Los autores evaluaron su método en tres dominios: Diagnóstico Médico (DDXPlus), Preguntas Ambiguas (HotPotQA-Modified) y Codificación (MBPP).

4.1 Métricas de Corrección y Cobertura

• Cobertura (Coverage): Los modelos Multi-Answer superaron significativamente a los baselines de respuesta única. En DDXPlus, el modelo Multi-Answer RLVR logró una cobertura promedio de 0.79 respuestas correctas por ejemplo, frente a 0.62 del modelo de respuesta única.
• Top-1 Accuracy: En tareas de codificación (MBPP), el enfoque Multi-Answer mejoró la precisión Top-1 en más de un 50% (de ~0.29 a ~0.49) en comparación con los baselines de respuesta única.
• Diversidad: Los modelos Multi-Answer generaron respuestas más diversas. En DDXPlus, produjeron casi el doble de diagnósticos únicos (8 vs 4) bajo el mismo presupuesto de muestreo.

4.2 Eficiencia Computacional

• Ahorro de Tokens: La generación de un conjunto de $K=3$ respuestas en una sola pasada (Multi-Answer) requirió menos de la mitad de tokens que generar 3 respuestas independientes mediante muestreo repetido (Single-Answer).
  • Ejemplo en DDXPlus: RLVR-Multi usó ~677 tokens vs ~1191 tokens para RLVR-Single (con 3 muestras).
• Redundancia: El muestreo repetido de modelos de respuesta única muestra una alta superposición de n-gramas y cadenas de razonamiento, lo cual el entrenamiento Multi-Answer elimina al forzar la exploración conjunta de hipótesis.

4.3 Calibración

• RLCR Multi: Los modelos entrenados con RLCR Multi mostraron una calibración superior (menor puntuación Brier y ECE) en comparación con RLVR Multi.
• Comportamiento: Mientras que RLVR-Multi tendía a ser sistemáticamente sobreconfiado, RLCR-Multi asignó niveles de confianza más realistas, especialmente en escenarios con múltiples respuestas correctas.

5. Significado e Impacto

Este trabajo presenta una alternativa principista y eficiente a los métodos de escalado en tiempo de inferencia (como best-of-k).

• Alineación con la Realidad: Reconoce que muchas tareas reales no tienen una única solución, sino un espacio de soluciones válidas.
• Eficiencia: Reduce drásticamente el costo computacional para obtener conjuntos de respuestas y estimaciones de incertidumbre, lo cual es crucial para la implementación en producción.
• Seguridad y Toma de Decisiones: Al proporcionar distribuciones de respuestas con confianza calibrada, permite a los sistemas de IA (especialmente en medicina y derecho) comunicar mejor sus limitaciones y explorar alternativas, reduciendo el riesgo de errores por "ceguera de túnel" hacia una sola respuesta.

En resumen, el Multi-Answer RL transforma a los modelos de lenguaje de generadores de "la mejor respuesta" a generadores de "distribuciones de respuestas plausibles", mejorando la diversidad, la precisión en escenarios complejos y la eficiencia computacional.