Resumen Técnico: Escapando de la Lotería de Modos: El Entrenamiento de Respuesta Múltiple Mejora la Generalización de los Modelos de Lenguaje

Declaración del Problema

El ajuste fino de los modelos de lenguaje modernos suele adherirse a una convención de emparejar un único prompt con una única respuesta. Si bien esto es adecuado para tareas de clasificación, resulta inadecuado para la generación abierta donde los prompts suelen admitir múltiples completaciones válidas (por ejemplo, "escribe una función que ordene una lista"). Al entrenar solo con una respuesta por prompt, el modelo queda expuesto a una porción estrecha de una distribución condicional multimodal. Los autores denominan este fenómeno la "lotería de modos", donde los datos de entrenamiento pueden enfatizar repetidamente un subconjunto de modos plausibles (a menudo los más comunes, más fáciles de generar o con mayor recompensa) mientras dejan otros modos válidos y valiosos estadísticamente invisibles.

Los flujos de trabajo existentes suelen generar múltiples candidatos pero seleccionan una única "mejor" respuesta para el entrenamiento (por ejemplo, mediante la maximización de la recompensa). Este artículo argumenta que el campo carece de una explicación fundamentada sobre cuándo es beneficioso retener múltiples respuestas, cuánto beneficio se puede esperar y qué respuestas deberían retenerse.

Metodología y Marco Teórico

El artículo formaliza el Entrenamiento de Respuesta Múltiple (MRT) como el entrenamiento sobre $K > 1$ respuestas por prompt, contrastándolo con el Entrenamiento de Respuesta Única Estándar (SRT, donde $K=1$). La idea teórica central es que los prompts y las respuestas son recursos estadísticos distintos:

• Prompts adicionales reducen la incertidumbre sobre la distribución marginal de entrada ($P(x)$).
• Respuestas adicionales al mismo prompt reducen la incertidumbre sobre la distribución de salida condicional ($P(y|x)$).

1. Ley de Varianza-Presupuesto

Los autores derivan una descomposición estructural de la varianza del estimador de pérdida empírica. Para un modelo fijo $\theta$, la varianza del estimador MRT se descompone como:
$$\text{Var}[\hat{L}_{MRT}(\theta)] = \frac{V_x(\theta)}{N_p} + \frac{V_{y|x}(\theta)}{N_p K}$$
Donde:

• $V_x$ es la varianza entre prompts (incertidumbre sobre la distribución de entrada).
• $V_{y|x}$ es la varianza esperada dentro del prompt (incertidumbre sobre la distribución de salida condicional).
• $N_p$ es el número de prompts distintos.
• $K$ es el número de respuestas por prompt.

Esta descomposición revela un "suelo de prompts": aumentar $K$ reduce el segundo término, pero no puede reducir el primero ($V_x/N_p$). En consecuencia, el MRT produce rendimientos decrecientes una vez que la incertidumbre a nivel de prompt predomina.

Al introducir costos de adquisición ($C_p$ para prompts, $C_r$ para respuestas) y un presupuesto fijo $B = N_p(C_p + K C_r)$, los autores derivan la multiplicidad óptima consciente del costo $K^\star$:
$$K^\star = \sqrt{\frac{V_{y|x}}{V_x} \cdot \frac{C_p}{C_r}}$$
Esta regla sugiere que el MRT es más valioso cuando las respuestas son baratas, los prompts son caros y la distribución de respuesta condicional es altamente diversa (alta $V_{y|x}/V_x$).

2. Límites de Generalización

El artículo proporciona dos límites de generalización complementarios para cuantificar las ganancias potenciales:

• Límite de Bernstein: Muestra que, para un modelo fijo, aumentar $K$ reduce el límite del error de generalización por un factor dependiente de $V_{y|x}/K$, mientras que el término a nivel de prompt permanece sin cambios.
• Límite de Rademacher Jerárquico: Aborda la estructura no i.i.d. de los datos de MRT (prompts repetidos). Demuestra que, a pesar de la estructura jerárquica, la complejidad a nivel de respuesta escala con el número total de pares prompt-respuesta ($N_p K$), en lugar de solo $K$, siempre que se maneje correctamente el supremo sobre la clase de modelos. Esto certifica que las ganancias del MRT sobreviven a la selección del modelo.

3. Selección de Respuesta Consciente del Objetivo

El artículo analiza cómo diferentes estrategias de selección alteran el objetivo de entrenamiento:

• Random-K-of-N (RKoN): Muestrea $K$ respuestas de forma uniforme y aleatoria. Este es el predeterminado imparcial para el ajuste fino distributivo, preservando la distribución de candidatos y reduciendo la varianza del gradiente a una tasa de $1/K$.
• Best-K-of-N (BKoN): Selecciona respuestas basadas en puntuaciones de recompensa. Los autores muestran que esto induce un sesgo persistente en la cola superior. A medida que el grupo de candidatos crece, el BKoN concentra el entrenamiento en el modo dominante de recompensa, lo que puede colapsar modos válidos y desalinear los gradientes con el objetivo distributivo real.
• GRADES (Subconjunto de Diversidad de Recompensa Codiciosa): Un enfoque de optimización submodular que equilibra calidad y diversidad. Proporciona una garantía de aproximación de $(1 - 1/e)$ para retener un equilibrio de respuestas de alta calidad y diversas, actuando como un sustituto práctico del muestreo estratificado.

Resultados Experimentales

Los autores validan su teoría a través de simulaciones controladas y ajuste fino de LLM a gran escala en cuatro dominios: seguimiento de instrucciones (Gold), diálogo (Nectar), alineación de preferencias (UltraFeedback) y generación de código (CodeContests).

1. Descomposición de la Varianza: Las simulaciones controladas confirmaron que aumentar $K$ reduce únicamente el componente de varianza dentro del prompt, acercándose asintóticamente al suelo de prompt predicho.
2. Multiplicidad Óptima: Bajo un presupuesto fijo, el rendimiento de las pruebas siguió una curva en forma de U, con el mínimo ocurriendo cerca del $K^\star$ predicho. Los conjuntos de datos con alta variabilidad de respuesta relativa a la variabilidad de prompt (por ejemplo, CodeContests) mostraron las mayores ganancias de MRT, mientras que los conjuntos de datos pesados en prompts (por ejemplo, Nectar) mostraron mejoras menores.
3. Impacto del Selector:
   • RKoN mejoró consistentemente la pérdida de referencia (ajuste a la distribución condicional) y la cobertura a medida que $K$ aumentaba.
   • BKoN logró puntuaciones de recompensa más altas pero sufrió de menor diversidad y peor verosimilitud de referencia, confirmando el cambio de objetivo.
   • GRADES/DBKoN (Diverse-Best-K-of-N) equilibró con éxito la calidad y la cobertura, superando la selección pura de diversidad o de recompensa en métricas de cobertura de referencia.
4. MRT Implícito: Experimentos con redundancia de prompts (paráfrasis) demostraron que los corpora altamente redundantes pueden imitar los efectos de MRT si las paráfrasis exponen modos condicionales distintos. Sin embargo, si las paráfrasis se emparejan con respuestas casi duplicadas, el beneficio es insignificante.

Significancia y Reivindicaciones

El artículo redefine la multiplicidad de respuesta no como una heurística, sino como un problema de asignación de datos con una guía estadística clara. Sus principales reivindicaciones son:

1. Valor Dependiente del Contexto: El MRT no es universalmente superior; su valor depende de la relación entre la varianza dentro del prompt y la variza entre prompts, así como de los costos relativos de adquisición de datos.
2. Fundamentación Estadística: Cuando las respuestas son baratas y diversas, y los prompts son caros, retener múltiples respuestas es una elección estadísticamente fundamentada que escapa a la "lotería de modos" al entrenar sobre una mayor parte de la estructura condicional.
3. La Selección Importa: La elección del selector es crítica. Mientras que un selector basado en recompensa optimiza para una métrica específica, puede colapsar modos válidos. Para la generalización distributiva, se requiere una selección imparcial (RKoN) o una selección consciente de la diversidad (GRADES).
4. Implícito vs. Explícito: Los corpora grandes y redundantes pueden proporcionar un efecto de "MRT implícito", pero el entrenamiento de respuesta múltiple explícito es más beneficioso en regímenes de baja redundancia donde cada prompt cubre una región distinta de la distribución de la tarea.

Los autores concluyen que el MRT ofrece una forma fundamentada de decidir cuándo la multiplicidad de respuestas vale la pena el costo, yendo más allá de la convención de "un prompt, una respuesta" para modelar mejor la naturaleza multimodal de la generación abierta.