🤖 machine learning

On the Effect of Sampling Diversity in Scaling LLM Inference

Este artículo proporciona un análisis teórico y empírico sistemático que demuestra que la introducción de una diversidad de prompts significativa durante la inferencia de los LLM mejora significativamente el rendimiento de escalado de Best-of- $N$ al reducir las tasas de error, estableciendo al mismo tiempo un principio de compromiso entre diversidad y fidelidad para guiar estrategias de muestreo efectivas.

Autores originales: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Publicado 2026-08-11

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas realmente difícil, como un problema matemático complejo o escribiendo una pieza de código. Tienes un amigo robot superinteligente (un Modelo de Lenguaje Grande) que puede ayudarte. Pero aquí está el truco: si le haces al robot la misma pregunta exactamente de la misma manera diez veces, podría darte diez respuestas que se ven casi idénticas. Podrían estar todas mal de la misma manera, o podrían quedarse todas atrapadas en el mismo pequeño rincón del espacio de soluciones. Esto es como pedirle direcciones a un amigo diez veces y recibir el mismo giro equivocado cada vez porque está pensando en un bucle.

Para solucionar esto, los científicos han descubierto un truco llamado "escalado de inferencia". En lugar de solo preguntarle al robot una vez, le preguntas muchas veces y eliges la mejor respuesta. Pero para que esto funcione, necesitas que el robot explore diferentes caminos, no solo el mismo una y otra vez. Este artículo profundiza en una pregunta específica: ¿Cómo hacemos que las respuestas del robot sean más diferentes entre sí sin que empeoren? Los investigadores descubrieron que si empujas el pensamiento del robot con pistas ligeramente diferentes, pero aún relevantes, este explora un mundo mucho más amplio de posibilidades y encuentra la respuesta correcta con mucha más frecuencia. Sin embargo, también descubrieron una trampa: si intentas elegir la respuesta "más popular" entre todos los intentos, todo ese arduo trabajo de explorar nuevos caminos podría de hecho desvanecerse, y no obtendrás mejores resultados.

La búsqueda de la gran idea: Por qué mezclar las cosas ayuda a los robots a pensar mejor

Así que, tienes un robot de IA superinteligente. Es excelente escribiendo historias, resolviendo matemáticas y programando. Pero a veces, cuando le haces una pregunta difícil, se queda estancado en una rutina. Es como un perro persiguiendo su propia cola; sigue corriendo en el mismo círculo, generando el mismo tipo de respuesta una y otra vez. En el mundo de la IA, esto se llama falta de "diversidad".

Los investigadores detrás de este artículo querían saber: ¿Qué pasa si obligamos al robot a romper ese círculo? ¿Qué pasa si le hacemos la misma pregunta, pero retocamos la forma en que la planteamos solo un poco? Tal vez le decimos: "Imagina que eres un profesor de matemáticas estricto", o "Piensa como un escritor creativo", o incluso simplemente le damos una forma ligeramente diferente de plantear el problema. Esto se llama "muestreo de diversidad".

La gran idea es simple: Si le pides al robot que intente 100 formas diferentes de resolver un problema, y esas 100 formas son muy diferentes entre sí, tienes muchas más probabilidades de que al menos una de ellas sea la respuesta correcta. Esta es la estrategia "Best-of-N" (el mejor de N): intenta muchas cosas, elige la mejor. Pero la pregunta del millón es: ¿Cómo haces que esas 100 cosas sean diferentes sin que se vuelvan tontas o erróneas?

El punto ideal: Ni demasiado aburrido, ni demasiado raro

Los autores se lanzaron a la caza del "empujón" perfecto. Probaron diferentes formas de sacudir el pensamiento del robot.

Primero, probaron con ideas irrelevantes. Imagina pedirle a un robot que resuelva un problema matemático, pero le dices que primero piense en hornear un pastel. Eso es solo ruido. No ayuda. El robot se confunde y sus respuestas empeoran.

Luego, probaron con repeticiones exactas. Imagina hacerle la misma pregunta al robot diez veces con las mismas palabras exactas. Solo te da la misma respuesta diez veces. Sin ideas nuevas, sin mejores resultados.

Pero entonces, encontraron el Punto Ideal. Probaron dar al robot ideas "alineadas con la tarea". Para un problema de matemáticas, podrían decirle: "Piensa en dividir el problema en pasos más pequeños", o "Considera usar un teorema específico". Estas pistas eran lo suficientemente diferentes como para que el robot explorara nuevos caminos, pero seguían siendo sobre el problema matemático en sí.

Los resultados fueron asombrosos. Cuando usaron estas pistas "justo adecuadas", la tasa de éxito del robot aumentó significamente. Por ejemplo, en una prueba de programación llamada HumanEval, usar una estrategia llamada "Dual" (donde un segundo robot ayuda a generar ideas) mejoró la tasa de éxito en un 4.7% en comparación con simplemente preguntarle al robot normalmente. En una prueba de matemáticas llamada MATH, la mejora fue del 8.2%. En una prueba de razonamiento llamada MMLU-Pro, saltó un 10.8%.

El artículo sugiere que existe un "intercambio de diversidad-fidelidad". Quieres que las pistas sean lo suficientemente diferentes como para crear nuevos caminos (diversidad), pero no tanto como para arruinar la calidad de la respuesta (fidelidad). Es como añadir especias a una sopa: un poco la hace deliciosa, pero demasiada la hace incomible, y no poner nada de especias la hace aburrida.

La trampa: Por qué el "voto" puede matar tu éxito

Aquí es donde la historia da un giro. Los investigadores también analizaron cómo elegimos la respuesta final. Usualmente, cuando tienes 100 respuestas diferentes, podrías pensar: "¡Veamos en qué están de acuerdo la mayoría de las personas!". Esto se llama votación por mayoría. Si 51 de 100 robots dicen "La respuesta es 42", entonces 42 debe ser la correcta, ¿verdad?

El artículo dice: No tan rápido.

Demostraron matemáticamente que si utilizas la votación por mayoría, todo ese arduo trabajo que hiciste para hacer que las respuestas fueran diferentes podría ser en vano. ¿Por qué? Porque la votación por mayoría solo funciona si la respuesta más común es la correcta. Pero si haces que las respuestas sean diversas, podrías dispersar los votos. La respuesta correcta podría ser única y brillante, pero si solo aparece 5 veces de 100, y una respuesta incorrecta aparece 20 veces, la votación por mayoría elegirá la incorrecta.

En sus experimentos en el conjunto de datos MATH, descubrieron que cuando usaban la votación por mayoría, los trucos de diversidad sofisticados no ayudaban y, a veces, incluso empeoraban las cosas. El artículo descarta explícitamente la votación por mayoría como una buena estrategia cuando intentas usar la diversidad para encontrar una única respuesta correcta. Es como un jurado donde todos intentan ser únicos; si todos votan por cosas diferentes, nunca se llega a un veredicto.

¿Cuándo funciona esta magia?

Los investigadores no se detuvieron solo en encontrar el truco; lo probaron en todas partes para ver si se mantenía.

Temperatura: Probaron al robot cuando estaba "caliente" (muy aleatorio) y "frío" (muy estricto). Los trucos de diversidad funcionaron en ambos casos, dando impulsos extra sobre lo que la temperatura estaba haciendo.
Pasos de pensamiento: Lo probaron con "Cadena de Pensamiento" (Chain-of-Thought), donde el robot explica sus pasos. Los trucos siguieron funcionando, dando un impulso del 7.4% en una prueba de programación difícil.
¿Quién es el "pensador"?: Utilizaron diferentes robots para generar las ideas. Descubrieron que un robot "pensador" más inteligente hacía que todo el sistema fuera mejor.
¿Cuántas ideas?: Cuantas más ideas únicas inyectabas, mejor eran los resultados. Usar 100 ideas diferentes era mejor que usar solo 1.

Sin embargo, también notaron que este truco funciona mejor para robots más débiles. Si el robot ya es superinteligente (como los modelos más grandes y potentes), el impulso extra es menor. Es como darle un mapa a un genio; probablemente ya sabía el camino. Pero para un robot inteligente pero no genio, el mapa ayuda mucho.

La conclusión

Este artículo es una guía para cualquiera que intente sacar el máximo provecho de los robots de IA. Nos dice que:

La diversidad es buena: Hacer que el robot intente diferentes enfoques ayuda a encontrar la respuesta correcta.
Ten cuidado con el empujón: Las pistas que des deben ser relevantes. Demasiado raras, y fallas. Demasiado aburridas, y no ayudan.
No solo votes: Si quieres encontrar una única respuesta correcta, no elijas simplemente la más popular. Elige la mejor respuesta única de todos los intentos diversos.
Es una herramienta, no una varita mágica: Funciona mejor cuando tienes un presupuesto para potencia de cómputo y cuando lo usas en modelos que no son perfectos.

Los autores no solo adivinaron; realizaron cientos de experimentos y construyeron una teoría matemática para respaldarlo. Demostraron que, al mezclar cuidadosamente la forma en que hacemos las preguntas, podemos hacer que la IA sea más inteligente, más rápida y más confiable, sin necesidad de construir un robot más grande y costoso. Es un recordatorio de que, a veces, la mejor manera de encontrar la respuesta correcta es hacer la pregunta de cien maneras diferentes.

Resumen Técnico: Sobre el Efecto de la Diversidad de Muestreo en el Escalamiento de la Inferencia de LLM

Planteamiento del Problema

El escalamiento de la inferencia de los Grandes Modelos de Lenguaje (LLM) busca mejorar el rendimiento aumentando los recursos computacionales en el tiempo de prueba (por ejemplo, generando múltiples soluciones candidatas y seleccionando la mejor) en lugar de aumentar los parámetros del modelo. Mientras que la no determinación en los LLM (derivada de la decodificación estocástica, límites de precisión y concurrencia) suele verse como un inconveniente que debe eliminarse, este artículo postula que dicha variabilidad es un activo crítico para el escalamiento en el tiempo de prueba.

El problema central abordado es la trampa del "clúster local" en el muestreo estándar de Best-of-N. Cuando un LLM se muestrea repetidamente utilizando el mismo prompt, las salidas suelen converger hacia un conjunto estrecho de soluciones similares debido a los objetivos de post-entrenamiento que priorizan una única respuesta correcta. Esta concentración limita la exploración del espacio de soluciones, impidiendo que el modelo descubra respuestas correctas que se encuentran fuera del clúster local inmediato. El artículo investiga cómo introducir sistemáticamente diversidad de muestreo para romper estos clústeres y mejorar la probabilidad de encontrar una solución correcta, evitando al mismo tiempo la degradación de la calidad de la solución (fidelidad).

Metodología

Marco Teórico

Los autores establecen una perspectiva teórica para explicar por qué la diversidad de soluciones mejora el rendimiento de Best-of-N. Formalizan el proceso de muestreo utilizando una política de diversidad híbrida donde cada intento se configura mediante un modo de decodificación base $\eta$ (por ejemplo, temperatura, semilla) y una fuente de diversidad auxiliar $\xi$ (por ejemplo, perturbación del prompt).

Se postulan dos hipótesis clave:

Dispersión (Variación): La diversidad auxiliar (como la perturbación del prompt) induce variación en la probabilidad de éxito de las soluciones. Si la fuente auxiliar varía, la log-probabilidad de fallo de los intentos debería exhibir una variación significativa (medida por el primer momento absoluto central).
Fidelidad: La fuente de diversidad auxiliar no debe degradar globalmente la calidad de la generación. Un prompt perturbado debería desempeñarse casi tan bien como el prompt base en términos de tasas de éxito de un solo intento.

Basándose en estas hipótesis, los autores derivan el Teorema 3.5, que demuestra que la introducción de diversidad auxiliar conduce a:

Menor Error Asintótico: El conjunto de instancias insolubles (puntos ciegos) se reduce a medida que $N \to \infty$ .
Convergencia más Rápida: El factor de reducción de error mejora con una mayor riqueza de diversidad, lo que genera ganancias más pronunciadas en el rendimiento de Best-of-N.

Principio de Intercambio Diversidad-Fidelidad (Trade-off)

La teoría conduce a un principio de diseño: las perturbaciones efectivas deben alcanzar un equilibrio. Deben ser suficientemente diferentes para crear exploración (potenciando la métrica de dispersión $\hat{\mu}_1$ ) pero suficientemente fieles para evitar dañar la calidad de los intentos individuales (manteniendo baja la pérdida de fidelidad $\epsilon$ ).

Demasiado Irrelevantes: Las perturbaciones que son completamente ajenas al tema degradan la fidelidad ( $\epsilon$ aumenta), anulando las ganancias de diversidad.
Demasiado Similares: Las perturbaciones que son meras paráfrasis o repeticiones literales no logran inducir una dispersión suficiente ( $\hat{\mu}_1$ es pequeño), lo que resulta en ninguna ganancia de rendimiento.
Punto Óptimo (Sweet Spot): Las perturbaciones moderadamente relevantes (por ejemplo, ideas alineadas con la tarea) maximizan la ganancia efectiva.

Estrategias de Perturbación

Guiados por el principio de intercambio, el artículo instancia dos categorías de perturbaciones:

Perturbaciones a Nivel de Tarea: Independientes del contenido específico de la pregunta.
- Inyección de Rol: Asignar personas específicas (por ejemplo, "mentor", "optimizador") al modelo.
- Instrucción Estratégica: Proporcionar guía paso a paso o heurísticas.
Perturbaciones a Nivel de Consulta (Query): Vinculadas directamente a la pregunta específica.
- Inyección de Idea Aleatoria (RandIdeaInj): Utilizar un modelo "pensador" para generar ideas relacionadas con la tarea que se inyectan en el prompt. Las variantes incluyen Single (un modelo), Dual (pensador separado) y Diverse (conjunto de modelos).
- Refraseador de Consulta Aleatorio (RandQReph): Reformular la pregunta mediante paráfrasis o traducción inversa.

Evaluación Experimental

Los autores evalúan estas estrategias a través de tareas de razonamiento (MMLU-Pro), matemáticas (GSM-Hard, MATH) y generación de código (HumanEval, MBPP, APPS). Miden el rendimiento utilizando Pass@k (código) y EM@k (razonamiento/matemáticas) y analizan la diversidad de las soluciones utilizando métricas como TF-IDF, similitud BERT y distancia de Levenshtein.

Las condiciones experimentales clave incluyen:

Variación de las temperaturas de muestreo.
Uso de diferentes modelos "pensadores" para las perturbaciones a nivel de consulta.
Variación de la cardinalidad (número) de las perturbaciones.
Pruebas con razonamiento de Cadena de Pensamiento (CoT).
Comparación contra diferentes métodos de verificación: Oráculo (verdad fundamental), LLM-as-a-Judge (Modelos de Recompensa de Resultado) y Votación por Mayoría.

Resultados Clave

La Diversidad Mejora el Best-of-N: Los resultados empíricos confirman la predicción teórica. Las estrategias que aumentan la diversidad de las soluciones (por ejemplo, RandIdeaInj, inyección de instrucciones) superan consistentemente al muestreo directo. Por ejemplo, en MMLU-Pro, RandIdeaInj logró una mejora del 10.8% en EM@100 sobre el muestreo directo.
Relevancia No Lineal: El rendimiento sigue un patrón de ascenso y caída en relación con la relevancia de la perturbación. Las perturbaciones moderadamente relevantes producen las mayores ganancias, mientras que las perturbaciones irrelevantes o excesivamente similares no mejoran el rendimiento o incluso lo degradan.
Robustez: El muestreo diversificado sigue siendo efectivo a través de:
- Diferentes temperaturas de muestreo.
- La presencia de razonamiento de Cadena de Pensamiento (CoT).
- Verificación mediante LLM-as-a-Judge (Modelos de Recompensa de Resultado).
Dependencia de los Recursos: Las ganancias de rendimiento escalan con la fuerza del modelo "pensador" (utilizado para las perturbaciones a nivel de consulta) y la cardinalidad del conjunto de perturbaciones.
Modo de Fallo de la Votación por Mayoría: El artículo identifica un modo de fallo crítico: la Votación por Mayoría (Majority Voting). Mientras que Best-of-N se beneficia de la diversidad (siempre que exista al menos una respuesta correcta), la votación por mayoría requiere que la respuesta correcta sea el resultado más frecuente. El análisis teórico (Proposición 5.1) y los resultados empíricos en MATH muestran que introducir diversidad puede en realidad reducir la frecuencia de la respuesta correcta si esta distribuye la masa de probabilidad entre alternativas incorrectas, lo que resulta en ninguna ganancia o incluso en la degradación del rendimiento bajo votación por mayoría.
Fuerza del Modelo: El muestreo diversificado produce mayores ganancias relativas para modelos más débiles en comparación con modelos que ya son fuertes, lo que sugiere rendimientos decrecientes para estos últimos.

Significancia y Reivindicaciones

El artículo afirma proporcionar el primer análisis sistemático, tanto teórico como empírico, de cómo la diversidad de muestreo afecta el escalamiento de la inferencia de los LLM. Su significancia radica en:

Fundamento Teórico: Va más allá de las observaciones heurísticas para proporcionar una justificación matemática de por qué la diversidad mejora el escalamiento de Best-of-N, definiendo las condiciones (dispersión y fidelidad) bajo las cuales funciona.
Principios de Diseño: Establece el intercambio diversidad-fidelidad, ofreciendo una guía concreta para que los profesionales diseñen estrategias de perturbación que maximicen la exploración sin sacrificar la calidad.
Identificación de Limitaciones: Identifica explícitamente la votación por mayoría como un modo de fallo para el escalamiento basado en la diversidad, advirtiendo contra la aplicación indiscriminada de estrategias de diversidad sin considerar el protocolo de verificación.
Protocolos Prácticos: El trabajo ofrece directrices accionables, como priorizar las perturbaciones a nivel de tarea para la eficiencia de costos, utilizar modelos pensadores más fuertes cuando el presupuesto lo permita y evitar las estrategias de diversidad para modelos que ya están operando cerca de la saturación.

En resumen, el artículo argumenta que, si bien la no determinación suele suprimirse, es un recurso vital para el escalamiento. Al gestionar cuidadosamente el equilibrio entre explorar espacios de soluciones diversos y mantener la fidelidad de la solución, los profesionales pueden mejorar significativamente el rendimiento de los LLM en tareas de razonamiento, matemáticas y codificación, siempre que el método de verificación (por ejemplo, Best-of-N frente a Votación por Mayoría) esté alineado con la estrategia de diversidad.