💬 NLP

ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning

El artículo presenta ReasonBench, una suite de evaluación que demuestra que el rendimiento del razonamiento de los LLM exhibe una inestabilidad significativa y estructurada a través de ejecuciones repetidas, argumentando así que las evaluaciones de punto único son insuficientes y abogando por una evaluación consciente de la distribución para capturar con precisión las compensaciones entre calidad, costo y confiabilidad.

Autores originales: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

Publicado 2026-06-02

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nearchos Potamitis, Vansh Ramani, Har Ashish Arora, Dhairya Kuchhal, Lars Klein, Akhil Arora

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La gran idea: El problema del "lanzamiento de moneda"

Imagina que contratas a un chef para que prepare un plato específico. Le pides que lo cocine 30 veces.

La forma antigua: Le pides que lo cocine una vez, lo pruebas y dices: "Este chef es un 9/10".
La realidad: Cuando le pides que lo cocine 30 veces más, a veces el plato es un 10/10, otras veces es un 4/10 y otras veces quema la cocina. Sin embargo, el promedio podría seguir pareciendo un 9/10.

Este artículo argumenta que, para los Grandes Modelos de Lenguaje (LLMs) —los cerebros de IA detrás de los chatbots—, nos hemos estado mintiendo a nosotros mismos al mirar solo el promedio.

Los investigadores descubrieron que incluso cuando le dicen a la IA que sea "codiciosa" (es decir, que siempre elija la respuesta más obvia y segura, como un robot sin aleatoriedad), los resultados siguen saltando salvajemente. Una vez resuelve un problema matemático perfectamente; la siguiente vez, falla el mismo problema.

La nueva herramienta: ReasonBENCH

Para demostrar esto, los autores construyeron un laboratorio de pruebas llamado ReasonBENCH. En lugar de pedirle a una IA que resuelva un problema una sola vez, hicieron que resolviera el mismo problema 30 veces seguidas. Hicieron esto para:

12 modelos de IA diferentes (de empresas como OpenAI, Google, Anthropic, etc.).
10 estrategias de pensamiento diferentes (como "Cadena de Pensamiento" [Chain of Thought], "Árbol de Pensamientos" [Tree of Thoughts], o simplemente "Preguntar y Responder").
6 tipos de tareas diferentes (acertijos matemáticos, programación, escribir poemas, responder preguntas complicadas).

Hallazgos clave (Los momentos "¡Ajá!")

1. La "Taxonomía de la Estabilidad" (Los cuatro tipos de chefs)

Los investigadores se dieron cuenta de que la "inestabilidad" no es solo ruido aleatorio. Tiene un patrón. Crearon un mapa con dos ejes:

Ruido Global: ¿Cuánto cambia el rendimiento de la IA dependiendo de qué tarea le des? (¿Es un especialista que solo trabaja en matemáticas pero falla en poesía?)
Ruido de Ejecución (Run Noise): ¿Cuánto cambia el rendimiento de la IA cuando le das la misma tarea dos veces? (¿Es un chef que lanza una moneda para decidir si la sopa sabe bien hoy?)

Encontraron cuatro tipos de sistemas:

Generalistas Estables: Buenos en todo, siempre. (El chef confiable).
Generalistas Ruidosos: Buenos en todo, pero a veces tienen un mal día.
Especialistas Estables: Excelentes en una cosa, terribles en otras, pero consistentes.
Doble Ruido: Impredecibles e inconsistentes.

La sorpresa: El tipo de "estrategia de pensamiento" que utiliza la IA predice en qué categoría cae. Algunas estrategias son naturalmente más caóticas que otras, independientemente de qué tan inteligente sea el modelo de IA.

2. La trampa de "Costo vs. Calidad"

A menudo pensamos: "Si pago más por una IA más inteligente o uso un método de pensamiento más complejo, obtendré mejores resultados".
El artículo dice: No necesariamente.

El fallo costoso: Algunos modelos muy caros y de alta gama, y las estrategias complejas, a menudo fallan más a menudo cuando los ejecutas múltiples veces. Pueden obtener la respuesta correcta en promedio, pero también queman mucho dinero (costos de cómputo) para llegar allí, y a veces simplemente colapsan.
La inmunidad barata: Sorprendentemente, los métodos simples y baratos (como preguntarle directamente a la IA) son "inmunes" a un tipo específico de fallo. Nunca cuestan una fortuna, así que incluso si obtienen la respuesta incorrecta, no han desperdiciado tu dinero.
La analogía: Imagina comprar un boleto de lotería.
- Método barato: Compras un boleto de $1. Pierdes, pero solo perdiste $1.
- Método caro: Compras un boleto "premium" de $1,000. Podrías ganar mucho, pero también podrías perder esos $1,000. El artículo encontró que los boletos caros suelen perder más a menudo de lo que pensamos, incluso si ganan mucho ocasionalmente.

3. ¿Por qué está pasando esto? (No es solo "aleatoriedad")

Podrías pensar: "Oh, la IA solo está lanzando dados para elegir palabras".
Los investigadores probaron esto desactivando el "lanzamiento de dados" (estableciendo la temperatura en 0, lo que obliga a la IA a ser determinista). La inestabilidad no desapareció.

Esto significa que el problema no es solo que la IA esté eligiendo palabras al azar. La inestabilidad proviene de problemas más profundos:

La API: Los servidores que ejecutan la IA podrían estar moviendo datos en segundo plano.
La Estrategia: Algunas formas de pensar (como buscar a través de muchas posibilidades) son inherentemente desordenadas.
El Evaluador: Si la IA tiene que calificar su propio trabajo, y el calificador es un poco inestable, todo el proceso se vuelve inestable.

¿Qué deberíamos hacer? (La conclusión)

El artículo sugiere que necesitamos cambiar la forma en que juzgamos a la IA:

Deja de mirar números únicos: No digas solo "El Modelo A tiene un 85% de precisión". Di "El Modelo A tiene un 85% de precisión, pero oscila entre un 60% y un 95% cada vez que lo ejecutas".
Verifica el "Fallo Conjunto": Al implementar una IA, necesitas saber: "¿Cuáles son las probabilidades de que esta IA sea tanto costosa como errónea?". El artículo muestra que los métodos costosos tienen mucha más probabilidad de ser tanto costosos como erróneos que los métodos baratos.
Arregla el Evaluador, no solo la IA: Si estás usando una estrategia compleja (como un árbol de búsqueda), lo principal que puedes hacer para que sea estable es asegurarte de que el "juez" (la parte que verifica la respuesta) sea perfecto. Arreglar el prompt o el modelo de IA ayuda menos que arreglar al juez.

Resumen

ReasonBENCH es una llamada de atención. Nos dice que el razonamiento de la IA es como un sistema climático, no como un interruptor de luz. No es solo "encendido" o "apagado". Fluctúa. Si solo miramos el reporte del clima promedio, podríamos quedar atrapados en una tormenta. Necesitamos mirar la distribución de los resultados para saber si una IA es realmente confiable o si solo tiene suerte.

Resumen Técnico: ReasonBench: Evaluando la (In)estabilidad del Razonamiento en LLM

Planteamiento del Problema

Los benchmarks actuales para sistemas de razonamiento de Modelos de Lenguaje de Gran Escala (LLM) reportan el rendimiento como estimaciones de punto único (por ejemplo, una única puntuación de precisión). Sin embargo, el artículo sostiene que la generación de un LLM es un proceso inherentemente estocástico. Incluso bajo una decodificación codiciosa (greedy decoding, $T=0$ ), las configuraciones idénticas de modelo–estrategia–tarea pueden producir respuestas, rutas de razonamiento y costos significativamente diferentes a través de ejecuciones repetidas.

Colapsar estos resultados a nivel de ejecución en un único promedio descarta la varianza que distingue a un sistema correctamente fiable de uno que es correcto solo en expectativa. Esta varianza no es meramente un inconveniente estadístico; el artículo demuestra que la estrategia con mayor rendimiento gana solo el 77% de las ejecuciones frente a frente contra su competidor más cercano, y el mejor modelo gana solo el 88%. En consecuencia, una única puntuación observada puede clasificar erróneamente los sistemas de forma silenciosa, lo que conduce a decisiones subóptimas de selección y despliegue de modelos. Además, la literatura existente suele tratar el sesgo (error sistemático) y la varianza (estocasticidad) como propiedades coequilibradas, pero la evaluación de LLM se ha centrado mayoritariamente en reportar solo la primera.

Metodología: REASONBENCH

Para abordar esto, los autores introducen REASONBENCH, una suite de benchmarks y una biblioteca de código abierto diseñada para la evaluación controlada de múltiples ejecuciones. El marco desacopla el método de razonamiento, el entorno de la tarea, la interfaz del modelo y el estado de la evaluación, permitiendo que las estrategias sean reejecutadas a través de tareas y modelos sin cambiar el armazón experimental.

Configuración Experimental:

Alcance: El estudio evalúa 12 modelos de razonamiento contemporáneos (que abarcan proveedores como OpenAI, Anthropic, Google, DeepSeek, etc.) y 10 estrategias de razonamiento representativas (incluyendo IO, CoT, ReAct, Tree of Thoughts, Graph of Thoughts, etc.) a través de 6 tareas diversas (Juego del 24, HumanEval, HotpotQA, Humanity's Last Exam, SciBench y Escritura de Sonetos de Shakespeare).
Protocolo: Cada configuración se ejecuta 30 veces de forma independiente. Este tamaño de muestra está justificado por un análisis de potencia de dos etapas para asegurar la detección de una varianza significativa e intervalos de confianza fiables.
Métricas: El estudio trata la calidad y el costo como distribuciones empíricas en lugar de estimaciones de punto. Introduce dos métricas de ruido primarias:
1. Ruido Global: Captura la irregularidad entre benchmarks (variabilidad estructural) tras la normalización por puntuación z.
2. Ruido de Ejecución: Captura la estocasticidad dentro del benchmark (inestabilidad de ejecuciones repetidas).
Descomposición de la Varianza: Una descomposición jerárquica atribuye la varianza de la puntuación al benchmark, al sistema, a la estructura del ítem y al uso, aislando la varianza residual no explicada.

Contribuciones Clave

1. La inestabilidad es estructurada, no aleatoria

El artículo establece que la varianza es sustancial, dependiente del benchmark y dependiente del eje. A través de una taxonomía de dos componentes (Ruido Global vs. Ruido de Ejecución), los autores muestran que:

La arquitectura de la estrategia predice la estabilidad: La ejecución determinista suprime el Ruido de Ejecución, mientras que la ejecución basada en búsqueda lo amplifica. El cuadrante que ocupa una estrategia en el espacio de ruido es predecible por su arquitectura.
Atribución Jerárquica: Aproximadamente tres cuartas partes de la varianza de la puntuación son estructuradas (atribuibles a las interacciones entre benchmark, sistema e ítem), mientras que un residuo persistente permanece sin explicar por los factores de diseño.

2. Los modelos y las estrategias son ejes no sustituibles

El estudio trata los modelos y las estrategias como ejes ortogonales que desplazan diferentes partes de la distribución de rendimiento:

Los modelos mueven el techo: La elección del modelo determina el rendimiento máximo alcanzable (capacidad).
Las estrategias mueven el procedimiento: La elección de la estrategia determina la varianza de la ejecución y la sensibilidad a nivel de tarea.
Desacoplamiento Costo-Calidad: El costo y la calidad se desacoplan de forma asimétrica. Los métodos económicos son estructuralmente inmunes al "fallo conjunto de costo-calidad" (alto costo y baja calidad simultáneamente), mientras que los métodos costosos siguen expuestos a este riesgo independientemente de su promedio de precisión.

3. Eliminación controlada de fuentes

Los autores prueban sistemáticamente las posibles fuentes de inestabilidad:

Temperatura de Decodificación: La varianza persiste incluso con $T=0$ , lo que descarta el muestreo a nivel de token como la explicación dominante.
Prompts y Parsers: Refinar los prompts y los parsers corrige el sesgo (mejora la calidad media) pero no reduce la varianza entre ejecuciones.
Calidad del Evaluador: Reemplazar evaluadores heurísticos por oráculos de verdad fundamental en estrategias basadas en búsqueda reduce tanto la calidad media como la varianza, identificando al evaluador como una palanca directa de estabilidad.
Esfuerzo de Razonamiento: Aumentar el cómputo en tiempo de prueba (esfuerzo) aumenta el costo de forma monótona pero no mejora la calidad ni reduce la varianza de manera fiable.

4. Infraestructura Abierta

REASONBENCH proporciona una biblioteca modular con abstracciones desacopladas (Método, Agente, Modelo, Estado, Entorno) para facilitar una evaluación reproducible y consciente de la distribución.

Resultados Clave

Distribuciones Superpuestas: Las distribuciones a nivel de ejecución tanto para estrategias como para modelos se superponen sustancialmente. Por ejemplo, en el benchmark HotpotQA, la mejor estrategia (FOA) y su competidor más cercano (TOT-BFS) tienen intervalos de confianza superpuestos, y la mejor estrategia solo supera a la segunda mejor en el 77% de las ejecuciones.
Taxonomía de Ruido: Graficar los sistemas en el espacio (Ruido Global, Ruido de Ejecución) revela cuadrantes distintos. Los modelos tienden a concentrarse en la anti-diagonal (la irregularidad estructural y la inestabilidad estocástica están anticorrelacionadas), mientras que las estrategias pueblan los cuatro cuadrantes según su arquitectura.
Descomposición de la Varianza: En el eje de la estrategia, el 75.2% de la varianza es estructurada; en el eje del modelo, el 73.3% es estructurada. Los efectos de repetición pura representan solo ~1% de la varianza, mientras que las interacciones benchmark-sistema y la dificultad de los ítems predominan.
Asimetría Costo-Calidad: Los métodos costosos (por ejemplo, DeepSeek R1, que es el modelo más caro probado) a menudo exhiben altas tasas de fallo conjunto. Por el contrario, los métodos económicos (por ejemplo, IO, COT) nunca exceden el umbral de costo, lo que los hace inmunes al fallo conjunto incluso si su calidad es menor.
Ineficacia de las Correcciones Comunes: El estudio encuentra que los "ajustes" estándar como bajar la temperatura, refinar los prompts o aumentar el esfuerzo de razonamiento no reducen la varianza. Solo mejorar la fidelidad del evaluador y aumentar la escala del modelo (dentro de una misma familia) muestran efectos estabilizadores.

Significado y Reivindicaciones

El artículo afirma que la inestabilidad es una propiedad inherente de los sistemas de razonamiento, no un artefacto de un mal diseño experimental. Los autores argumentan que:

La estabilidad es parte de la capacidad: Un sistema que resuelve una tarea de forma consistente tiene un perfil de capacidad diferente al de uno que la resuelve solo en expectativa, incluso si sus promedios coinciden.
La evaluación debe evolucionar: Los benchmarks de un solo número son insuficientes. Las prácticas de evaluación deben cambiar hacia el reporte de distribuciones, intervalos de confianza y métricas de ruido (Ruido Global y de Ejecución).
Ortogonalidad de los ejes: Los modelos y las estrategias deben desarrollarse conjuntamente en lugar de tratarse como sustitutos. Un benchmark que discrimina modelos puede no discriminar estrategias, y viceversa.
Despliegue consciente del riesgo: Los profesionales deben presupuestar para el "riesgo de costo-calidad conjunto". Un método nominalmente mejor pero costoso puede dominar en calidad media, pero ser sustancialmente peor en el riesgo de un alto costo y baja calidad simultáneos.

El artículo concluye haciendo un llamado a los "leaderboards conscientes de la distribución" como un estándar de la comunidad y sugiere que la investigación futura debería centrarse en el enrutamiento consciente de la estabilidad y en sistemas de razonamiento co-desarrollados que emparejen adecuadamente los problemas con los pares apropiados de modelo-estrategia.