En el mundo de la inteligencia artificial, los grandes modelos de lenguaje suelen ser juzgados por una pregunta única y sencilla: ¿puede obtener la respuesta correcta? Cuando un usuario pide la solución a un problema matemático, una línea de código o un diagnóstico médico, la prueba estándar es si el modelo produce una respuesta correcta. Este enfoque trata a la máquina como a un estudiante que rinde un examen final, donde solo importa la calificación más alta. Sin embargo, en muchas situaciones del mundo real, una sola respuesta no es suficiente. Un científico que diseña un nuevo fármaco podría necesitar ver diez estructuras químicas diferentes que funcionen, para así poder elegir la que sea más fácil de fabricar. Un ingeniero de software que corrige un fallo de seguridad podría querer varias formas distintas de parchear el código para ver cuál es la más segura. En estos escenarios, el valor de la máquina no reside en su capacidad para producir un único resultado perfecto, sino en su capacidad para generar un conjunto rico de opciones distintas y útiles. El desafío para los investigadores ha sido cómo medir esta capacidad. Las pruebas tradicionales suelen contar cuántas veces acierta el modelo, o simplemente eligen la mejor respuesta de una lista e ignoran el resto. Esto pierde el punto por completo cuando el objetivo es tener una colección diversa de posibilidades válidas para elegir.

Un equipo de investigadores del Centro RIKEN para la Ciencia Computacional en Japón ha desarrollado una nueva forma de abordar este problema. Han creado un campo de pruebas especializado, que llaman "benchmark", diseñado específicamente para ver qué tan bien puede una inteligencia artificial generar una variedad de respuestas útiles para una sola tarea. En lugar de preguntar: "¿Obtuvo la respuesta correcta?", su método pregunta: "¿Cuántas respuestas diferentes y genuinamente útiles encontró?". Construyeron esta prueba utilizando cinco tipos muy diferentes de problemas del mundo real, que van desde el diseño de moléculas químicas hasta la corrección de errores de software y la búsqueda de evidencia médica. Para cada problema, definieron exactamente qué cuenta como un resultado "útil" y cómo distinguir si dos resultados son realmente diferentes. Por ejemplo, en el diseño de moléculas, dos respuestas pueden parecer diferentes en la superficie, pero si comparten la misma estructura química central, cuentan como el mismo resultado útil. Los investigadores luego sometieron varios modelos a estas tareas, pidiéndoles que lo intentaran múltiples veces, y contaron cuántas soluciones únicas y válidas acumularon.

Los resultados de este estudio revelan una verdad sorprendente sobre cómo funcionan estas máquinas. Los investigadores descubrieron que los modelos que son mejores produciendo una única respuesta de alta calidad no son necesariamente los que producen la mejor colección de respuestas diversas. De hecho, la clasificación de qué modelo es el "mejor" cambia dependiendo de cuántos intentos se permitan. Un modelo que lidera la carrera cuando se le da un solo intento puede quedarse atrás cuando se le dan veinte intentos, mientras que otro modelo que comienza más lento podría eventualmente descubrir una gama más amplia de soluciones útiles. Esto sugiere que las configuraciones utilizadas para ejecutar estos modelos importan más de lo que se pensaba anteriormente. Los investigadores descubrieron que aumentar la "temperatura", un ajuste que hace que la salida del modelo sea más aleatoria y variada, a menudo condujo a una colección mucho más amplia de resultados útiles, aunque a veces redujera la calidad de cualquier respuesta individual. Por el contrario, una característica llamada "pensamiento" (thinking), que anima al modelo a razonar paso a paso antes de responder, mejoró la calidad de las respuestas individuales, pero no siempre ayudó al modelo a encontrar más soluciones distintas.

Quizás lo más importante es que el estudio demostró que simplemente observar qué tan diferentes parecen las respuestas en la superficie no es suficiente para determinar si son verdaderamente útiles. Una forma común de juzgar la diversidad es comprobar si las palabras o caracteres en las respuestas son diferentes entre sí. Los investigadores encontraron que este control superficial es un mal predictor de si el modelo ha encontrado realmente nuevas soluciones válidas. Un modelo podría producir diez respuestas que parecen muy diferentes entre sí, pero que todas representan la misma solución subyacente, fallando en proporcionar la variedad que un usuario realmente necesita. Al utilizar un sistema que verifica el contenido real y el significado de las respuestas frente a las reglas específicas de la tarea, los investigadores pudieron medir la verdadera "cobertura" de los resultados. Descubrieron que esta medida más profunda a menudo conducía a conclusiones diferentes sobre qué modelos y configuraciones funcionaban mejor.

El equipo probó cuatro modelos de lenguaje de gran tamaño diferentes a través de estos cinco dominios: diseño de moléculas, reparación de repositorios de software, detección de errores en código, diagnóstico de casos médicos y búsqueda de evidencia para apoyar preguntas complejas. Ejecutaron cada modelo con diferentes configuraciones, como variando el nivel de aleatoriedad y habilitando o deshabilitando el proceso de "pensamiento". Luego midieron cuántos resultados distintos y válidos produjo cada modelo a medida que aumentaba el número de intentos. Los datos mostraron que, para la mayoría de las tareas, el modelo que mejor se desempeñó al principio no fue el que mejor se desempeñó después de muchos intentos. Por ejemplo, en la tarea de diseñar moléculas, un modelo fue el líder tras un solo intento, pero para cuando se realizaron veinte intentos, un modelo diferente había descubierto significamente más estructuras químicas únicas. Este patrón se mantuvo en todos los ámbitos, indicando que la mejor estrategia para generar una sola respuesta es a menudo diferente de la mejor estrategia para generar un conjunto de respuestas.

El estudio también examinó si decirle explícitamente al modelo que evite repetirse ayudaría. En algunos casos, los investigadores han intentado forzar la diversidad pidiéndole al modelo que genere ideas nuevas que sean diferentes de lo que acaba de decir. Los investigadores encontraron que este enfoque no funcionó de manera confiable. Si bien ayudó en algunas tareas específicas como la búsqueda de evidencia, en otras, como la reparación de software, redujo el número de soluciones útiles. Esto sugiere que simplemente pedir variedad no garantiza que el modelo encontrará terreno nuevo y válido. En cambio, la forma en que se configura el modelo, particularmente los ajustes que controlan su aleatoriedad, juega un papel más crítico en determinar si puede explorar un amplio rango de posibilidades útiles.

Estos hallazgos cambian la forma en que debemos pensar sobre la evaluación de la inteligencia artificial. Durante años, el enfoque ha sido obtener la mejor respuesta única. Pero a medida que estas máquinas se utilizan para tareas más complejas donde tener opciones es crucial, la vieja forma de medir el éxito resulta insuficiente. El trabajo de los investigadores demuestra que un conjunto finito de respuestas candidatas es un objeto de estudio significativo por derecho propio. No es solo una colección de intentos que conducen a un ganador; es un paisaje de posibilidades que puede ser mapeado y medido. Al utilizar su nuevo método, que llaman cobertura de tarea validada, demostraron que podemos evaluar directamente qué tan bien un modelo explora este paisaje. Los resultados sugieren que, para sacar el máximo provecho de estas herramientas, es posible que debamos dejar de buscar la única mejor respuesta y empezar a valorar la amplitud de las opciones que pueden proporcionar.

Las implicaciones de esta investigación se extienden más allá de simplemente elegir el modelo correcto. Sugiere que la forma en que interactuamos con estos sistemas podría necesitar cambiar. Si un usuario necesita una variedad de soluciones, es posible que deba ajustar los parámetros para fomentar la exploración, incluso si eso significa aceptar que las respuestas individuales podrían ser ligeramente menos perfectas. El estudio proporciona una forma concreta de probar y comparar estos diferentes enfoques, yendo más allá de las ideas vagas de "creatividad" o "diversidad" hacia un recuento claro y medible de resultados útiles. Los investigadores pusieron sus herramientas y datos a disposición del público, permitiendo a otros probar nuevos modelos y configuraciones contra este nuevo estándar. Esto abre la puerta a una comprensión más matizada de lo que estas máquinas pueden hacer, cambiando el enfoque de un único punto de éxito a la gama completa de su potencial.

Al final, el artículo ofrece un cambio de perspectiva sutil pero significativo. Argumenta que el valor de una inteligencia artificial no es solo su capacidad de estar en lo cierto, sino su capacidad de ser útil de muchas maneras diferentes. Al construir una prueba que mide la acumulación de resultados distintos y válidos, los investigadores han proporcionado una nueva lente a través de la cual ver estas poderosas herramientas. Han demostrado que el camino hacia el mejor conjunto de respuestas no es siempre el mismo que el camino hacia la mejor respuesta única, y que las configuraciones que elegimos pueden marcar una diferencia profunda en la variedad de soluciones que recibimos. Este trabajo no pretende haber resuelto todos los problemas de la evaluación de la IA, pero proporciona un método claro y reproducible para plantear una pregunta que ha sido pasada por alto durante demasiado tiempo: ¿cuántas cosas útiles puede encontrar realmente esta máquina?