ASI-Bench: At the Dawn of Artificial Superintelligence

El viaje hacia una máquina que pueda pensar como un humano se ha centrado durante mucho tiempo en qué tan bien pueden las computadoras memorizar hechos, resolver acertijos conocidos o seguir un conjunto de instrucciones para alcanzar una respuesta específica. Durante años, los sistemas de inteligencia artificial más avanzados han sobresalido en estas tareas, absorbiendo vastas bibliotecas de conocimiento humano y aplicándolas con una velocidad increíble. Pero existe un tipo diferente de inteligencia que permanece, en gran medida, fuera del alcance: la capacidad de adentrarse en lo desconocido, de mirar un problema desordenado y sin explicar, y de descubrir no solo la respuesta, sino el camino mismo para encontrarla. Este es el reino del descubrimiento científico, donde el objetivo no es recordar una fórmula, sino inventar una, diseñar un experimento y convertir una pregunta vaga en un resultado verificado. La pregunta que impulsa un nuevo estudio es si las máquinas actuales pueden hacer esto realmente por sí mismas, o si todavía dependen totalmente de los humanos para que les lleven de la mano en cada paso del proceso.

Un equipo de investigadores de universidades e institutos de todo el mundo ha construido un nuevo campo de pruebas llamado ASI-Bench para responder a esta pregunta. Crearon sesenta proyectos de investigación complejos a través de once campos diferentes de la ciencia, que van desde la física y la química hasta la biología y la ingeniería. Cada proyecto fue diseñado para imitar una investigación científica real, con datos brutos, un objetivo específico y el requisito de producir una solución funcional. La brillantez del diseño reside en cómo probaron las máquinas. Para cada uno de los proyectos de investigación, ejecutaron el mismo sistema de IA cuatro veces, pero cambiaron la cantidad de ayuda que le brindaban. En el primer escenario, se le entregó a la IA un manual completo y paso a paso sobre cómo resolver exactamente el problema. En el segundo, solo se le dijo el método general a utilizar, como decirle a alguien que "use un martillo" sin mostrarle cómo balancearlo. En el tercero, se le dio a la IA solo el problema y los datos, sin instrucciones sobre cómo proceder, obligándola a decidir el método por sí misma. Finalmente, en el cuarto escenario, añadieron una capa de información confusa e irrelevante para ver si la máquina podía mantenerse enfocada en la tarea real.

Los resultados revelan una realidad cruda sobre el estado actual de la inteligencia artificial. Cuando las máquinas recibieron instrucciones completas, se desempeñaron razonablemente bien, obteniendo un promedio de unos cincuenta y un puntos de un posible cien. Sin embargo, tan pronto como los investigadores eliminaron la guía paso a paso y pidieron a la IA que descifrara el procedimiento por su cuenta, el rendimiento cayó en picada. Cuando la IA tuvo que elegir el método por sí misma, la puntuación promedio descendió a aproximadamente veintisiete. Este fuerte declive sugiere que, si bien los sistemas actuales son excelentes siguiendo un camino que los humanos ya han pavimentado, luchan inmensamente por construir el camino ellos mismos. El mayor obstáculo no fue elegir la herramienta correcta, sino más bien traducir una idea general en un plan detallado y funcional. Incluso cuando la IA sabía qué método usar, a menudo fallaba al construir los pasos necesarios para hacerlo funcionar, lo que causó que las puntuaciones bajaran significativamente cuando se eliminaron las instrucciones detalladas.

Los investigadores también descubrieron que añadir información extra y distractora no confundió a las máquinas tanto como eliminar las instrucciones. Cuando la IA recibió la misma tarea difícil pero con un montón de hechos no relacionados y charlas añadidas al prompt, su desempeño se mantuvo casi exactamente igual que cuando no tenía instrucciones en absoluto. Esto indica que la debilidad principal de los sistemas actuales no es la falta de enfoque o la incapacidad de filtrar el ruido, sino una incapacidad fundamental para operar sin una hoja de ruta definida por humanos. El estudio involucró dieciocho combinaciones diferentes de modelos de IA y agentes de software, e incluso la configuración más avanzada, que utilizaba el razonamiento más potente disponible, logró puntuar solo alrededor de cincuenta y dos cuando se dejó a sus propios medios. Este es un éxito modesto, pero queda muy lejos de la fiabilidad requerida para que una máquina realice una investigación científica independiente.

El costo de esta independencia también es alto. Cuando la IA tuvo que descifrar los pasos por su cuenta, consumió significativamente más potencia de cómputo y tiempo que cuando simplemente seguía órdenes. En algunos casos, el sistema utilizó casi un sesenta por ciento más de recursos informáticos solo para intentar la misma tarea sin una guía, quedándose a menudo atrapado en bucles o intentando caminos ineficientes. Esto sugiere que la verdadera autonomía no es solo una cuestión de inteligencia, sino de eficiencia; sin la guía humana, las máquinas desperdician vastas cantidades de esfuerzo tratando de resolver problemas que podrían haber resuelto rápidamente si se les hubiera dicho cómo. El estudio concluye que aún estamos lejos del amanecer de la superinteligencia artificial, un estado en el que las máquinas puedan explorar lo desconocido y crear nuevo conocimiento sin intervención humana. En cambio, nos encontramos en una fase en la que las máquinas son asistentes poderosos que pueden ejecutar tareas complejas, pero que todavía dependen en gran medida de los humanos para definir la estrategia.

Este nuevo benchmark no pretende ser un juicio final, sino un punto de partida para la comunidad científica. Los investigadores han puesto sus sesenta tareas y sus métodos de prueba a disposición del mundo, invitando a otros científicos e ingenieros a contribuir con nuevos problemas y a probar sus propios sistemas contra estos desafíos. Creen que al añadir continuamente nuevos y difíciles proyectos de investigación y al refinar las pruebas, la comunidad puede rastrear el progreso con mayor precisión. El objetivo es ir más allá de las simples pruebas de memoria y lógica hacia un futuro donde podamos medir si una máquina puede realmente pensar como un científico, capaz de navegar por lo desconocido y convertir una página en blanco en un descubrimiento. Por ahora, los datos muestran que, aunque nuestras máquinas se están volviendo más inteligentes, todavía están esperando a que les digamos qué hacer a continuación.