Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

La rata de laboratorio digital: Cuando la IA intenta ser científica por su cuenta

Imagina un mundo donde las computadoras no solo siguen instrucciones, sino que se les pide que descubran por sí mismas cómo resolver un rompecabezas. Este es el reino del Aprendizaje Automático (Machine Learning), una rama de la ciencia donde enseñamos a las computadoras a aprender de los datos en lugar de programar rígidamente cada regla. Usualmente, cuando queremos que una computadora mejore en una tarea —como reconocer gatos en fotos o predecir el clima—, utilizamos un método llamado Búsqueda de Arquitectura Neuronal (Neural Architecture Search). Piensa en esto como intentar construir la torre de Lego perfecta. Tienes una caja de ladrillos (el código de la computadora) y quieres apilarlos de una manera que haga que la torre sea la más alta y resistente. Tradicionalmente, los humanos han diseñado las reglas para elegir los ladrillos, o hemos usado matemáticas simples para adivinar qué combinaciones podrían funcionar mejor.

Pero, ¿qué pasaría si le entregáramos toda la caja de Legos a un robot superinteligente y le dijéramos: "Tú descúbrelo. Construye la mejor torre que puedas y no te detengas hasta que termines"? Esa es la gran pregunta que este artículo explora. Plantea: Si le damos a un único agente de Inteligencia Artificial (IA) todas las herramientas que necesita un investigador humano —como un cuaderno, una biblioteca y una computadora para ejecutar pruebas—, ¿puede actuar como un científico solitario durante semanas enteras? Nos importa esto porque, a medida que la IA se vuelve más inteligente, queremos saber si puede ayudarnos a descubrir cosas nuevas más rápido, o si simplemente se quedará atrapada en un bucle de realizar cambios diminutos y aburridos. La respuesta no se trata solo de construir mejores torres; se trata de entender cómo construir un equipo donde los humanos y los robots trabajen juntos sin que el robot se aburra o se confunda.

---

El experimento: Un investigador robot en un largo viaje

En este estudio, los investigadores configuraron un laboratorio digital y le entregaron las llaves a una IA de propósito general. No solo le pidieron a la IA que resolviera un problema matemático; le pidieron que diseñara un nuevo tipo de cerebro computacional llamado Vision Transformer. Específicamente, le impusieron una restricción difícil: el cerebro tenía que funcionar usando solo "atención de canal" (enfocándose en los colores y texturas de una imagen) y se le prohibió usar la "atención espacial" (mirar dónde están las cosas en la imagen). Esto fue como pedirle a un chef que cocine una comida gourmet sin usar nunca un cuchillo o una estufa, obligando a la IA a inventar una forma completamente nueva de cocinar.

La IA recibió un conjunto específico de herramientas: una forma de gestionar su código, un rastreador para vigilar sus experimentos, una memoria persistente para recordar lo que intentó y, a mitad del camino, acceso a una biblioteca digital de artículos científicos. Los investigadores humanos se hicieron a un lado, interviniendo solo para cambiar las reglas del juego o para darle un pequeño empujón a la IA cuando se quedaba estancada. La IA se dejó correr durante aproximadamente 10 semanas de tiempo real, enviando alrededor de 150 experimentos y utilizando cerca de 2,400 horas de GPU de potencia de cómputo. Fue un maratón, no una carrera de velocidad.

La historia de tres fases

El experimento se desarrolló en tres capítulos distintos, cada uno con su propio estado de ánimo y resultado.

Fase 1: La hora dorada y el muro
Al principio, la IA era como un niño en una tienda de dulces. Realizó mejoras rápidas y masivas. En solo sus primeros seis intentos, descubrió un truco fundamental que aumentó su precisión de forma enorme. Fue tan efectivo que esta única idea temprana representó aproximadamente el 80% de todo el progreso que la IA logró en el pequeño conjunto de datos de prueba. Pero luego, la diversión terminó. La IA chocó contra un "muro de saturación". Seguía intentando retocar sus ajustes —cambiando números aquí, ajustando perillas allá— pero nada funcionaba. Estaba atrapada en un bucle de realizar cambios diminutos e incrementales que no ayudaban. Era como si el robot se hubiera quedado sin ideas nuevas y solo estuviera girando en círculos.

Fase 1b: La biblioteca se abre
Los investigadores humanos notaron que el robot estaba estancado. No cambiaron el cerebro del robot; en su lugar, le dieron una nueva herramienta: acceso a una biblioteca de artículos científicos. De repente, el comportamiento de la IA cambió. Dejó de solo retocar números y comenzó a realizar cambios audaces en el código real, inspirada por lo que leyó. Comenzó a proponer nuevas estructuras en lugar de solo ajustar las antiguas. Esto sugiere que el robot no era "estúpido"; solo necesitaba un tipo diferente de llave para desbloquear el siguiente nivel de pensamiento.

Fases 2 y 3: Escalar y tropezar
A medida que los investigadores movían a la IA hacia pruebas cada vez más difíciles (de imágenes pequeñas a imágenes masivas y complejas), el patrón se repetía. La IA encontraba una buena solución, y luego se estancaba intentando hacer mejoras diminutas a esa solución específica. Se volvió muy "codiciosa", lo que significa que amaba tanto su mejor idea actual que se negaba a probar algo completamente diferente, incluso cuando esa idea era claramente fallida. Por ejemplo, en la prueba más difícil, la IA encontró una solución que funcionaba aceptablemente, y luego pasó 18 intentos haciendo ajustes diminutos e inútiles a ella, ignorando el hecho de que estaba estancada. Era como un conductor que encuentra una llanta desinflada, decide seguir conduciendo y luego pasa horas tratando de pulir la llanta en lugar de cambiarla.

Lo que el robot aprendió (y lo que no aprendió)

La IA fue sorprendentemente buena en algunas cosas. "Redescubrió" de forma independiente varios hechos científicos bien conocidos. Por ejemplo, descubrió que para este tipo de cerebro computacional específico, tener solo una "cabeza" para enfocarse en los detalles era mejor que tener muchas cabezas, un hallazgo que coincide con lo que los científicos humanos ya sabían. También se dio cuenta de que algunos trucos que funcionaban en imágenes pequeñas en realidad perjudicaban el rendimiento en las grandes, demostrando que podía aprender de sus errores.

Sin embargo, la IA también mostró algunos defectos curiosos, muy humanos.

• Aversión al riesgo: Después de intentar una idea audaz y arriesgada que falló, se volvió muy tímida. Se aferró a ideas seguras y aburridas durante mucho tiempo, a pesar de que las reglas le permitían intentar algo loco de nuevo.
• Persecución del éxito: Le encantaba seguir haciendo lo que había funcionado recientemente. Si encontraba una forma de hacer el cerebro computacional ligeramente más rápido, seguía intentando hacerlo un poco más rápido, ignorando la posibilidad de que un enfoque totalmente diferente pudiera ser mejor.
• La trampa de la "codicia": El mayor problema no era que la IA fuera "mala" pensando; era que las reglas del juego la obligaban a ser codiciosa. El sistema estaba configurado de tal manera que la IA solo podía conservar una idea si era mejor que la anterior. Esto es como un juego donde solo puedes avanzar si das un paso hacia arriba en una colina, pero nunca puedes dar un paso lateral o retroceder para probar un camino diferente. La IA siguió las reglas perfectamente, lo que significó que se quedó estancada en colinas locales en lugar de encontrar la cima de la montaña.

La gran conclusión: Es el flujo de trabajo, no el cerebro

El hallazgo más importante de este artículo es un tanto sorprendente. Los investigadores concluyeron que el flujo de trabajo (las reglas y herramientas dadas a la IA) era tan importante, si no más, que la propia inteligencia de la IA.

La IA no estaba fallando porque fuera "tonta". Estaba fallando porque estaba jugando un juego diseñado para carreras cortas, no para maratones largas. La regla de "confirmar o descartar" (quédatelo si es mejor, deséchalo si es peor) obligó a la IA a actuar como un escalador codicioso que solo mira el paso que tiene justo enfrente. Si los investigadores hubieran diseñado el juego de manera diferente —permitiendo que la IA mantuviera varias ideas diferentes funcionando al mismo tiempo, o forzándola a intentar una idea de "gran apuesta" cada pocos turnos— los resultados podrían haber sido totalmente distintos.

En resumen, el artículo sugiere que para hacer de la IA un gran socio de investigación, no debemos limitarnos a intentar que la IA sea más inteligente. Necesitamos construir mejores "flujos de trabajo" que la animen a tomar riesgos, explorar diferentes caminos y no quedarse estancada en su idea favorita actual. La IA es una trabajadora incansable y capaz, pero sin las instrucciones y herramientas adecuadas, puede estancarse fácilmente en un bucle de hacer lo mismo una y otra vez. El futuro de la investigación de la IA, sugieren los autores, reside en diseñar mejores sistemas para guiar estas mentes digitales, en lugar de simplemente esperar que lo resuelvan por su cuenta.