Imagina un mundo donde las computadoras aprenden a hacer cosas de la misma manera que un niño pequeño aprende a caminar: cayéndose, levantándose e intentándolo de nuevo. Este es el corazón del Aprendizaje por Refuerzo (RL), una rama de la inteligencia artificial donde un "estudiante" (el algoritmo) aprende interactuando con un "entorno" y recibiendo recompensas por los buenos movimientos. Durante años, la mayor parte de este aprendizaje ha ocurrido dentro de las computadoras, en mundos virtuales perfectos y sin fricción llamados simulaciones. Es como practicar baloncesto en un videojuego donde el balón nunca rebota mal y la canasta nunca se mueve. Si bien esto es genial para el entrenamiento, es un poco como intentar aprender a surfear solo en una piscina; cuando finalmente llegas al océano real, las olas son desordenadas, la arena es granulosa y las reglas son diferentes. La gran pregunta para los científicos es: ¿Cómo hacemos que estos cerebros digitales aprendan directamente en robots reales, sin necesidad de una simulación perfecta primero?

Este artículo, titulado "The Open Ant: A Robot Platform for Reinforcement Learning Research", presenta una solución diseñada para cerrar esa brecha. Los autores construyeron un robot físico que se ve y actúa igual que un famoso robot virtual llamado "Gymnasium Ant", pero lo hicieron económico, fácil de reparar y lo suficientemente simple para que investigadores que no son expertos en robótica puedan usarlo. Descubrieron que este robot puede aprender a caminar por sí solo en el mundo real en aproximadamente una hora, utilizando dos métodos de aprendizaje muy diferentes. También demostraron que las habilidades aprendidas en una simulación por computadora pueden transferirse al robot real, aunque la clasificación de rendimiento del robot cambia ligeramente una vez que toca el suelo real. Lo más importante es que demostraron que un equipo de estudiantes con poca experiencia en robótica pudo construir, reparar y aprender de este robot en solo unos pocos días, lo que sugiere que la barrera para realizar experimentos de robótica en el mundo real finalmente está bajando.

El robot que parece un personaje de un videojuego

Durante mucho tiempo, el Aprendizaje por Refuerzo ha sido una superestrella en el mundo de los videojuegos y las simulaciones. Es la tecnología detrás de las computadoras que pueden vencer a los humanos en juegos complejos como el Go o el Backgammon. Pero cuando los científicos intentan trasladar estos algoritmos al mundo real —enseñando a un robot a caminar, volar o agarrar cosas— la situación se vuelve complicada. La vida real está llena de sorpresas: los cables se enredan, los motores se sobrecalientan y el suelo no es perfectamente liso. Debido a esto, muchos investigadores se quedan en las simulaciones, donde pueden ejecutar miles de experimentos en un segundo sin romper nada. Pero hay un inconveniente: lo que funciona perfectamente en una simulación, a menudo falla en la realidad.

Los autores de este artículo querían cambiar eso. Se preguntaron: "¿Podemos hacer un robot que sea tan fácil de usar y reparar que incluso un investigador que solo sabe programar simulaciones pueda empezar a realizar experimentos en el mundo real?". Para responder a esto, crearon el Open Ant.

El Open Ant es un robot de cuatro patas, con forma de araña o hormiga, inspirado en un robot virtual muy popular utilizado en la investigación llamado "Gymnasium Ant". En el mundo virtual, esta Hormiga es un modelo matemático que aprende a caminar hacia adelante. El Open Ant es la versión física de ese mismo personaje. Tiene un cuerpo redondo y cuatro patas, cada una con dos articulaciones (una cadera y una rodilla), impulsadas por motores. El equipo tomó algunas decisiones inteligentes para mantener la simplicidad:

• Sin soldadura: No necesitas ser un mago de la electrónica para construirlo. Utiliza piezas que puedes comprar en tiendas comunes.
• Energía de conexión directa: En lugar de preocuparse por baterías pesadas, se conecta a un toma corriente, por lo que puede funcionar durante horas sin detenerse.
• Cuerpo impreso en 3D: Si una pata se rompe (lo cual sucede cuando los robots aprenden a caminar), simplemente puedes imprimir una nueva. Es como tener una llanta de repuesto para tu auto, pero tú mismo imprimes la llanta.

El robot cuesta aproximadamente $2,200 de construir con piezas de alta calidad, o alrededor de $500 si usas motores más baratos y frágiles (una versión que llaman "Physical Ant Lite"). Es pequeño, aproximadamente un tercio del tamaño de la versión virtual, pero es lo suficientemente resistente como para aguantar los golpes.

Aprendiendo a caminar en una hora

La gran prueba era: ¿Puede este robot realmente aprender a caminar por su cuenta, partiendo de cero conocimiento? Los investigadores configuraron un juego simple para el robot. En lugar de solo caminar hacia adelante (lo que requeriría que alguien arrastrara al robot de vuelta al inicio cada vez que golpeara una pared), hicieron que el robot caminara de un lado a otro dentro de un círculo. Una cámara cenital observaba al robot y le otorgaba una "recompensa" (un punto) cada vez que se movía en la dirección correcta. Si el robot se acercaba demasiado al borde del círculo, el objetivo se invertía y tenía que dar la vuelta y caminar en la dirección opversa. Esto significaba que el robot podía seguir aprendiendo indefinidamente sin necesidad de que un humano lo reiniciara.

Probaron dos algoritmos de aprendizaje muy diferentes en el robot:

1. SARSA(λ): Un método más simple y antiguo que aprende probando diferentes movimientos y recordando lo que funcionó.
2. SAC (Soft Actor-Critic): Un método más moderno y complejo que utiliza redes neuronales profundas (como el cerebro de una IA de aprendizaje profundo).

Los resultados fueron impresionantes. Usando el algoritmo más simple, SARSA(λ), el robot aprendió a caminar de manera competente en aproximadamente una hora de experiencia directa. No era un caminar perfecto de nivel olímpico, pero era constante y podía moverse a velocidades de 2 a 4 cm/s. Lo mismo sucedió con el algoritmo más complejo, SAC. En cinco ensayos separados, el robot aprendió a caminar de manera confiable en aproximadamente una hora. Esto es algo importante porque demuestra que no necesitas una supercomputadora o meses de entrenamiento para poner en movimiento a un robot; puedes hacerlo directamente sobre el hardware.

El truco de magia "Sim-to-Real" (y sus fallos)

Un truco común en la robótica es entrenar a un robot en una simulación primero, y luego copiar ese "cerebro" en el robot real. Esto se llama "Sim-to-Real". Los investigadores probaron esto con el Open Ant. Entrenaron 2,304 "cerebros" diferentes en la simulación virtual y luego los probaron en el robot real sin ningún entrenamiento adicional.

Esto es lo que encontraron:

• Funciona, pero no perfectamente: Casi todos los cerebros simulados pudieron hacer que el robot real caminara en la dirección correcta. Esto significa que la simulación era una copia lo suficientemente buena de la realidad para enseñar lo básico.
• La clasificación cambió: Esta es la parte complicada. El robot que era el "mejor" caminante en la simulación no era necesariamente el mejor en el mundo real. De hecho, el mejor ejecutor en la simulación terminó siendo solo el sexto mejor en el robot real. Esto sugiere que, si bien las simulaciones son útiles, no pueden predecir perfectamente cómo se desempeñará un robot en el desordenoso mundo real. Si simplemente eliges el "mejor" cerebro de la simulación y lo pones en un robot real, podrías sorprenderte.

Por qué esto es importante para todos

La parte más emocionante de este artículo no es solo que el robot camina; es que el robot es accesible. Los autores querían ver si investigadores comunes, que usualmente solo trabajan con código, podrían manejar un robot real. Llevaron el Open Ant a una escuela de invierno para estudiantes e investigadores que tenían muy poca experiencia con la robótica.

¿El resultado? En tres días, cinco equipos diferentes de estudiantes construyeron con éxito los robots, aprendieron a controlarlos e incluso transfirieron habilidades de la simulación a la realidad. Un grupo de estudiantes locales señaló que, una vez que descubrieron cómo encajaban las piezas, pudieron ensamblar todo el robot en menos de dos horas. Si lo intentaban sin una guía, les tomaba de cuatro a seis horas, pero podían corregir sus errores y continuar.

El artículo también destaca lo fácil que es reparar el robot cuando las cosas salen mal. Durante los experimentos, los pies del robot se desgastaron e incluso una pata se rompió. Debido a que las piezas están impresas en 3D y el diseño es de código abierto, el equipo pudo imprimir un pie nuevo o reforzar una pata rota en minutos. Incluso añadieron "calcetines" hechos de un material suave y adherente (TPU) a los pies del robot para evitar que se resbalaran y se desgastaran.

La conclusión

El artículo "Open Ant" no pretende haber resuelto todos los problemas de la robótica. No dice que los robots puedan ahora hacer cualquier cosa que los humanos puedan hacer. En cambio, ofrece una herramienta práctica y de código abierto que hace posible que más personas lo intenten. Demuestra que, con un poco de diseño inteligente —usando piezas comerciales, impresión 3D y tareas simples— se puede bajar la barrera de entrada para los experimentos de IA en el mundo real.

Los autores sugieren que esta plataforma permite a los investigadores dejar de preocuparse por la "carga administrativa" de construir robots y comenzar a enfocarse en la ciencia del aprendizaje. Ya seas un estudiante, un aficionado o un científico experimentado, el Open Ant demuestra que aprender de la experiencia física ya no es un lujo reservado para laboratorios con millones de dólares en equipo. Es algo que se puede hacer en un aula, en un garaje o en una pequeña oficina, con un robot que puede aprender a caminar en el tiempo que toma preparar una taza de café.