Immaginate un mondo in cui i computer imparano a fare le cose come un bambino impara a camminare: cadendo, rialzandosi e riprovandoci. Questo è il cuore dell'Apprendimento per Rinforzo (Reinforcement Learning - RL), un ramo dell'intelligenza artificiale in cui uno "studente" (l'algoritmo) impara interagendo con un "ambiente" e ricevendo ricompense per le mosse corrette. Per anni, gran parte di questo apprendimento è avvenuto all'interno dei computer, in mondi virtuali perfetti e privi di attrito chiamati "simulazioni". È come praticare il basket in un videogioco dove la palla non rimbalza mai in modo errato e il canestro non si muove mai. Sebbene questo sia ottimo per l'addestramento, è un po' come cercare di imparare a fare surf solo in una piscina; quando finalmente raggiungi l'oceano vero, le onde sono disordinate, la sabbia è granulosa e le regole sono diverse. La grande domanda per gli scienziati è: come possiamo far sì che questi cervelli digitali imparino direttamente su robot reali, senza aver bisogno di una simulazione perfetta prima?

Questo articolo, intitolato "The Open Ant: A Robot Platform for Reinforcement Learning Research", introduce una soluzione progettata per colmare questo divario. Gli autori hanno costruito un robot fisico che appare e si comporta esattamente come un famoso robot virtuale chiamato "Gymnasium Ant", ma reso economico, facile da riparare e abbastanza semplice da poter essere utilizzato da ricercatori che non sono esperti di robotica. Hanno scoperto che questo robot può imparare a camminare da solo nel mondo reale in circa un'ora, utilizzando due metodi di apprendimento molto diversi. Hanno anche dimostrato che le abilità apprese in una simulazione al computer possono essere trasferite al robot reale, sebbene la classifica delle prestazioni del robot cambi leggermente una volta che tocca il pavimento reale. Cosa più importante, hanno dimostrato che un team di studenti con poca esperienza nella robotica poteva costruire, riparare e imparare da questo robot in pochi giorni, suggerendo che la barriera per condurre esperimenti robotici nel mondo reale si sta finalmente abbassando.

Il robot che sembra un personaggio di un videogioco

Per molto tempo, l'Apprendimento per Rinforzo è stato una superstar nel mondo dei videogiochi e delle simulazioni. È la tecnologia dietro i computer che possono battere gli umani in giochi complessi come il Go o il Backgammon. Ma quando gli scienziati provano a spostare questi algoritoli nel mondo reale — insegnando a un robot a camminare, volare o afferrare oggetti — le cose si fanno complicate. La vita reale è piena di sorprese: i cavi si aggrovigliano, i motori si surriscaldano e il pavimento non è perfettamente liscio. Per questo motivo, molti ricercatori preferiscono le simulazioni, dove possono eseguire migliaia di esperimenti in un secondo senza rompere nulla. Ma c'è un problema: ciò che funziona perfettamente in una simulazione spesso fallisce nella realtà.

Gli autori di questo articolo volevano cambiare le cose. Si sono chiesti: "Possiamo creare un robot così facile da usare e riparare che anche un ricercatore che sa solo programmare simulazioni possa iniziare a fare esperimenti nel mondo reale?". Per rispondere a questa domanda, hanno creato l'Open Ant.

L'Open Ant è un robot a quattro zampe, con la forma di un ragno o di una formica, ispirato a un molto popolare robot virtuale usato nella ricerca chiamato "Gymnasium Ant". Nel mondo virtuale, questa Formica è un modello matematico che impara a camminare in avanti. L'Open Ant è la versione fisica di quel medesimo personaggio. Ha un corpo rotondo e quattro zampe, ognuna con due giunti (un'anca e un ginocchio), alimentati da motori. Il team ha fatto alcune scelte intelligenti per mantenere le cose semplici:

• Niente saldatura: Non serve essere un mago dell'elettronica per costruirlo. Utilizza componenti che si possono acquistare nei negozi comuni.
• Alimentazione Plug-in: Invece di preoccuparsi di batterie pesanti, si collega a una presa a muro, quindi può funzionare per ore senza fermarsi.
• Corpo stampato in 3D: Se una gamba si rompe (cosa che accade quando i robot imparano a camminare), puoi semplicemente stamparne una nuova. È come avere una ruota di scorta per la tua auto, ma stampi la ruota da solo.

Il robot costa circa 2.200 dollari per essere costruito con componenti di alta qualità, o circa 500 dollari se si utilizzano motori più economici e fragili (una versione che chiamano "Physical Ant Lite"). È piccolo, circa un terzo della dimensione della versione virtuale, ma abbastanza robusto da sopportare i colpi.

Imparare a camminare in un'ora

La grande prova era: questo robot può effettivamente imparare a camminare da solo, partendo da zero conoscenze? I ricercatori hanno impostato un gioco semplice per il robot. Invece di fargli solo camminare in avanti (il che richiederebbe di trascinare il robot indietro al punto di partenza ogni volta che colpisce un muro), hanno fatto sì che il robot camminasse avanti e indietro all'interno di un cerchio. Una telecamera dall'alto osservava il robot e gli dava una "ricompensa" (un punto) ogni volta che si muoveva nella direzione corretta. Se il robot si avvicinava troppo al bordo del cerchio, l'obiettivo si invertiva e lui doveva girarsi e camminare nella direzione opposta. Questo significava che il robot poteva continuare a imparare per sempre senza la necessità di un essere umano che lo resettasse.

Hanno testato due algoritmi di apprendimento molto diversi sul robot:

1. SARSA(λ): Un metodo più semplice e datato che impara provando diverse mosse e ricordando cosa ha funzionato.
2. SAC (Soft Actor-Critic): Un metodo più moderno e complesso che utilizza reti neurali profonde (come il cervello di un'IA di deep learning).

I risultati sono stati impressionanti. Utilizzando l'algoritmo più semplice SARSA(λ), il robot ha imparato a camminare in modo competente in circa un'ora di esperienza diretta. Non era una camminata perfetta, da livello olimpico, ma era costante e riusciva a muoversi a velocità di 2-4 cm/s. Lo stesso è accaduto con l'algoritmo più complesso SAC. In cinque prove separate, il robot ha imparato a camminare in modo affidabile in circa un'ora. Questo è un grande passo avanti perché dimostra che non è necessario un supercomputer o mesi di addestramento per mettere in movimento un robot; si può fare direttamente sull'hardware.

Il trucco magico del "Sim-to-Real" (e i suoi difetti)

Un trucco comune nella robotica è addestrare un robot in una simulazione prima, per poi copiare quel "cervello" nel robot reale. Questo è chiamato "Sim-to-Real". I ricercatori hanno provato questo approccio con l'Open Ant. Hanno addestrato 2.304 "cervelli" differenti nella simulazione virtuale e li hanno poi testati sul robot reale senza ulteriore addestramento.

Ecco cosa hanno scoperto:

• Funziona, ma non perfettamente: Quasi tutti i cervelli simulati riuscivano a far camminare il robot reale nella direzione corretta. Ciò significa che la simulazione era una copia abbastanza buona della realtà da insegnare le basi.
• La classifica è cambiata: Questa è la parte complicata. Il robot che era il "migliore" camminatore nella simulazione non era necessariamente il migliore nel mondo reale. Infatti, il miglior performer nella simulazione finì per essere solo il sesto migliore sul robot reale. Questo suggerisce che, sebbene le simulazioni siano utili, non possono prevedere perfettamente come un robot si comporterà nel mondo reale disordinato. Se scegli semplicemente il "miglior" cervello della simulazione e lo metti su un robot reale, potresti rimanere sorpreso.

Perché questo è importante per tutti

La parte più eccitante di questo articolo non è solo che il robot cammina; è che il robot è accessibile. Gli autori volevano vedere se i ricercatori normali, che di solito lavorano solo con il codice, potessero gestire un vero robot. Hanno portato l'Open Ant a una scuola invernale per studenti e ricercatori che avevano pochissima esperienza nella robotica.

Il risultato? Entro tre giorni, cinque diversi team di studenti sono riusciti a costruire i robot, a imparare a controllarli e persino a trasferire le abilità dalla simulazione alla realtà. Un gruppo di studenti locali ha notato che, una volta capito come i pezzi si incastravano tra loro, potevano assemblare l'intero robot in meno di due ore. Se ci provavano senza una guida, impiegavano dalle quattro alle sei ore, ma potevano correggere i propri errori e continuare.

L'articolo evidenzia anche quanto sia facile riparare il robot quando qualcosa va storto. Durante gli esperimenti, i piedi del robot si sono usurati e una gamba si è persino rotta. Poiché i componenti sono stampati in 3D e il design è open-source, il team ha potuto stampare un nuovo piede o rinforzare una gamba rotta in pochi minuti. Hanno persino aggiunto delle "calze" fatte di un materiale morbido e aderente (TPU) ai piedi del robot per evitare che scivolassero e si usurassero.

In sintesi

L'articolo sull' "Open Ant" non sostiene di aver risolto tutti i problemi della robotica. Non dice che i robot possono ora fare tutto ciò che fanno gli esseri umani. Al contrario, offre uno strumento pratico e open-source che rende possibile a più persone provarci. Dimostra che con un po' di design intelligente — usando componenti standard, la stampa 3D e compiti semplici — si può abbassare la barriera d'ingresso per gli esperimenti di IA nel mondo reale.

Gli autori suggeriscono che questa piattaforma permette ai ricercatori di smettere di preoccuparsi del "carico di lavoro" per costruire i robot e iniziare a concentrarsi sulla scienza dell'apprendimento. Che tu sia uno studente, un appassionato o un ricercatore esperto, l'Open Ant dimostra che l'apprendimento dall'esperienza fisica non è più un lusso riservato ai laboratori con milioni di dollari di attrezzature. È qualcosa che può essere fatto in un'aula, in un garage o in un piccolo ufficio, con un robot che può imparare a camminare nel tempo necessario per preparare una tazza di caffè.