IMPLY: Physically Anchored Consistency for World-Model Rollouts

Immaginate un robot capace di pianificare la sua prossima mossa immaginando prima cosa accadrà. Spinge un blocco e, prima ancora che il suo braccio si muova, esegue una simulazione mentale del futuro: il blocco scivola, si ferma e si assesta. Affinché un'intelligenza artificiale di questo tipo sia utile, il robot deve fidarsi della propria immaginazione. Se la simulazione è errata, il robot si schianterà contro un muro o lascerà cadere un oggetto fragile. Per anni, gli scienziati hanno cercato di capire come determinare se la simulazione mentale di un robot sia affidabile. La risposta standard è stata quella di cercare la coerenza. Se il robot immagina lo stesso futuro dieci volte, e tutte e dieci le versioni sono uguali, assumiamo che la simulazione sia buona. Se le dieci versioni sono tutte diverse, assumiamo che il robot sia confuso. È un controllo semplice e logico: se la storia che il robot racconta a se stesso è la stessa ogni volta, allora la storia deve essere vera.

Ma c'è un difetto in questa logica che uno studio recente ha messo in luce. Un robot può raccontare esattamente la stessa storia ogni volta eppure essere completamente in errore. Immaginate un robot che abbia appreso una regola generica: "Quando spingo qualcosa, di solito scivola per circa dieci centimetri". Se il robot incontra un blocco pesante e appiccicoso che dovrebbe scivolare solo di due centimetri, la sua regola generica gli dirà comunque di aspettarsi dieci. Se il robot esegue questa simulazione dieci volte, tutti e dieci i risultati saranno identici. Il robot è perfettamente coerente, eppure sta fallendo nel comprendere l'oggetto specifico che ha di fronte. Ha ignorato la realtà della situazione a favore di un ipotetico tentativo medio sicuro. Questo è il punto cieco che i ricercatori Aman Mehta e Riya Baviskar si sono dati di risolvere. Propongono un nuovo modo per controllare l'immaginazione di un robot, uno che non chieda solo se il robot sia d'accordo con se stesso, ma se il robot sia d'accordo con il mondo fisico.

I ricercatori hanno testato la loro idea in un ambiente digitale controllato dove un disco virtuale colpisce una scatola, facendola scivolare su un tavolo. Nel mondo reale, quanto lontano scivola quella scatola dipende da due cose: quanto è pesante e quanta frizione il tavolo esercita su di essa. Se si spinge una scatola pesante lentamente, potrebbe fermarsi rapidamente. Se si spinge una scatola leggera con la stessa velocità, potrebbe scivolare molto più lontano. Un robot intelligente dovrebbe essere in grado di capire il peso e la frizione della scatola semplicemente osservandola muoversi. I ricercatori hanno creato un test in cui hanno chiesto a un modello computazionale di immaginare cosa accadrebbe se spingesse la scatola a cinque velocità diverse. Hanno poi verificato se l'immaginazione del modello avesse senso dal punto di vista fisico.

Il vecchio metodo, che chiamano auto-coerenza (self-consistency), guardava semplicemente se i cinque futuri immaginati concordassero tra loro. Hanno scoperto che questo metodo falliva clamorosamente di fronte a un tipo specifico di errore. Hanno costruito un modello "finto" che ignorava completamente la scatola e prevedeva semplicemente la distanza di scivolamento media per qualsiasi spinta. Poiché questo modello finto dava sempre la stessa risposta, otteneva un punteggio perfetto nel test di auto-coerenza. Sembrava un genio secondo il vecchio controllo, anche se non sapeva nulla dell'oggetto. Il nuovo metodo, che gli autori chiamano coerenza ancorata (anchored consistency), funziona diversamente. Prima di chiedere al modello di immaginare il futuro, i ricercatori gli hanno mostrato due spinte reali dello stesso oggetto. Il modello ha osservato la scatola scivolare a una certa distanza a una velocità lenta e a una distanza diversa a una velocità maggiore. Queste due osservazioni reali agiscono come un'ancora, un punto fisso nella realtà.

Quando il modello prova poi a immaginare le cinque nuove spinte, il nuovo metodo controlla se quei futuri immaginati possano essere spiegati dallo stesso oggetto fisico che ha causato le due spinute reali. Se il modello fosse il "finto" che ignora l'oggetto, i suoi futuri immaginati non corrisponderebbero all'ancora reale. La matematica non tornerebbe. Il nuovo metodo ha colto questo errore ogni singola volta, ottenendo un punteggio perfetto nel rilevare l'errore, mentre il vecchio metodo lo ha mancato completamente. In test con 200 oggetti diversi, il nuovo metodo è stato in grado di distinguere un modello che comprendeva davvero la fisica da uno che stava solo tirando a indovinare la media, mentre il vecchio metodo non riusciva affatto a vedere la differenza.

I ricercatori hanno poi portato questo test in uno scenario reale più complesso utilizzando un sofisticato modello di IA chiamato V-JEPA 2-AC. Questo modello era stato addestrato a prevedere i fotogrammi video di oggetti in movimento. Hanno dato al modello la possibilità di apprendere riguardo a un oggetto specifico mostrandogli prima due spinte reali. Quando al modello veniva fornita questa informazione, esso riusciva a tracciare il comportamento dell'oggetto, prevedendo i suoi movimenti futuri con alta precisione. Tuttavia, quando i ricercatori sostituivano le spinte reali con quelle di un oggetto diverso, il modello perdeva la strada. Iniziava a prevedere i movimenti dell'oggetto sbagliato, o non prevedeva nulla affatto.

Qui, la differenza tra i due metodi è diventata netta. Il vecchio controllo di auto-coerenza non riusciva a distinguere tra il modello che utilizzava le informazioni corrette e il modello che utilizzava le informazioni errate. Forniva punteggi quasi identici, decidendo essenzialmente per testa o croce quale fosse il migliore. Il nuovo metodo ancorato, invece, ha individuato immediatamente l'errore. Quando il modello utilizzava la cronologia del oggetto sbagliato, il punteggio aumentava, indicando un disallineamento tra l'immaginazione e l'ancora. Il nuovo metodo ha identificato correttamente l'evidenza giusta nel 73% dei casi, rispetto al tasso di successo del 52% del vecchio metodo, che non è migliore del caso. Inoltre, il nuovo punteggio era così accurato da poter prevedere esattamente quanto fossero errate le previsioni future del modello, correlando quasi perfettamente con l'errore effettivo.

Lo studio dimostra che, affinché un robot comprenda davvero il mondo, non può limitarsi a fare affidamento sul proprio accordo interno. Deve essere agganciato all'evidenza. Un modello che ha appreso la fisica sbagliata è tanto coerente con se stesso quanto uno che ha appreso la fisica corretta. L'unico modo per distinguerli è controllare se l'immaginazione del modello si adatta alla realtà specifica dell'oggetto con cui sta interagendo. Ancorando il controllo di coerenza a due osservazioni reali, i ricercatori hanno creato uno strumento in grado di accorgersi quando un robot sta ignorando l'oggetto che ha davanti a sé. Questo non significa che il robot sia ora perfetto, ma fornisce un modo affidabile per sapere quando il robot sta mentendo a se stesso, un passo cruciale verso la costruzione di macchine capaci di navigare in modo sicuro ed efficace in un mondo fisico.