FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

Immagina di cercare di insegnare a un robot a comprendere il mondo. Non vuoi solo che riconosca un gatto o un'auto; vuoi che sia in grado di predire cosa accadrà dopo. Se una palla rotola verso un muro, il robot dovrebbe sapere che rimbalzerà. Se una folla di persone sta camminando, il robot dovrebbe intuire come si intrecceranno tra loro senza scontrarsi. Questo campo della scienza si chiama "modellazione del mondo" (world modeling). È come dare a un'IA una palla di cristallo, ma invece della magia, usa la matematica e i video per indovinare il futuro.

Per molto tempo, gli scienziati hanno testato questi robot in mondi molto ordinati e strutturati. Pensa a un'autostrada con linee bianche chiare, dove le auto restano nelle loro corsie e tutti seguono le regole perfettamente. È come giocare a un videogioco in modalità "Facile". Ma il mondo reale non è così. In molte città frenetiche in tutto il mondo, il traffico è una danza caotica. Non ci sono corsie rigide, le persone camminano dove vogliono, i risciò si infilano accanto agli autobus e gli animali vagano per le strade. È la modalità "Difficile". La grande domanda che gli scienziati si sono posti è: i nostri attuali modelli di IA possono gestire questa realtà disordinata e affollata, o funzionano solo quando tutto è ordinato?

Questo articolo, intitolato FactorJEPA, affronta esattamente questo problema. I ricercatori si sono resi conto che i modelli di IA standard si confondevano davanti al caos delle città affollate, così hanno costruito un nuovissimo dataset chiamato DENSEWORLD. Hanno raccolto 1.000 ore di video da 22 città diverse, catturando di tutto: dai mercati affollati e vicoli stretti fino a cavalcavia e spiagge. Hanno scoperto che i modelli di IA esistenti, che di solito funzionano molto bene su autostrade ordinate, faticavano a predire cosa sarebbe successo dopo in queste scene affollate. I modelli coglievano l'idea generale, ma mancavano i dettagli specifici di come le persone e i veicoli interagissero tra loro.

Per risolvere il problema, il team ha inventato un nuovo metodo chiamato FactorJEPA. Invece di cercare di indovinare l'intero futuro in un unico grande e disordinato blocco di dati, hanno insegnato all'IA a scomporre la previsione in tre "canali" separati, come uno chef che separa gli ingredienti prima di cucinare un piatto complesso:

1. Layout (Struttura): le cose statiche che non si muovono molto, come edifici, strade e muri.
2. Agenti: le cose in movimento, come persone, auto e risciò.
3. Interazioni: come quelle cose in movimento si relazionano tra loro, come un pedone che si scosta per lasciare passare un autobus o due biciclette che si intrecciano tra loro.

Separando queste tre cose, l'IA poteva imparare molto meglio. È come cercare di capire una festa affollata. Se provi a memorizzare l'intera stanza in una volta sola, ti senti sopraffatto. Ma se ti concentri prima sulla forma della stanza, poi sulle persone e infine su come stanno parlando tra loro, diventa molto più facile indovinare chi si muoverà dopo.

I risultati sono stati impressionanti. Quando testata sui loro nuovi video di città caotiche, questa nuova IA "separata" è stata molto più brava a predire il futuro rispetto ai vecchi modelli "tutto in uno". Ha commesso meno errori su dove si trovassero le cose, è stata più capace di capire cosa sarebbe successo se un'auto avesse improvvisamente sterzato (un test chiamato "intervento") ed è rimasta accurata anche quando parti del video erano nascoste o sfocate. L'articolo dimostra che organizzando il modo in cui l'IA pensa al mondo — scomponendolo in struttura, agenti e interazioni — possiamo finalmente costruire robot che comprendano la realtà disordinata, affollata e meravigliosa delle città umane.