B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

Per capire come funziona il cervello, gli scienziati devono prima comprendere cosa stia effettivamente facendo l'animale che esso controlla. Per decenni, lo standard di riferimento per misurare il comportamento animale è stato un osservatore umano che guardava registrazioni video, mettendo in pausa e riavvolgendo per annotare ogni movimento, dal topo che fiuta un angolo alla mosca che attacca un'altra. Questo metodo è flessibile e interpretabile, ma è incredibilmente lento e soggetto all'errore umano. Negli ultimi anni, i computer hanno iniziato a farsi carico di questo compito, ma si sono basati principalmente su un processo in due fasi che crea i propri colli di bottiglia. Primo, un programma per computer deve essere addestrato per trovare punti specifici sul corpo di un animale, come la punta di un naso o un'articolazione di una zampa, un processo che richiede migliaoli di ore di etichettatura umana. Secondo, il computer usa quei punti per indovinare quale comportamento stia avvenendo. Questo approccio è lento da configurare, spesso fallisce quando gli animali si bloccano a vicenda la visuale e di solito è troppo lento per reagire sul momento. Se un ricercatore vuole dare un premio a un topo nell'istante in cui si cura il pelo, o interrompere un esperimento nel momento in cui avviene un movimento specifico, il computer deve essere abbastanza veloce da vedere l'azione e decidere cosa fare prima ancora che il video finisca la registrazione.

Un team di ricercatori della Carnegie Mellon University ha sviluppato un nuovo sistema chiamato B-REAL che elimina completamente l'intermediario. Invece di cercare di mappare lo scheletro di un animale, questo sistema guarda direttamente i pixel grezzi del video e impara a riconoscere il comportamento istantaneamente. Il risultato è uno strumento in grado di classificare ciò che un animale sta facendo più velocemente di quanto la telecamera possa scattare l'immagine successiva, anche su hardware informatico standard. Questa velocità permette un nuovo tipo di esperimento in cui il comportamento dell'animale può innescare cambiamenti immediati nel suo ambiente, come la somministrazione di una goccia d'acqua o un lampo di luce, mentre il comportamento è ancora in corso. I ricercatori hanno dimostrato che questo metodo funziona con molti meno dati di addestramento rispetto ai sistemi precedenti, può individuare movimenti fugaci che durano solo una frazione di secondo e può essere utilizzato per plasmare le azioni naturali dell'animale in tempo reale.

Il cuore di questo nuovo approccio è un cambiamento nel modo in cui il computer elabora il video. I metodi tradizionali trattano un video come una serie di immagini fisse, trovando prima le parti del corpo e poi calcolando come tali parti si muovono. B-REAL salta la fase di ricerca delle parti del corpo. Prende una breve sequenza di fotogrammi video e li inserisce direttamente in una rete neurale, un tipo di programma per computer progettato per riconoscere modelli. Per comprendere il movimento senza tracciare punti specifici, il sistema utilizza una tecnica che scambia piccoli pezzi di informazione tra fotogrammi vicini. Immaginate una pila di foto in cui alcuni pixel della foto sopra sono scambiati con la foto sotto; questo permette al computer di vedere come le cose cambiano nel tempo senza dover sapere esattamente dove si trova una zampa o un'ala. Poiché questo metodo non richiede al computer di imparare una mappa complessa del corpo di un animale, evita i comuni fallimenti dei sistemi più vecchi, come perdere traccia di un animale quando è parzialmente nascosto o quando la luce cambia.

I ricercatori hanno testato questo sistema su due sfide molto diverse: interazioni sociali complesse tra topi e attacchi estremamente rapidi e rari tra mosche della frutta. Negli esperimenti sui topi, il sistema ha imparato a distinguere tra attacco, investigazione e monta con alta precisione dopo aver visto solo un minuto di video etichettato. Questo è un miglioramento significativo rispetto agli strumenti esistenti, che spesso richiedono ore di dati etichettati per raggiungere prestazioni simili. Quando il team ha testato il sistema sulle mosche della frutta, la sfida è stata ancora maggiore. Alcuni comportamenti aggressivi, come una mosca che carica un'altra, durano solo un singolo fotogramma di video, che è circa 33 millisecondi. La maggior parte dei sistemi informatici perde questi eventi perché media il movimento su periodi più lunghi. B-REL, tuttavia, ha rilevato queste cariche di un istante con alta precisione, superando altri metodi anche con pochissimi dati di addestramento. Il sistema è stato in grado di identificare questi eventi rari perché ha imparato direttamente dai modelli visivi del video piuttosto che affidarsi a un insieme predefinito di punti di riferimento corporei che potrebbero non catturare tali cambiamenti rapidi e sottili.

Forse la dimostrazione più convincente del potere di questo sistema è stata un esperimento a circuito chiuso in cui il computer agiva come un insegnante. I ricercatori hanno impostato una situazione in cui i topi ricevevano un premio di acqua dolce solo quando il computer rilevava che si stavano curando la testa. Il sistema doveva identificare il comportamento di cura e attivare il distributore d'acqua in una frazione di secondo. Poiché il rilevamento era così veloce e accurato, i topi hanno rapidamente appreso la connessione. Nel corso dell'esperimento, la frequenza con cui i topi si curavano il pelo è aumentata del 129 percento. Gli animali non si sono limitati a curarsi più spesso; hanno anche adattato la durata della loro cura per corrispondere ai requisiti del computer, spostandosi verso sessioni leggermente più lunghe per garantire l'attivazione del premio. Ciò dimostra che il sistema non è solo un osservatore passivo ma un partner capace di plasmare il comportamento naturale, capace di rinforzare azioni specifiche mentre accadono.

Per rendere il sistema ancora più efficiente, i ricercatori hanno esplorato un modo per dare al computer un vantaggio iniziale senza necessitare di più dati etichettati. Hanno utilizzato un modello video pre-addestrato di grandi dimensioni che aveva appreso concetti generali di movimento da migliaia di ore di video non etichettati. Hanno trasferito ciò che questo grande modello sapeva nel sistema più piccolo e veloce. Questo processo, noto come distillazione, ha permesso al sistema di imparare da soli 30 secondi di video etichettato ciò che normalmente richiederebbe dai cinque ai dieci minuti per essere appreso da zero. Sorprendentemente, questo pre-addestramento ha migliorato la capacità del sistema di riconoscere i comportamenti in angolazioni della telecamera completamente nuove, come una vista dal di sotto dell'animale, nonostante il pre-addestramento includesse solo viste dall'alto o laterali. Ciò suggerisce che il sistema abbia appreso una comprensione profonda di come si muovono gli animali che si applica a diverse ambientazioni, rendendolo altamente adattabile per esperimenti futuri.

Le implicazioni di questo lavoro vanno oltre la semplice velocità e precisione. Rimuovendo la necessità di tracciare le parti del corpo, il sistema può osservare comportamenti difficili da definire solo tramite la postura, come un animale che interagisce con un oggetto specifico o naviga in un ambiente complesso. Apre la porta a esperimenti in cui il computer può rispondere allo stato dell'animale in tempo reale, creando un ciclo dinamico tra il soggetto e il suo ambiente. Sebbene lo studio attuale si sia concentrato su topi e mosche, i principi si applicano ampiamente a qualsiasi situazione in cui comprendere il comportamento in tempo reale sia cruciale. Il sistema funziona su hardware standard, il che significa che non richiede supercomputer costosi per operare, rendendo l'analisi comportamentale avanzata accessibile a una gamma più ampia di laboratori. In definitiva, B-REAL trasforma il comportamento da un registro statico del passato in un segnale vivo che può essere utilizzato per guidare e comprendere il cervello nel momento stesso in cui avviene l'azione.