B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

Om te begrijpen hoe de hersenen werken, moeten wetenschappers eerst begrijpen wat het dier dat zij aansturen eigenlijk doet. Decennialang was de gouden standaard voor het meten van dierlijk gedrag een menselijke waarnemer die videoplageringen bekijkt, waarbij de beelden wordt gepauzeerd en teruggespoeld om elke beweging te noteren, van een muis die een hoekje besnuffelt tot een vlieg die een andere aanvalt. Deze methode is flexibel en interpreteerbaar, maar is ongelooflijk traag en foutgevoelig voor menselijke fouten. In de afgelopen jaren hebben computers een deel van deze taak overgenomen, maar zij vertrouwen grotendeels op een tweestaps-proces dat zijn eigen knelpunten creëert. Eerst moet een computerprogramma worden getraind om specifieke punten op het lichaam van een dier te vinden, zoals de punt van een neus of een gewricht in een poot, een proces dat duizenden uren aan menselijke etikettering vereist. Ten tweede gebruikt de computer die punten om te raden welk gedrag er plaatsvindt. Deze aanpak is traag in de opzet, faalt vaak wanneer dieren elkaars zicht blokkeren, en is meestal te traag om direct te reageren. Als een onderzoeker een muis een beloning wil geven op het exacte moment dat hij zichzelf verzorgt, of een experiment wil stoppen op het moment dat een specifieke beweging optreedt, moet de computer snel genoeg zijn om de actie te zien en te beslissen wat te doen voordat de video zelfs maar klaar is met opnemen.

Een team onderzoekers aan de Carnegie Mellon University heeft een nieuw systeem ontwikkeld genaamd B-REAL dat de tussenpersoon volledig elimineert. In plaats van te proberen het skelet van een dier in kaart te brengen, kijkt dit systeem rechtstreeks naar de ruwe videopixels en leert het gedrag direct te herkennen. Het resultaat is een hulpmiddel dat kan classificeren wat een dier doet sneller dan de camera de volgende foto kan maken, zelfs op standaard computerhardware. Deze snelheid maakt een nieuw soort experiment mogelijk waarbij het gedrag van het dier onmiddellijke veranderingen in zijn omgeving kan triggeren, zoals het toedienen van een druppel water of een lichtflits, terwijl het gedrag nog gaande is. De onderzoekers toonden aan dat deze methode werkt met veel minder trainingsdata dan eerdere systemen, vluchtige bewegingen kan oppikken die slechts een fractie van een seconde duren, en kan worden gebruikt om de natuurlijke acties van een dier in realtime te vormen.

De kern van deze nieuwe aanpak is een verschuiving in de manier waarop de computer video verwerkt. Traditionele methoden behandelen een video als een reeks stilstaande beelden, waarbij eerst lichaamsdelen worden gevonden en vervolgens wordt berekend hoe die delen bewegen. B-REAL slaat de stap van het vinden van lichaamsdelen over. Het neemt een korte sequentie van videoframes en voert deze direct in een neuraal netwerk, een type computerprogramma dat ontworpen is om patronen te herkennen. Om beweging te begrijpen zonder specifieke punten te volgen, gebruikt het systeem een techniek waarbij kleine stukjes informatie tussen naburige frames worden uitgewisseld. Stel je een stapel foto's voor waarbij een paar pixels van de foto erboven worden uitgewisseld met de foto eronder; dit stelt de computer in staat om te zien hoe dingen in de loop van de tijd veranderen zonder precies te hoeven weten waar een poot of een vleugel zich bevindt. Omdat deze methode niet vereist dat de computer een complexe kaart van een dierenlichaam leert, vermijdt het de veelvoorkomende problemen van oudere systemen, zoals het verliezen van het spoor van een dier wanneer het gedeeltelijk verborgen is of wanneer de verlichting verandert.

De onderzoekers testten dit systeem op twee zeer verschillende uitdagingen: complexe sociale interacties tussen muizen en extreem snelle, zeldzame aanvallen tussen fruitvliegen. In de muizenexperimenten leerde het systeem te onderscheiden tussen aanvallen, onderzoeken en beklimmen met een hoge nauwkeurigheid na slechts één minuut aan gelabelde video te hebben gezien. Dit is een significante verbetering ten opzichte van bestaande tools, die vaak uren aan gelabelde data nodig hebben om een vergelijkbare prestatie te leveren. Toen het team het systeem testte op fruitvliegen, was de uitdaging nog groter. Sommige agressieve gedragingen, zoals een vlieg die op een ander afstormt, duren slechts één enkel frame van video, wat ongeveer 33 milliseconden is. De meeste computersystemen missen deze volledig omdat ze beweging over langere perioden middelen. B-REAL detecteerde deze flitsende aanvallen echter met hoge precisie, waarbij het andere methoden versloeg, zelfs wanneer het zeer weinig trainingsdata kreeg. Het systeem was in staat deze zeldzame gebeurtenissen te identificeren omdat het direct leerde van de visuele patronen van de video, in plaats van te vertrouwen op een vooraf gedefinieerde set lichaamskenmerken die dergelijke snelle, subtiele verschuivingen wellicht niet zouden vangen.

Misschien wel de meest overtuigende demonstratie van de kracht van het systeem was een closed-loop experiment waarbij de computer optrad als leraar. De onderzoekers zetten een situatie op waarbij muizen een beloning kregen in de vorm van zoet water, maar alleen wanneer de computer detecteerde dat ze hun kop verzorgden. Het systeem moest het verzorgingsgedrag identificeren en de waterdispenser binnen een fractie van een seconde activeren. Omdat de detectie zo snel en accuraat was, leerden de muizen snel de connectie. Gedurende het experiment nam de frequentie waarmee de muizen zichzelf verzorgden met 129 procent toe. De dieren verzorgden zichzelf niet alleen vaker; ze pasten ook de duur van hun verzorging aan om te voldoen aan de eisen van de computer, waarbij ze verschoven naar iets langere sessies om de beloning te triggeren. Dit bewijst dat het systeem niet alleen een passieve waarnemer is, maar een capabele partner in het vormen van natuurlijk gedrag, in staat om specifieke acties te versterken terwijl ze plaatsvinden.

Om het systeem nog efficiënter te maken, verkenden de onderzoekers een manier om de computer een voorsprong te geven zonder meer gelabelde data nodig te hebben. Ze gebruikten een groot, vooraf getraind videomodel dat algemene concepten van beweging had geleerd van duizenden uren aan ongegelabelde video. Ze vertaalden wat dit grote model wist naar het kleinere, snellere systeem. Dit proces, bekend als distillatie, stelde het systeem in staat om van slechts 30 seconden gelabelde video te leren wat normaal gesproken vijf tot tien minuten zou duren om vanaf nul te leren. Opmerkelijk genoeg verbeterde deze voorgetrainde fase het vermogen van het systeem om gedrag te herkennen vanuit volledig nieuwe camerastandpunten, zoals een gezichtspunt van onderaf, ook al bevatte de voorgetrainde data alleen boven- of zijwaartse aanzichten. Dit suggereert dat het systeem een diep begrip heeft geleerd van hoe dieren bewegen dat van toepassing is op verschillende omgevingen, wat het zeer aanpasbaar maakt voor toekomstige experimenten.

De implicaties van dit werk reiken verder dan alleen snelheid en nauwkeurigheid. Door het niet nodig hebben om lichaamsdelen te volgen, kan het systeem gedragingen observeren die moeilijk te definiëren zijn door enkel de houding, zoals een dier dat interactie heeft met een specifief object of een complexe omgeving navigeert. Het opent de deur naar experimenten waarbij de computer kan reageren op de staat van het dier in realtime, waardoor een dynamische lus ontstaat tussen het onderwerp en zijn omgeving. Hoewel de huidige studie zich richtte op muizen en vliegen, zijn de principes breed toepasbaar op elke situatie waarin het begrijpen van gedrag in realtime cruciaal is. Het systeem draait op standaard hardware, wat betekent dat er geen dure supercomputers nodig zijn om te opereren, waardoor geavanceerde gedragsanalyse toegankelijk is voor een breder scala aan laboratoria. Uiteindelijk transformeert B-REAL gedrag van een statisch verslag van het verleden naar een levend signaal dat kan worden gebruikt om het brein op het moment zelf te sturen en te begrijpen.