B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

Um zu verstehen, wie das Gehirn funktioniert, müssen Wissenschaftler zuerst verstehen, was das Tier, das es steuert, eigentlich tut. Jahrzehntelang war der Goldstandard zur Messung des Tierverhaltens ein menschlicher Beobachter, der Videoaufnahmen betrachtete, anhielt und zurückspulte, um jede Bewegung zu notieren – vom Schnüffeln einer Maus in einer Ecke bis hin zum Angriff einer Fliege auf eine andere. Diese Methode ist flexibel und interpretierbar, aber sie ist unglaublich langsam und anfällig für menschliche Fehler. In den letzten Jahren haben Computer begonnen, diese Aufgabe zu übernehmen, aber sie haben sich meist auf einen zweistufigen Prozess verlassen, der seine eigenen Engpässe schafft. Zuerst muss ein Computerprogramm darauf trainiert werden, bestimmte Punkte am Körper eines Tieres zu finden, wie etwa die Spitze einer Nase oder ein Gelenk in einem Bein – ein Prozess, der tausende Stunden menschlicher Kennzeichnung erfordert. Zweitens nutzt der Computer diese Punkte, um zu erraten, welches Verhalten gerade stattfindet. Dieser Ansatz ist langsam in der Einrichtung, versagt oft, wenn Tiere die Sicht aufeinander versperren, und ist in der Regel zu träge, um im Moment zu reagieren. Wenn ein Forscher einer Maus in dem Moment, in dem sie sich putzt, eine Belohnung geben oder ein Experiment in dem Moment stoppen möchte, in dem eine bestimmte Bewegung auftritt, muss der Computer schnell genug sein, um die Aktion zu sehen und zu entscheiden, was zu tun ist, noch bevor die Videoaufnahme überhaupt beendet ist.

Ein Team von Forschern der Carnegie Mellon University hat ein neues System namens B-REAL entwickelt, das den Vermittler vollständig ausschaltet. Anstatt zu versuchen, das Skelett eines Tieres abzubilden, betrachtet dieses System direkt die rohen Videopixel und lernt, Verhalten sofort zu erkennen. Das Ergebnis ist ein Werkzeug, das klassifizieren kann, was ein Tier tut, schneller als die Kamera das nächste Bild aufnehmen kann, selbst auf Standard-Computerhardware. Diese Geschwindigkeit ermöglicht eine neue Art von Experiment, bei der das Verhalten eines Tieres unmittelbare Veränderungen in seiner Umgebung auslösen kann, wie etwa die Abgabe eines Wassertropfens oder eines Lichtblitzes, während das Verhalten noch stattfindet. Die Forscher zeigten, dass diese Methode mit weit weniger Trainingsdaten als bisherige Systeme auskommt, flüchtige Bewegungen, die nur einen Bruchteil einer Sekunde dauern, erkennen kann und dazu genutzt werden kann, die natürlichen Handlungen eines Tieres in Echtzeit zu formen.

Der Kern dieses neuen Ansatzes ist eine Verschiebung in der Art und Weise, wie der Computer Videos verarbeitet. Traditionelle Methoden behandeln ein Video als eine Serie von Standbildern, indem sie zuerst die Körperteile finden und dann berechnen, wie sich diese Teile bewegen. B-REAL überspringt den Schritt des Findens der Körperteile. Es nimmt eine kurze Sequenz von Videobildern und speist sie direkt in ein neuronales Netz ein, eine Art Computerprogramm, das darauf ausgelegt ist, Muster zu erkennen. Um Bewegung ohne das Verfolgen spezifischer Punkte zu verstehen, nutzt das System eine Technik, bei der kleine Informationsteile zwischen benachbarten Frames ausgetauscht werden. Stellen Sie sich einen Stapel Fotos vor, bei dem einige Pixel des darüber liegenden Fotos mit dem darunter liegenden Foto vertauscht werden; dies ermöglicht es dem Computer, Veränderungen über die Zeit zu sehen, ohne genau wissen zu müssen, wo sich eine Pfote oder ein Flügel befindet. Da dieser Prozess nicht erfordert, dass der Computer eine kompleße Karte des Körpers eines Tieres lernt, vermeidet er die häufigen Fehler älterer Systeme, wie etwa den Verlust der Verfolgung eines Tieres, wenn es teilweise verdeckt ist oder sich die Beleuchtung ändert.

Die Forscher testeten dieses System an zwei sehr unterschiedlichen Herausforderungen: komplexen sozialen Interaktionen zwischen Mäusen und extrem schnellen, seltenen Angriffen zwischen Fruchtfliegen. In den Maus-Experimenten lernte das System, zwischen Angreifen, Untersuchen und Aufsteigen mit hoher Genauigkeit zu unterscheiden, nachdem es nur eine Minute an gekennzeichnetem Video gesehen hatte. Dies ist eine signifikante Verbesserung gegenüber bestehenden Werkzeugen, die oft Stunden an gekennzeichneten Daten benötigen, um eine ähnliche Leistung zu erbringen. Als das Team das System an Fruchtfliegen testete, war die Herausforderung noch größer. Einige aggressive Verhaltensweisen, wie das Anrennen einer Fliege auf eine andere, dauern nur einen einzigen Frame des Videos, was etwa 33 Millisekunden entspricht. Die meisten Computersysteme übersehen diese komplett, weil sie Bewegungen über längere Zeiträume mitteln. B-REAL hingegen detektierte diese blitzschnellen Angriffe mit hoher Präzision und übertraf andere Methoden selbst dann, wenn es nur sehr wenig Trainingsdaten erhielt. Das System war in der Lage, diese seltenen Ereignisse zu identifizieren, weil es direkt aus den visuellen Mustern des Videos lernte, anstatt sich auf einen vordefinierten Satz von Körpermerkmalen zu verlassen, die solch schnelle, subtile Veränderungen möglicherweise gar nicht erfassen könnten.

Die vielleicht überzeugendste Demonstration der Leistungsfähigkeit des Systems war ein Closed-Loop-Experiment, bei dem der Computer als Lehrer fungierte. Die Forscher richteten eine Situation ein, in der Mäuse eine Belohnung in Form von gesüßtem Wasser erhielten, sobald der Computer detektierte, dass sie sich am Kopf putzten. Das System musste das Putzverhalten identifizieren und die Wasserspender innerhalb eines Bruchteils einer Sekunde auslösen. Da die Erkennung so schnell und präzise war, lernten die Mäuse schnell den Zusammenhang. Im Laufe des Experiments stieg die Rate, mit der sich die Mäuse putzten, um 129 Prozent. Die Tiere putzten sich nicht nur häufiger; sie passten auch die Dauer ihres Putzens an die Anforderungen des Computers an, indem sie zu etwas längeren Episoden übergingen, um die Belohnung sicher auszulösen. Dies beweist, dass das System nicht nur ein passiver Beobachter ist, sondern ein fähiger Partner bei der Formung natürlichen Verhaltens, der in der Lage ist, spezifische Handlungen, während sie geschehen, zu verstärken.

Um das System noch effizienter zu machen, untersuchten die Forscher einen Weg, dem Computer einen Vorsprung zu verschaffen, ohne mehr gelabelte Daten zu benötigen. Sie nutzten ein großes, vortrainiertes Videomodell, das allgemeine Konzepte von Bewegung aus tausenden Stunden ungelabelter Videos gelernt hatte. Sie transferierten das Wissen dieses großen Modells in das kleinere, schnellere System. Dieser Prozess, bekannt als Distillation, ermöglichte es dem System, aus nur 30 Sekunden an gelabeltem Video zu lernen, wofür normalerweise fünf bis zehn Minuten nötig wären. Bemerkenswerterweise verbesserte dieses Vortraining die Fähigkeit des Systems, Verhaltensweisen aus völlig neuen Kamerawinkeln zu erkennen, wie etwa einer Ansicht von unter dem Tier, obwohl die Vortrainingsdaten nur Draufsichten oder Seitenansichten enthielten. Dies deutet darauf hin, dass das System ein tiefes Verständnis dafür erlernt hat, wie sich Tiere bewegen, was auf verschiedene Einstellungen übertragbar ist, was es hochgradig anpassungsfähig für zukünftige Experimente macht.

Die Implikationen dieser Arbeit gehen über reine Geschwindigkeit und Genauigkeit hinaus. Durch den Wegfall der Notwendigkeit, Körperteile zu verfolgen, kann das System Verhaltensweisen beobachten, die schwer allein durch die Körperhaltung zu definieren sind, wie etwa die Interaktion eines Tieres mit einem bestimmten Objekt oder die Navigation durch eine komplexe Umgebung. Es öffnet die Tür für Experimente, bei denen der Computer in Echtzeit auf den Zustand des Tieres reagieren kann, wodurch eine dynamische Schleife zwischen dem Subjekt und seiner Umgebung entsteht. Während sich die aktuelle Studie auf Mäuse und Fliegen konzentrierte, lassen sich die Prinzipien auf jede Situation anwenden, in der das Verständnis des Verhaltens in Echtzeit entscheidend ist. Das System läuft auf Standard-Hardware, was bedeutet, dass es keine teuren Supercomputer benötigt, um zu operieren, wodurch fortschrittliche Verhaltensanalysen einem breiteren Spektrum an Laboren zugänglich gemacht werden. Letztendlich verwandelt B-REAL das Verhalten von einem statischen Protokoll der Vergangenheit in ein Live-Signal, das genutzt werden kann, um das Gehirn im Moment zu führen und zu verstehen.