SqueakPose Studio: An end-to-end platform for pose estimation and real-time edge-AI deployment
SqueakPose Studio ist ein integriertes Software-Hardware-Ökosystem, das die Datensatzerstellung, das Modelltraining und die Echtzeit-Edge-KI-Bereitstellung für eine präzise Ganzkörper-Pose-Schätzung vereint und somit fragmentierte Pipelines oder Workstation-Hardware überflüssig macht.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (https://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wollten untersuchen, wie sich eine Maus in ihrem Zuhause bewegt. Normalerweise müssen Wissenschaftler dafür einen komplizierten, teuren Aufbau verwenden: Sie nehmen stundenlange Videos auf, bringen diese zu einem leistungsstarken Computer (wie einer Super-Workstation) und nutzen eine Reihe verschiedener Softwareprogramme, um herauszufinden, wo sich die Pfoten und der Schwanz der Maus befinden. Es ist, als würde man versuchen, einen Kuchen zu backen, aber man müsste Mehl, Eier und Ofen aus drei verschiedenen Geschäften kaufen und dann erst in eine Profiküche fahren, um alles zu mischen.
SqueakPose Studio ist wie eine „All-in-One“-Küche, die alles für Sie erledigt, direkt dort, wo Sie sind. So funktioniert es, unterteilt in einfache Teile:
1. Die All-in-One-Werkstatt (SqueakPose Studio)
Betrachten Sie dies als das Hauptsoftware-Werkzeug. Anstatt mit verschiedenen Programmen zu jonglieren, übernimmt es den gesamten Prozess von Anfang bis Ende:
- Das Rezept erstellen: Sie können direkt innerhalb des Tools Ihren eigenen Datensatz (eine Bibliothek mit Beispielen) erstellen.
- Das System lehren: Es hilft Ihnen dabei, die Körperteile der Maus zu beschriften. Sie können dies manuell machen, oder der Computer kann Ihnen helfen, zu raten, was den Lernprozess viel schneller macht.
- Das Kochen: Es trainiert das „Gehirn“ (das KI-Modell), um Posen zu erkennen.
- Der Geschmackstest: Es prüft, ob das Gehirn intelligent genug ist, und analysiert anschließend riesige Mengen an Videomaterial offline.
Der Zaubertrick: Die meisten Systeme müssen Videos in winzige kleine Quadrate (Patches) zerlegen, um Bewegungen zu verstehen, was langsam und unordentlich ist. Dieses System betrachtet das ganze Bild auf einmal, so als würde man eine ganze Pizza sehen statt nur eines einzelnen Stücks, was es viel schneller und reibungsloser macht. Es läuft auf normalen Computern, leistungsstarken Grafikkarten und sogar auf Apple Macs.
2. Der Live-Streamer (SqueakView)
Manchmal möchte man nicht bis zum Ende des Tages warten, um zu sehen, was die Maus gerade macht; man möchte es jetzt sofort wissen.
- SqueakView ist das Werkzeug, das das trainierte „Gehirn“ nimmt und es direkt auf einen kleinen, tragbaren Computer (ein „Edge“-Gerät) überträgt, der direkt neben dem Mauskäfig steht.
- Es zeichnet Videos auf und protokolliert Sensordaten in Echtzeit. Es ist wie eine Sicherheitskamera, die nicht nur aufnimmt, sondern sofort versteht, was sie sieht, und Ihnen augenblicklich mitteilt, ob die Maus rennt, schläft oder frisst.
3. Das Smart Home (MouseHouse)
Um sicherzustellen, dass das Live-System perfekt funktioniert, haben sie eine spezielle, kompakte Box namens MouseHouse gebaut.
- Betrachten Sie dies als ein maßgeschneidertes, hochtechnologisches Gehege für die Maus.
- Es ist darauf ausgelegt, den kleinen Computer, die Kameras und die Sensoren alle in einem ordentlichen Paket unterzubringen. Es ist modular, was bedeutet, dass Sie Teile leicht austauschen können, und es wurde speziell entwickelt, um Mäuse in ihren eigenen Heimkäfigen zu beobachten, ohne einen riesigen Laboraufbau zu benötigen.
Warum das wichtig ist
Das Beste an diesem gesamten System ist, dass es die gleiche Sprache (Datenformat) und dieselbe Uhr (Zeitmessung) für die „Live“-Version und die „Offline“-Version verwendet.
- Kein Übersetzen mehr: Normalerweise sprechen Daten von einer Live-Kamera und Daten von einem Laborkomputer unterschiedliche Sprachen. Hier sprechen sie dieselbe Sprache, sodass die Ergebnisse perfekt konsistent sind.
- Keine schwere Arbeit mehr: Sie benötigen keinen massiven, teuren Supercomputer oder ein Team von Software-Ingenieuren, um verschiedene Werkzeuge miteinander zu verbinden. Sie können hochwertige Echtzeit-Wissenschaft direkt auf einem kleinen, tragbaren Gerät betreiben.
Kurz gesagt: SqueakPose Studio verwandelt einen komplexen, mehrstufigen wissenschaftlichen Prozess in ein einziges, nahtloses Erlebnis und ermöglicht es Forschern, das Verhalten von Tieren in Echtzeit zu untersuchen, ohne ein riesiges Budget oder einen Raum voller Server zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.