LiteEvent-AE: Lightweight Autoencoder for Event-Based Vision on Low-Latency Energy-Constrained Edge Devices
Dieses Paper stellt LiteEvent-AE vor, einen leichtgewichtigen Autoencoder für die ereignisbasierte Vision, der eine wettbewerbsfähige Erkennungsgenauigkeit bei bis zu 35,6-mal weniger Parametern und einem 726,3-mal geringeren Energieverbrauch als YOLOv9 erreicht und somit eine Echtzeit-Inferenz sowie nachhaltige Anwendungen auf ressourcenbeschränkten Edge-Geräten wie dem Raspberry Pi 4B und dem NVIDIA Jetson Nano ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der sehenden Maschinen gibt es einen grundlegenden Kompromiss zwischen Geschwindigkeit und Energie. Traditionelle Kameras, wie sie etwa in unseren Smartphones verwendet werden, funktionieren dadurch, dass sie in jedem Bruchteil einer Sekunde ein vollständiges Bild einer Szene aufnehmen, unabhängig davon, ob sich etwas verändert hat oder nicht. Dies erzeugt einen konstanten Datenstrom, woviel davon lediglich eine Wiederholung desselben statischen Hintergrunds ist. Damit ein Computer dies verarbeiten kann, muss er erhebliche Mengen an Energie und Zeit aufwenden, was ein großes Hindernis für Geräte darstellt, die mit Batterien betrieben werden müssen oder in Echtzeit operieren müssen, wie etwa selbstfahrende Autos oder kleine Roboter. Um dieses Problem zu lösen, haben Ingenieure einen anderen Typ Sensor entwickelt, der eine Event-Kamera (Event Camera). Anstatt vollständige Bilder aufzunehmen, fungieren diese Sensoren eher wie das menschliche Auge und zeichnen nur dann ein Signal auf, wenn ein einzelner Pixel eine Änderung der Helligkeit registriert. Dies resultiert in einem spärlichen, asynchronen Datenstrom, der unglaublich schnell und effizient ist, aber auch schwierig für herkömmliche Computer-Vision-Software zu verstehen ist, da ihm die vertraute Gitterstruktur eines normalen Fotos fehlt.
Forscher der University of Maryland, Baltimore County, haben ein neues System entwickelt, das darauf ausgelegt ist, diese Lücke zu schließen, um diese hocheffizienten Sensoren auf kleinen, leistungsschwachen Geräten einsetzen zu können, ohne die Genauigkeit zu opfern. Sie entwickelten ein kompaktes digitales Werkzeug, bekannt als Autoencoder, das als Übersetzer und Kompressor für diese einzigartige Art von visuellen Daten fungiert. Das System arbeitet, indem es den chaotischen Strom von Veränderungen, der von der Event-Kamera aufgezeichnet wurde, in eine kleinere, organisierte Form kondensiert, die ein Computer leicht lesen kann. Sobald diese Daten komprimiert sind, kann ein einfacher Klassifikator, der an das System angeschlossen ist, Objekte wie Gesichter oder Fahrzeuge mit hoher Präzision identifizieren. Die Forscher testeten diesen Ansatz auf zwei verschiedenen Datensätzen, einer konzentrierte sich auf menschliche Gesichter und ein anderer auf Fußgänger und Fahrzeuge, die eine Straße überqueren. Sie fanden heraus, dass ihr leichtgewichtiges System diese Objekte mit einer Genauigkeit erkennen konnte, die mit den leistungsfähigsten, schwergewichtigen Modellen, die derzeit verfügbar sind, konkurriert, aber dabei nur einen Bruchteil der Rechenleistung verbrauchte.
Der wahre Durchbruch dieser Arbeit liegt in ihrer Leistung auf echter Hardware. Das Team setzte ihr System auf zwei gängigen, ressourcenbeschränkten Geräten ein: einem Raspberry Pi 4B, einem kleinen Einplatinencomputer, der oft für Hobbyprojekte verwendet wird, und einem NVIDIA Jetson Nano, einem Modul, das für Edge Computing entwickelt wurde. Auf dem Raspberry Pi verarbeitete die 50%-Autoencoder-Klassifikator-Version des Systems die Daten so effizient, dass sie für die evaluierte Inferenz-Arbeitslast nur 16,19 Joule Energie verbrauchte. Um dies in Perspektive zu setzen: Ein Standardmodell mit hoher Leistung würde bei der Ausführung derselben Aufgabe auf demselben Gerät über 700 Mal mehr Energie verbrauchen. In Bezug auf die Geschwindigkeit erreichte der 50%-Klassifikator eine Rate von 44,8 Bildern pro Sekunde auf dem Jetson Nano, was es ermöglichte, mit schnellen Szenen in Echtzeit Schritt zu halten. Selbst als die Forscher die Größe ihres Modells halbierten, um es noch kleiner zu machen, behielt es seine Fähigkeit bei, Muster zu lernen und zu erkennen, was bewies, dass das System robust genug ist, um erhebliche Kompression zu bewältigen, ohne seine Effektivität zu verlieren.
Diese Forschung stellt die vorherrschende Annahme infrage, dass hochpräzise Vision massive, energiefressende Computer erfordert. Indem die Autoren zeigten, dass eine spezialisierte, leichtgewichtige Architektur die komplexe, verrauschte Natur von Event-basierten Daten bewältigen kann, haben sie demonstriert, dass es möglich ist, intelligente Systeme zu bauen, die sowohl schnell als auch nachhaltig sind. Das System beruht nicht auf komplexen, zeitaufwendigen Berechnungen oder großen Speicheranforderungen. Stattdessen nutzt es einen gestrafften Prozess, um unnötiges Rauschen herauszufiltern und sich nur auf die wesentlichen Bewegungen zu konzentrieren, die ein Objekt definieren. Die Ergebnisse legen nahe, dass zukünftige Geräte, von autonomen Drohnen bis hin zu Wearable-Technologien, mit hochentwickelten visuellen Fähigkeiten ausgestattet werden könnten, die stundenlang mit einer einzigen Ladung laufen, was die Tür zu einer neuen Generation von umweltbewusster und hochreaktiver künstlicher Intelligenz öffnet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.