MicroViTv2: Beyond the FLOPS for Edge Energy-Friendly Vision Transformers
MicroViTv2 ist ein leichtgewichtiger, hardware-bewusster Vision Transformer, der reparametrisierte Komponenten und Single Depth-Wise Transposed Attention nutzt, um eine überlegene Genauigkeit und Energieeffizienz auf Edge-Geräten zu erreichen, was demonstriert, dass die Optimierung für die reale Leistung entscheidender ist als die Minimierung von FLOPs.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der modernen Technologie sind Computer bemerkenswert gut darin geworden, Bilder anzusehen und zu verstehen, was sie sehen. Sie können eine Katze identifizieren, ein Auto entdecken oder ein Schild lesen, mit einer Genauigkeit, die dem menschlichen Sehvermögen ebenbürtig ist. Diese Fähigkeit beruht auf einer Art künstlicher Intelligenz, die als Vision Transformer bezeichnet wird. Stellen Sie sich diese Systeme wie hochdetaillierte Kartografen vor, die ein Bild scannen und es in winzige Teile zerlegen, um zu verstehen, wie diese zueinander in Beziehung stehen. Obwohl diese Kartografen unglaublich leistungsstark sind, sind sie auch schwerfällig und anspruchsvoll. Sie benötigen enorme Mengen an Rechenleistung und Elektrizität, um zu laufen, was es schwierig macht, sie auf kleineren Geräten wie Smartphones, Drohnen oder autonomen Robotern einzusetzen, die mit Batterien betrieben werden. Für diese Edge-Geräte ist das Ziel nicht nur, intelligent zu sein, sondern auch effizient – ein Gleichgewicht zwischen hoher Leistung und geringem Energieverbrauch zu finden, damit sie über Stunden hinweg ohne eine erneute Aufladung arbeiten können.
Forscher glaubten lange Zeit, dass der beste Weg, diese Systeme effizienter zu machen, darin bestehe, schlichtweg die Anzahl der mathematischen Berechnungen zu reduzieren, die sie durchführen. In der Industrie wird dieser Wert als FLOPs bezeichnet, ein Standardmaß, mit dem gemessen wird, wie viel Arbeit ein Computer leisten muss. Die vorherrschende Annahme war, dass weniger Berechnungen automatisch ein schnelleres, energieeffizienteres Gerät bedeuten würden. Eine neue Studie stellt diesen lang gehegten Glauben jedoch infrage. Das Team hinter der Forschung, das mit dem National Science and Technology Council in Taiwan zusammenarbeitete, argumenttiert, dass das Zählen von Berechnungen eine unvollkommene Methode ist, um die reale Leistung zu beurteilen. Sie fanden heraus, dass ein Modell mit etwas mehr Berechnungen tatsächlich schneller laufen und weniger Energie verbrauchen kann, wenn seine interne Struktur so gestaltet ist, dass sie besser mit der physischen Hardware harmoniert, auf der es läuft.
Um diese Idee zu testen, entwickelten die Forscher ein neues Modell namens MicroViTv2. Dies ist eine leichtgewichtige Version des Vision Transformers, die speziell für den Einsatz auf Edge-Geräten wie dem Jetson AGX Orin entwickelt wurde, einem leistungsstarken Computer, der häufig in der Robotik und in autonomen Systemen verwendet wird. Anstatt nur zu versuchen, die Mathematik zu reduzieren, gestaltete das Team die Architektur des Modells neu, um die physische Belastung des Speichers und des Prozessors des Geräts zu verringern. Sie führten eine Methode namens strukturelle Reparametrisierung ein. Während der Trainingsphase lernt das Modell mithilfe einer komplexen Struktur mit mehreren Pfaden, vergleichbar mit einem Gebäude mit vielen verschiedenen Fluren. Aber bevor das Modell in die reale Welt entlassen wird, werden diese Pfade mathematisch zu einem einzigen, gestrafften Pfad verschmolzen. Das bedeutet, dass das Gerät beim eigentlichen Betrieb des Modells nicht durch die komplexe Trainingsstruktur navigieren muss; es bewegt sich auf einem vereinfachten, direkten Weg, der viel schneller zu durchqueren ist und weniger Speicherzugriffe erfordert.
Die Forscher verfeinerten auch die Art und Weise, wie das Modell verschiedene Teile eines Bildes miteinander verbindet. Sie ersetzten ältere Attention-Mechanismen durch eine neue Komponente namens Single Depth-Wise Transposed Attention. Dies ermöglicht es dem Modell, das gesamte Bild zu betrachten und zu verstehen, wie ferne Teile miteinander in Beziehung stehen, ohne durch unnötige Daten aufgehalten zu werden. Indem sie sich darauf konzentrierten, wie das Modell Daten durch die Hardware bewegt, anstatt nur zu zählen, wie viele mathematische Probleme es löst, schuf das Team ein System, das freundlicher zu den physischen Einschränkungen realer Geräte ist.
Die Ergebnisse ihrer Experimente, die an Standard-Bilddatensätzen und Objekterkennungsaufgaben durchgeführt wurden, zeigen eine klare Verschiebung darin auf, wie Effizienz gemessen werden sollte. Bei Tests auf dem Jetson AGX Orin übertraf das neue MicroViTv2-Modell seinen Vorgänger und mehrere andere führende Leichtgewicht-Modelle. Es erreichte eine höhere Genauigkeit bei der Identifizierung von Objekten, während es Bilder schneller verarbeitete und weniger Energie pro Bild verbrauchte. Beispielsweise verarbeitete eine Version ihres Modells 1.883 Bilder pro Sekunde und verbrauchte dabei nur 14,9 Millijoule Energie pro Bild. Im Vergleich dazu waren andere Modelle mit weniger theoretischen Berechnungen langsamer und verbrauchten mehr Strom. Die Studie zeigte, dass das neue Modell die Genauigkeit gegenüber seiner Vorgängerversion um bis zu 0,5 Prozent verbesserte und Konkurrenten wie MobileViTv2 und EdgeNeXt sowohl in der Geschwindigkeit als auch in der Energieeffizienz übertraf.
Entscheidend ist, dass das Paper die Vorstellung explizit ausschließt, dass niedrigere Berechnungszahlen immer eine bessere Leistung bedeuten. Die Forscher zeigten, dass ihr Modell tatsächlich mehr mathematische Operationen ausführte als einige ältere Versionen, aber dennoch schneller lief und weniger Elektrizität verbrauchte. Dieser Befund legt nahe, dass der traditionelle Fokus auf die Reduzierung der Berechnungszahlen irreführend ist, wenn er auf reale Hardware angewendet wird. Der wahre Engpass ist oft der Zugriff des Computers auf seinen Speicher und die Art und Weise, wie die Software auf dem Chip geplant wird. Durch die Optimierung der Struktur passend zur Hardware bewiesen die Forscher, dass ein Modell effizienter sein kann, selbst wenn es mehr Mathematik betreibt.
Das Team validierte diese Erkenntnisse in verschiedenen Szenarien, einschließlich der Klassifizierung von Bildern und der Erkennung von Objekten in komplexen Szenen. In jedem Test führten die strukturellen Verbesserungen zu besseren Ergebnissen. Die Studie kommt zu dem Schluss, dass das Design für die physische Realität des Geräts wichtiger ist als die bloße Minimierung der theoretischen Arbeitslast. Dieser Ansatz bietet einen neuen Weg nach vorn für die Schaffung künstlicher Intelligenz, die nicht nur intelligent, sondern auch praktisch für die batteriebetriebenen Geräte ist, die in unserem täglichen Leben immer häufiger vorkommen. Die Arbeit bestätigt, dass Ingenieure, um wirklich effiziente Systeme zu bauen, über die Zahlen auf dem Papier hinausblicken und berücksichtigen müssen, wie sich das Modell tatsächlich innerhalb der Maschine verhält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.