FTerViT: Fully Ternary Vision Transformer
Dieser Beitrag stellt FTerViT vor, einen vollständig ternarisierten Vision Transformer, der alle Gewichte und Normalisierungsparameter quantisiert, um eine erhebliche Speicherkompression zu erreichen und eine effiziente Bereitstellung auf Geräten mit Mikrocontrollern bei gleichzeitiger Beibehaltung einer wettbewerbsfähigen ImageNet-1K-Genauigkeit zu ermöglichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten eine brillante, hochgebildete Bibliothekarin (den Vision Transformer oder ViT), die ein Bild betrachten und Ihnen genau sagen kann, was es ist. Diese Bibliothekarin ist unglaublich klug, trägt jedoch eine riesige Bibliothek von Büchern in ihrem Kopf. Wenn Sie versuchen, diese Bibliothekarin in einen winzigen Rucksack (einen Mikrocontroller wie den in einer Smartwatch oder einer billigen Kamera) zu stecken, reißt der Rucksack auf, weil die Bücher zu schwer sind und zu viel Platz einnehmen.
Normalerweise versuchen Ingenieure, um eine intelligente KI in ein winziges Gerät zu passen, die Bücher zu verkleinern. Sie wandeln den Text möglicherweise in einen kürzeren Code um, lassen aber die wichtigsten, empfindlichen Seiten (wie das Cover, das Inhaltsverzeichnis und die abschließende Zusammenfassung) oft in ihrem ursprünglichen, sperrigen Format. Die Arbeit argumentiert, dass dies so ist, als würde man versuchen, eine schwere Enzyklopädie in eine Tasche zu packen, indem man nur die mittleren Kapitel verkleinert; das Cover und das Inhaltsverzeichnis wiegen immer noch zu viel.
Hier ist, was die Autoren von FTerViT getan haben, um dies zu lösen:
1. Das „Drei-Farben"-Wörterbuch
Anstatt komplexe Zahlen (wie 3,14159...) zur Speicherung von Informationen zu verwenden, zwangen die Autoren die KI, nur drei einfache Symbole zu verwenden: -1, 0 und +1.
- Stellen Sie sich dies wie ein Wörterbuch vor, in dem jedes Wort durch einen roten, grünen oder blauen Punkt ersetzt wird.
- Durch die Verwendung nur dieser drei Optionen können sie die Informationen unglaublich kompakt packen. Es ist, als würde man eine riesige Landkarte in ein winziges Quadrat falten.
- Sie nennen dies Ternär (was „drei" bedeutet).
2. Die „empfindlichen" Teile
Frühere Versuche, diese KI-Modelle zu verkleinern, blieben unvollständig. Sie verkleinerten das Hauptgehirn (den „Encoder"), ließen aber die Patch Embedding (wie die KI den ersten Blick auf das Bild wahrnimmt), die LayerNorm (wie die KI ihre Gedanken ausbalanciert) und den Classifier (der endgültige Entscheidungsträger) in ihrem schweren, vollformatigen Format.
- Die Autoren erkannten, dass diese „übrig gebliebenen" schweren Teile in einem winzigen Gerät tatsächlich den meisten Platz einnehmen, obwohl sie an Zahl gering sind.
- FTerViT ist das erste, das alles verkleinert, einschließlich dieser empfindlichen Teile, in das einfache -1, 0, +1-Format.
3. Der „Lehrer und Schüler"-Trick
Das Verkleinern eines riesigen Gehirns zu einem winzigen lässt es normalerweise vergessen, wie man denkt, was zu albernen Fehlern führt. Um dies zu beheben, verwendeten die Autoren eine Technik namens Wissensdistillation.
- Stellen Sie sich einen Meisterkoch (die ursprüngliche, schwere KI) vor, der einen Juniorkoch (die winzige, verkleinerte KI) unterrichtet.
- Anstatt dem Juniorkoch nur zu sagen „Das ist eine Katze", zeigt der Meisterkoch ihm, wie er die Katze sieht. „Schauen Sie sich die Ohren, die Whisker, die Form an."
- Der Juniorkoch lernt, indem er den Denkprozess des Meisters kopiert, nicht nur die endgültige Antwort. Dies ermöglichte es der winzigen KI, auch nach dem Verkleinern auf ihre absolut kleinste Größe intelligent zu bleiben.
4. Das Ergebnis: Eine intelligente KI in einer 10-Dollar-Kamera
Die Autoren testeten dies auf einem sehr billigen, gängigen Mikrocontroller-Chip namens ESP32-S3 (zu finden in Geräten, die etwa 10 Dollar kosten).
- Vorher: Die ursprüngliche KI war 88,3 MB groß. Sie war zu groß, um überhaupt auf den Chip zu passen.
- Nachher: Ihr neues FTerViT-Modell ist nur 5,81 MB groß. Es passt perfekt.
- Leistung: Obwohl es winzig ist, ist es immer noch sehr intelligent. Es identifiziert Bilder etwa 79,6 % der Zeit korrekt. Dies ist viel besser als frühere Versuche, KI zu verkleinern, die oft auf 74 % oder weniger fielen.
5. Warum dies für Ihre Tasche wichtig ist
Die Arbeit zeigt, dass Sie keinen Supercomputer benötigen, um intelligente Bilderkennung auszuführen. Sie können sie auf einem Gerät mit 8 MB Speicher ausführen (etwa so groß wie eine kleine Textdatei).
- Geschwindigkeit: Da die Daten so klein sind, muss das Gerät nicht so hart arbeiten, um Informationen abzurufen. Es läuft schneller und verbraucht weniger Batterie.
- Effizienz: Die Autoren bauten eine benutzerdefinierte „Engine" (Software), die diese winzige KI vollständig auf dem Chip ausführt, ohne dass eine Verbindung zum Internet oder zu einem Cloud-Server erforderlich ist.
Zusammenfassend: Die Arbeit stellt eine Methode vor, die fortschrittlichsten Bilderkennungs-KI-Modelle auf die Größe eines winzigen Kieselsteins zu verkleinern, sodass sie auf billigen, batteriebetriebenen Geräten laufen können, die zuvor zu schwach waren, um sie zu verarbeiten. Dies gelang ihnen, indem sie die Mathematik auf nur drei Zahlen vereinfachten und einen „Lehrer" verwendeten, um dem winzigen Modell beizubringen, richtig zu denken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.