A bio-inspired hybrid lifelong learning based on self-selective memristors
Dieses Paper schlägt ein bio-inspiriertes hybrides Lifelong-Learning-System vor, das einen Drosophila-Human-Hybrid-Algorithmus mit selbstselektiver Memristor-Hardware ko-designt, um katastrophales Vergessen und Energieineffizienzen zu überwinden und dabei signifikante Geschwindigkeits- und Energieverbesserungen gegenüber herkömmlichen CMOS-Beschleunigern zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, jedes jemals gemachte Videospiel zu spielen, eines nach dem anderen. Das Problem ist: Wenn der Roboter lernt, „Space Invaders“ zu spielen, vergisst er oft, wie man „Pac-Man“ spielt. Dies wird als „katastrophales Vergessen“ bezeichnet und ist ein riesiges Problem für die künstliche Intelligenz. Um dies zu beheben, versuchen Wissenschaftler normalerweise entweder, das Gehirn des Roboters einzufrieren, damit es nicht vergisst (aber dann kann es keine neuen Dinge lernen), oder es frei lernen zu lassen (aber dann vergisst es das alte Zeug). Die Natur hat jedoch einen besseren Trick. Unsere Gehirne speichern nicht einfach alles für immer; sie vergessen aktiv die langweiligen Dinge, um Platz für die wichtigen Dinge zu schaffen, und sie besitzen verschiedene Arten von Gedächtnis, die für unterschiedliche Zeiträume bestehen bleiben. Dieses Paper untersucht einen neuen Weg, eine KI zu bauen, die diesen biologischen Balanceakt nachahmt, aber anstatt energiehungriger, langsamer Computerchips verwendet es eine spezielle Art von elektronischer Komponente, die wie eine lebende Speicherzelle fungiert.
Die Forscher, angeführt von Yishu Zhang und einem Team von Institutionen wie der Zhejiang University und der Tsinghua University, haben ein System für „hybrides lebenslanges Lernen“ entwickelt. Stellen Sie sich das wie ein Robotergehirn vor, das aus zwei sehr unterschiedlichen Teilen besteht, die zusammenarbeiten. Zuerim entwarfen sie einen intelligenten Software-Algorithmus, der zwei biologische Ideen kombiniert: „aktives Vergessen“ (inspiriert von Fruchtfliegen, die Dinge vergessen, um effizient zu bleiben) und „Metaplastizität“ (inspiriert von Menschen, die wichtige Erinnerungen stärken). Zweitens bauten sie eine physische Hardware-Vorrichtung, einen „selbstselektiven Memristor“ (SSM), der sich ganz natürlich so verhält wie diese Software. Diese winzigen Bauteile können ihren elektrischen Widerstand ändern, um Informationen zu speichern, aber im Gegensatz zu normalem Computerspeicher haben sie ein eingebautes „Leck“, das schwache Erinnerungen langsam verblassen lässt, während starke Erinnerungen erhalten bleiben, genau wie ein menschliches Gehirn.
Das Team hat dies nicht nur am Computer simuliert; sie haben tatsächlich einen kleinen Chip mit 1.024 dieser Memristoren (angeordnet in einem 32x32-Gitter) gebaut und getestet. Sie fanden heraus, dass sie durch die Abstimmung der Geschwindigkeit, mit der diese Geräte „vergessen“, ein Team aus fünf verschiedenen „Speicherkernen“ innerhalb des Chips erstellen konnten. Einige Kerne wurden so eingestellt, dass sie sehr vergesslich und flexibel sind (großartig, um neue, schwierige Aufgaben schnell zu lernen), während andere so eingestellt wurden, dass sie sehr stabil und stur sind (großartig, um alte, wichtige Fähigkeiten festzuhalten). Als sie dieses System bei einer Serie von 20 verschiedenen Bilderkennungsaufgaben testeten (unter Verwendung eines Datensatzes namens CIFAR), lernte das System alle diese Aufgaben erfolgreich, ohne die vorherigen zu vergessen.
Die Ergebnisse waren beeindruckend. Im Vergleich zu Standard-Computerchips (CMOS) wurde prognostiziert, dass dieses neue System 3,42-mal schneller ist und 91-mal weniger Energie verbraucht. Die Autoren legen nahe, dass dieser Ansatz den altbekannten Kampf zwischen dem Bewahren alten Wissens und dem Erlernen neuer Dinge löst und einen Weg zu einer KI bietet, die wirklich kontinuierlich in der realen Welt lernen kann, genau wie wir. Sie betonen, dass, obwohl die Kern-Lernregeln auf Hardware getestet wurden, die vollen Leistungszahlen für die 20-Aufgaben-Herausforderung auf Simulationen basierten, die mit ihren realen Hardware-Messungen kalibriert wurden, was zeigt, dass die Physik ihrer neuen Bauteile tatsächlich komplexes, lebenslanges Lernen unterstützen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.