Invariance can prevent overfitting and shortcut learning in Quantum Neural Networks
Diese Arbeit zeigt, dass die Einbeziehung der -Symmetrie in Quanten-neuronale Netze die Generalisierung, die Robustheit gegenüber Shortcut-Learning und die Rauschresistenz im Vergleich zu nicht-invarianten Modellen mit identischen Architekturen und Parameteranzahlen über verschiedene Bildklassifizierungsaufgaben hinweg signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der Welt der künstlichen Intelligenz lernen Computer, die Welt zu sehen, indem sie Bilder scannen und Muster finden. Wenn eine Maschine ein Foto einer Katze betrachtet, ist es ihr egal, ob die Katze aufrecht sitzt, liegt oder aus einem anderen Winkel betrachtet wird; das Label „Katze“ bleibt dasselbe. Diese Fähigkeit, zu erkennen, dass die Kernidentität eines Objekts gleich bleibt, auch wenn sich seine Position ändert, wird Invarianz genannt. Jahrzehntelang haben Ingenieure klassische Computerprogramme gebaut, die diese Regel fest programmiert haben, indem sie den Maschinen beibrachten, Rotation und Spiegelung zu ignorieren, damit sie schneller und genauer lernen können. Nun versuchen Wissenschaftler, eine neue Art von Computer zu bauen, die die seltsamen Gesetze der Quantenphysik nutzt, um Informationen zu verarbeiten. Diese Quantenmaschinen sind theoretisch unglaublich leistungsstark, aber derzeit noch sehr klein und zerbrechlich sowie anfällig für Fehler, wenn sie versuchen, aus begrenzten Daten zu lernen. Eine zentrale Frage war, ob diese neuen Quantenmaschinen ebenfalls lernen können, die Position eines Objekts zu ignorieren, um bessere Lerner zu werden, oder ob ihre einzigartige Physik sie zu empfindlich für solche Details macht.
Ein Team von Forschern machte sich daran, dies zu beantworten, indem sie vier verschiedene Quantenmodelle bauten, um Aufgaben der Bildklassifizierung zu lösen. Sie wollten sehen, ob das Erzwingen der Symmetrie eines Bildes auf einen Quantencomputer – das heißt, dass er ein rotiertes Bild als dasselbe Objekt behandelt – ihm helfen würde, besser zu lernen. Um dies fair zu gestalten, konstruierten sie vier unterschiedliche Modelle, die in jeder Hinsicht identisch waren, außer in der Art und Weise, wie sie mit Symmetrie umgingen. Sie verwendeten die gleiche Anzahl an Quantenbits, die gleiche Anzahl an einstellbaren Parametern und dieselbe zugrunde liegende mathematische Struktur. Zwei dieser Modelle wurden von Natur aus als „invariant“ konzipiert, was bedeutet, dass ihre internen Regeln sie dazu zwangen, die Orientierung des Bildes zu ignorieren. Die anderen zwei Modelle durften die Orientierung wahrnehmen und behandelten ein rotiertes Bild als einen völlig anderen Input. Die Forscher testeten diese Modelle bei vier verschiedenen Herausforderungen: dem Erkennen handgeschriebener Zahlen, dem Identifizieren einfacher geometrischer Formen, dem Unterscheiden zwischen zwei Arten von Galaxien und dem Erkennen verschiedener Formen von roten Blutkörperchen. In jedem Fall traten die Bilder in zufälligen Rotationen auf, genau wie sie es in der realen Welt tun könnten.
Die Ergebnisse waren über alle vier Aufgaben hinweg klar und konsistent. Die Modelle, die darauf ausgelegt waren, die Orientierung der Bilder zu ignorieren, lernten viel schneller und machten weniger Fehler bei neuen, ungesehenen Bildern. Da sie gezwungen waren, sich nur auf die Form des Objekts und nicht auf dessen Position zu konzentrieren, verschwendeten sie nicht ihre begrenzte Lernkapazität damit, spezifische Details der Trainingsfotos auswendig zu lernen. Im Gegensatz dazu lernten die Modelle, die es erlaubten, die Orientierung wahrzunehmen, schnell die exakten Posen der wenigen Bilder auswendig, die ihnen gezeigt wurden. Wenn diese nicht-invarianten Modelle mit einem neuen Bild mit einer anderen Rotation konfrontiert wurden, scheiterten sie oft vollständig. Die Forscher fanden heraus, dass es nicht ausreichte, den Schaltkreis des Quantencomputers lediglich symmetrisch zu machen; auch der letzte Schritt, bei dem der Computer seine Antwort ausliest, musste symmetrisch sein. Wenn der Computer mit symmetrischen Regeln gebaut wurde, aber angewiesen wurde, eine nicht-symmetrische Antwort zu geben, scheiterte er dennoch bei der Generalisierung.
Die Studie untersuchte auch ein häufiges Problem im maschinellen Lernen namens „Shortcut Learning“ (Abkürzungslernen), bei dem ein Modell einen einfachen Trick findet, um die Antwort zu erraten, anstatt die eigentliche Regel zu lernen. Die Forscher fügten jedem Trainingsbild ein kleines, verstecktes Wasserzeichen in die Ecke hinzu, um zu sehen, ob die Modelle sich darauf verlassen würden. Die Modelle, die die Orientierung wahrnehmen konnten, lernten diesen Trick sofort; sie betrachteten die Ecke, sahen das Wasserzeichen und erraten die Antwort, ohne jemals das eigentliche Bild anzusehen. Als die Forscher das Wasserzeichen in eine andere Ecke bewegten, scheiterten diese Modelle und fielen auf das Niveau des bloßen Ratens zurück. Die invarianten Modelle hingegen konnten das Wasserzeichen gar nicht sehen, da es sich mit der Bildrotation mitbewegte. Stattdessen wurden sie gezwungen, den tatsächlichen Inhalt des Bildes zu betrachten, und sie konnten die Objekte auch dann weiterhin korrekt identifizieren, wenn der Trick entfernt wurde.
Abschließend testete das Team, wie standhaft sich diese Erkenntnisse gegenüber dem Rauschen und den Fehlern verhielten, die typisch für aktuelle Quantenhardware sind. Reale Quantencomputer sind unvollkommen, und ihre Signale werden oft durch Hitze und Interferenzen verzerrt. Die Forscher simulierten diese Bedingungen und fanden heraus, dass der Vorteil der invarianten Modelle bestehen blieb. Selbst wenn die Quantensignale verrauscht waren, blieben die Modelle, die die Orientierung ignorierten, genauer und weniger anfällig für Overfitting (Überanpassung) als ihre Gegenstücke. Die Studie legt nahe, dass für die Nutzbarkeit von Quantencomputern in der realen Welt, insbesondere wenn Daten knapp sind, das direkte Einbauen von Symmetrie in ihr Design ein mächtiges Werkzeug ist. Es wirkt wie eine Leitplanke, die verhindert, dass die Maschine durch irrelevante Details abgelenkt wird, und hilft ihr, sich auf die wahren Muster zu konzentrieren, die die Welt um sie herum definieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.