The Impact of Noise on Memorability in Minds and Machines
Diese Arbeit zeigt auf, dass konventionelle tiefe neuronale Netze zwar daran scheitern, die menschliche Robustheit bei der Schätzung der Bildmerkfähigkeit unter Rauschen zu erreichen, da sie sich auf individuelle Bildmerkmale verlassen, das neu vorgeschlagene GraphMem-Modell jedoch erfolgreich mit der menschlichen Leistung übereinstimmt, indem es die relationale Struktur zwischen Bildern nutzt.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Wir leben nicht in einer perfekten visuellen Welt. Unsere Augen sehen oft durch regengestrandete Windschutzscheiben, körnige Sicherheitsaufnahmen oder das dämmrige Licht des Abends. Doch trotz dieser Unvollkommenheiten ist das menschliche Gedächtnis bemerkenswert konsistent. Wenn man einer großen Gruppe von Menschen ein Foto eines Kindes zeigt, das Geburtstagskerzen ausbläst, und ein anderes von einem leeren Parkplatz, werden die meisten sich an die Partyszene erinnern und den Parkplatz vergessen. Dieses Phänomen, bekannt als Bildgedächtnisfähigkeit (Image Memorability), legt nahe, dass einige Bilder für unser Gehirn einfach leichter festzuhalten sind als andere. Wissenschaftler glauben seit langem, dass einprägsame Bilder vom Gehirn effizienter verarbeitet werden, was es ermöglicht, sie schnell zu erkennen und zu speichern. Um dies zu untersuchen, wenden sich Forscher zunehmend der künstlichen Intelligenz zu und nutzen tiefe neuronale Netze – Computersysteme, die darauf ausgelegt sind, das menschliche Gehirn nachzuahmen –, um vorherzusagen, welche Bilder Menschen sich merken werden. Diese Modelle werden nun verwendet, um Bilder für alles Mögliche, von der Werbung bis zur wissenschaftlichen Forschung, zu bewerten und auszuwählen, wobei sie oft menschliche Beobachter ersetzen. Doch eine entscheidende Frage bleibt: Verstehen diese Maschinen das Gedächtnis auf die gleiche Weise wie wir, insbesondere wenn die Bilder durch Rauschen oder Unschärfe beeinträchtigt sind?
Ein Team von Forschern der George Mason University unternahm den Versuch, dies zu testen, indem sie verglichen, wie sowohl Menschen als auch künstliche Intelligenz mit visuellem Rauschen umgehen. Sie begannen mit einem Standardset an Bildern, die über verschiedene Ebenen der Einprägsamkeit verfügen, die von hochgradig einprägsamen Szenen bis hin zu jenen reichen, die leicht vergessen werden. Dann verschlechterten sie diese Bilder systematisch, indem sie unterschiedliche Mengen an visuellem Statikrauschen hinzufügten, ähnlich dem Korn, das auf alten Fernsehbildschirmen zu sehen ist, und indem sie sie auch unscharf machten. Zuerst ließen sie diese verrauschten Bilder durch mehrere hochmoderne Computermodelle laufen, die derzeit als die besten bei der Vorhersage des menschlichen Gedächtnisses gelten. Die Ergebnisse waren überraschend. Die Computermodelle verhielten sich in einer Weise, die einem Phänomen namens stochastische Resonanz ähnelte, bei dem das Hinzufügen von ein wenig Rauschen tatsächlich ein schwaches Signal leichter detektierbar machen kann. In den Modellen bewirkte das Hinzufügen von Rauschen, dass die am wenigsten einprägsamen Bilder einprägsamer erschienen, während die am meisten einprägsamen Bilder weniger einprägsam erschienen. Es war, als ob das Rauschen den Fokus der Computer verwirrte und sie dazu brachte, die Bedeutung des Bildes falsch einzuschätzen.
Die Forscher baten anschließend menschliche Teilnehmer, dieselbe Aufgabe durchzuführen, indem sie dieselben verrauschten und unscharfen Bilder in einem kontinuierlichen Erkennungsspiel betrachteten, bei dem sie wiederkehrende Bilder identifizieren mussten. Die Ergebnisse der Menschen erzählten eine völlig andere Geschichte. Als die Bilder verschlechtert wurden, blieb das menschliche Gedächtnis für die hochgradig einprägsamen Bilder stark und resistent gegenüber dem Rauschen. Das Gedächtnis für die weniger einprägsamen Bilder nahm jedoch drastisch ab. Im Gegensatz zu den Computern fanden Menschen nicht, dass Rauschen ihnen half, sich die vergesslichen Bilder zu merken; stattdessen machte das Rauschen es einfach schwieriger, sich überhaupt etwas zu merken, aber die Fähigkeit des Gehirns, die auffälligsten Bilder festzuhalten, war weitaus robuster. Die Studie fand heraus, dass diese Lücke zwischen menschlicher und maschineller Leistung bestehen blieb, selbst als die Forscher die Computermodelle auf verrauschte Bilder neu trainierten – eine Technik, die Maschinen normalerweise hilft, degradierte Objekte besser zu erkennen. Die Modelle beurteilten weiterhin falsch, wie Rauschen das Gedächtnis beeinflusst, was darauf hindeutet, dass ihre interne Art der Bildverarbeitung sich grundlegend von der Art und Weise unterscheidet, wie Menschen lernen und sich erinnern.
Um zu verstehen, warum die Computer scheiterten, untersuchten die Forscher, wohin die Modelle „sahen“, wenn sie ihre Urteile fällten. Sie fanden heraus, dass die Modelle bei hochgradig einprägsamen Bildern ihre Aufmerksamkeit auf einen spezifischen, zentralen Teil des Bildes richteten. Wenn Rauschen hinzugefügt wurde, zerstreute sich dieser Fokus, und das Vertrauen des Modells in die Einprägsamkeit des Bildes sank. Für weniger einprägsame Bilder war der Fokus anfangs zerstreut, aber das Rauschen verursachte manchmal, dass sie sich auf einen einzigen Punkt konzentrierten, was ihren Score versehentlich steigerte. Im Gegensatz dazu beruht das menschliche Gedächtnis nicht auf demselben einzelnen Fokuspunkt. Die Forscher entdeckten, dass das menschliche Gedächtnis stark davon abhängt, wie ein Bild mit anderen Bildern in einem Set in Beziehung steht, anstatt nur von den Merkmalen des Bildes selbst. Um dies zu testen, entwickelten sie ein neues Modell namens GraphMem. Anstatt jedes Bild isoliert zu analysieren, betrachtet dieses Modell die Beziehungen zwischen allen Bildern und bildet sie basierend darauf ab, wie ähnlich sie einander sind.
Als die Forscher diesen neuen Ansatz testeten, änderten sich die Ergebnisse dramatisch. GraphMem, das den Kontext und die Beziehungen zwischen den Bildern berücksichtigt, performte viel mehr wie ein Mensch. Es sagte korrekt voraus, dass hochgradig einprägsame Bilder selbst dann stabil bleiben würden, wenn das Rauschen zunimmt, während weniger einprägsame Bilder darunter leiden würden. Es fiel nicht in die Falle, zu denken, dass Rauschen schlechte Bilder besser macht. Die Studie legt nahe, dass der Grund dafür, dass die aktuelle künstliche Intelligenz unter verrauschten Bedingungen Schwierigkeiten mit dem Gedächtnis hat, darin liegt, dass sie jedes Bild als ein eigenständiges Objekt behandelt und den breiteren Kontext ignoriert, in dem wir die Welt natürlich betrachten. Menschen, die aufgewachsen sind, die Welt in all ihrer unvollkommenen Klarheit zu sehen, haben gelernt, Rauschen herauszufiltern und sich auf die Unterscheidbarkeit eines Bildes im Verhältnis zu allem anderen zu verlassen, was wir gesehen haben. Die Ergebnisse deuten darauf hin, dass die KI, um wirklich menschenähnliche Gedächtnissysteme zu bauen, über die Analyse einzelner Merkmale hinausgehen und beginnen muss, das Geflecht von Beziehungen zu verstehen, das ein Bild mit dem nächsten verbindet.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.