Judging the reasons for fixations: A direct experimental method to assess the contribution of saliency and semantic factors to gaze control
Durch die Anwendung einer direkten experimentellen Methode, bei der die Teilnehmer die Gründe für ihre Fixationen explizit angaben, zeigt diese Studie, dass semantische Faktoren, insbesondere Neuheit und Vorwissen, im Allgemeinen die niedrigschwellige Salienz bei der Blicksteuerung dominieren, und schlägt ein Framework vor, das zwischen bildbasierten Hervorhebungsprozessen und Scanpath-Sampling-Strategien unterscheidet, um die Leistungsfähigkeit von Deep-Learning-Modellen wie DeepGaze IIE besser zu interpretieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Ihre Augen wären wie eine Kamera, die eine Tour durch eine belebte Stadtstraße macht. Seit Jahren streiten Wissenschaftler darüber, was die Kamera dazu bringt, an einem bestimmten Punkt anzuhalten und zu fokussieren. Eine Gruppe sagt, es sind die blinkenden Lichter und leuchtenden Farben (Salienz), während die andere Gruppe sagt, es sind die bedeutungsvollen Dinge wie ein „Stopp“-Schild oder das Gesicht einer Person (Semantik).
Das Problem früherer Studien war, dass sie versuchten, dies zu lösen, indem sie den gesamten Stadtplan auf einmal betrachteten. Es ist, als würde man versuchen herauszufinden, warum ein Tourist an einer bestimmten Ecke stehen geblieben ist, indem man nur eine Heatmap der gesamten Straße betrachtet. Man kann nicht unterscheiden, ob er wegen eines Neonschildes oder eines Straßenkünstlers stehen geblieben ist; die Gründe vermischen sich.
Das neue Experiment: Den Touristen fragen
Anstatt aus der Ferne zu raten, versuchte diese Arbeit einen direkten Ansatz. Die Forscher zeigten Menschen ein Bild und fragten sie genau, warum sie auf bestimmte Stellen blickten. Es ist, als würde man den Touristen direkt nachdem er ein Foto gemacht hat anhalten und fragen: „Hey, warum hast du dieses Foto gemacht? War es der leuchtend rote Feuerwehrauto oder der lustige Hund mit dem Hut?“
Was sie herausfanden
Die Antworten zeigten, dass unsere Augen von einer Mischung aus beiden Faktoren angetrieben werden, aber die Bedeutung meistens gewinnt. Wir starren nicht einfach nur auf das hellste Objekt; wir starren auf das, was zählt.
Interessanterweise bestand die „Bedeutung“ nicht nur darin, bekannte Objekte zu erkennen. Ein großer Faktor war das Entdecken von Dingen, die seltsam, unbekannt oder ungewöhnlich waren. Es stellt sich heraus, dass unsere Gehirne wie neugierige Detektive sind; wenn etwas nicht in unser „Regelwerk“ dessen passt, was wir wissen, zoomen wir sofort darauf.
Das neue Framework: Der Scheinwerfer vs. der Reiseleiter
Um dies begreifbar zu machen, schlagen die Autoren eine neue Art vor, wie unsere Augen funktionieren, indem sie eine Zwei-Schritte-Analogie verwenden:
- Der Scheinwerfer (Salienz): Stellen Sie sich einen Bühnenmanager vor, der einen hellen Scheinwerfer auf interessante oder seltsame Teile der Bühne richtet. Dies hebt hervor, wohin man schauen soll.
- Der Reiseleiter (Strategie): Dann entscheidet ein Reiseleiter, wie er den Scheinwerfer von einem Ort zum nächsten bewegt, um einen glatten Pfad (einen Scanpfad) zu erstellen.
Die Arbeit legt nahe, dass alte Computermodelle nur gut darin waren, der „Bühnenmanager“ zu sein (das Finden heller Punkte). Sie haben den Teil mit dem „Reiseleiter“ (der Strategie, wie wir unsere Augen bewegen) übersehen.
Der Deep-Learning-Gewinner
Die Forscher testeten dies gegen Computermodelle. Sie fanden heraus, dass ältere Modelle (wie einfache Salienz-Maps) kläglich versagten, wenn sich der Grund für das Hinsehen änderte (z. B. konnten sie mit „Seltsamkeit“ nicht gut umgehen). Neuere, intelligentere KI-Modelle (wie DeepGaze IIE) waren jedoch viel flexibler.
Betrachten Sie die alten Modelle als einen Roboter, der nur nach roten Dingen sucht. Wenn man ihm ein blaues, seltsames Objekt zeigt, wird er verwirrt. Das neue KI-Modell ist wie ein Mensch, der sowohl die roten Dinge als auch die seltsamen Dinge versteht und weiß, wie er seine Augen basierend auf dem spezifischen Grund bewegen muss, warum er gerade hinsieht. Da es die „Reiseleiter“-Strategie versteht, sagt es viel besser voraus, wohin wir schauen, unabhängig davon, warum wir dorthin schauen.
Zusammenfassend lässt sich sagen
Wir schauen nicht nur auf das, was hell ist; wir schauen auf das, was interessant, vertraut oder seltsam neu ist. Um vorherzusagen, wohin unsere Augen wandern, brauchen wir Computermodelle, die nicht nur die „blinkenden Lichter“ eines Bildes verstehen, sondern auch die „Geschichte“ dahinter, warum wir gerade hinsehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.