Comparing Human Gaze and Vision-Language Model Attention in Safety-Relevant Environments
Diese Studie zeigt, dass große Vision-Language-Modelle, insbesondere GPT-4o und Gemini Pro, die menschlichen visuellen Aufmerksamkeitsmuster in sicherheitsrelevanten Umgebungen effektiv approximieren können, ohne auf Eye-Tracking-Trainingsdaten angewiesen zu sein, wie durch starke räumliche Ausrichtungswerte zwischen den vom Modell generierten Salienzkarten und menschlichen Blick-Heatmaps belegt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie gehen durch eine belebte Stadtstraße. Ihre Augen wandern ganz natürlich zu den quietschenden Reifen eines Beinahe-Unfalls, dem glatten Eis auf dem Gehweg oder der Baustellensperre, die den Weg blockiert. Sie müssen nicht darüber nachdenken; Ihr Gehirn ist darauf programmiert, zuerst auf potenzielle Gefahren zu achten. Dies nennt man Negativitäts-Bias – wir sind darauf programmiert, auf Bedrohungen zu achten.
Nun stellen Sie sich vor, Sie möchten einen superintelligenten Computer (eine KI) lehren, genau das zu tun. Sie möchten, dass er ein Bild betrachtet und sagt: „Hey, schau hierhin! Hier würde ein Mensch ein Risiko bemerken.“
Dieses Paper stellt eine einfache Frage: Kann eine moderne KI Gefahr auf die gleiche Weise „sehen“ wie ein Mensch, ohne jemals davon gelernt zu haben, indem sie menschliche Augen beobachtet hat?
Das Experiment: Ein Spiel namens „Wo schaust du hin?“
Die Forscher setzten ein Spiel mit zwei Teams auf: Die Menschen und Die KI.
Team Mensch (Die Eye-Tracker):
Sie brachten 10 Universitätsstudenten in einen Raum und gaben ihnen spezielle Brillen (genannt Pupil Invisible), die wie winzige Kameras für die Augen fungieren. Diese Brillen beobachten nicht nur die Studenten; sie beobachten, worauf die Studenten schauen.
- Die Studenten betrachteten 33 verschiedene Bilder alltäglicher Szenen (wie eine überflutete Straße, eine belebte Kreuzung oder einen ruhigen Park).
- Einige Bilder enthielten offensichtliche Risiken (wie einen Autounfall oder einen Sturm), andere waren sicher.
- Die Brillen zeichneten genau auf, wo die Augen jedes Studenten landeten, wodurch eine „Heatmap“ erstellt wurde. Denken Sie bei dieser Heatmap an ein Wärmebild einer Kamera: Je heißer (heller) der Punkt ist, desto mehr Menschen haben dort hingeschaut.
Team KI (Das Vision-Language-Modell):
Die Forscher zeigten derselben KI dann die gleichen 33 Bilder, nämlich einer leistungsstarken KI namens GPT-4o.
- Sie haben die KI nicht mit den Eye-Tracking-Daten trainiert. Sie haben nicht gesagt: „Hier hat ein Mensch hingeschaut.“
- Stattdessen fragten sie die KI einfach: „Sieh dir dieses Bild an. Wenn ein Mensch 10 Sekunden lang auf dieses Bild schauen würde, wohin würden seine Augen gehen? Bitte nenne uns die Koordinaten der wichtigsten Stellen.“
- Die KI erstellte ihre eigene „Heatmap“ basierend auf dem, was sie für wichtig hielt.
Das Duell: Der Vergleich der Karten
Die Forscher legten dann die menschliche Heatmap und die KI-Heatmap übereinander, um zu sehen, wie gut sie übereinstimmten. Sie verwendeten vier verschiedene „Lineale“ (mathematische Tests), um die Überschneidung zu messen:
- Der „Sind sie sich ähnlich?“ Test (Pearson-Korrelation): Markierte die KI dieselben allgemeinen Bereiche wie die Menschen?
- Ergebnis: Ja, moderat gut. Die KI stimmte in etwa 51 % der Fälle hinsichtlich des allgemeinen Layouts mit den Menschen überein.
- Der „Hast du dort hingeschaut?“ Test (NSS): Wenn Menschen an einen bestimmten Punkt sahen, dachte die KI dann auch, dass dieser Punkt wichtig sei?
- Ergebnis: Ja. Die KI vergab hohe Werte für die exakten Stellen, auf die Menschen starrten.
- Der „Form-Match“ Test (KL-Divergenz): Sah die Verteilung der Aufmerksamkeit der KI so aus wie die der Menschen?
- Ergebnis: GPT-4o war tatsächlich am besten darin, die Form der menschlichen Aufmerksamkeit abzubilden, selbst wenn andere Modelle etwas besser darin waren, exakte Orte zu lokalisieren.
- Der „Erkenne die Gefahr“ Test (AUC-Judd): Wenn man raten müsste, welche Teile des Bildes riskant sind, könnte die KI das besser als reines Raten?
- Ergebnis: Absolut. Die KI erzielte einen Wert von 0,80 von 1,0, während reines Raten nur 0,5 erzielen würde.
Das Urteil
Die Studie ergab, dass GPT-4o Sicherheitsrisiken fast genau dort „sieht“, wo Menschen es tun, obwohl die KI nie eine Eye-Tracking-Brille getragen hat.
- Die Verbindung zum „Negativitäts-Bias“: Die KI scheint aus ihren massiven Trainingsdaten (all den Texten und Bildern, die sie online gelesen hat) gelernt zu haben, dass Menschen dazu neigen, sich auf beängstigende oder gefährliche Dinge zu konzentrieren. Sie ahmt unseren „Negativitäts-Bias“ ganz natürlich nach.
- Es ist nicht nur ein Modell: Die Forscher testeten auch andere KIs (wie Gemini Pro und Claude). Alle schnitten besser ab als der Zufall, aber GPT-4o war am besten darin, das Muster der menschlichen Aufmerksamkeit abzubilden, während Gemini Pro etwas besser darin war, den exakten Ort der Risiken zu bestimmen.
Warum das wichtig ist (laut dem Paper)
Das Paper kommt zu dem Schluss, dass wir vielleicht keine teuren Eye-Tracking-Brillen benötigen, um Sicherheitssysteme für Roboter oder selbstfahrende Autos zu bauen. Wenn ein großes KI-Modell allein durch das „Nachdenken“ über ein Bild vorhersagen kann, wohin ein Mensch schauen würde, um Gefahr zu erkennen, können wir diese KI nutzen, um Maschinen bei der sicheren Navigation zu helfen.
Kurz gesagt: Die KI musste nicht lernen, wie man schaut; sie musste nur gefragt werden, und sie hat herausgefunden, dass sie – genau wie wir – den gruseligen Dingen Aufmerksamkeit schenken sollte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.