Predicting Human Visual Attention on Words in Source Code
Dieses Paper führt ein neuartiges Rechenmodell ein, das durch die Verwendung einer spezialisierten Verlustfunktion zur Abstimmung der internen Aufmerksamkeit des neuronalen Netzwerks mit empirischen Eye-Tracking-Daten über Java- und C-Programmiersprachen hinweg bestehende Baselines und fortgeschrittene KI-Systeme bei der Vorhersage der menschlichen visuellen Aufmerksamkeit auf Quellcode signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu verstehen, wie das menschliche Gehirn arbeitet, während eine Person ein Buch liest. Sie können sie nicht einfach fragen: „Woran denkst du gerade?“, denn sie wissen es vielleicht selbst nicht oder sie könnten lügen. Deshalb nutzen Wissenschaftler eine spezielle Kamera, um ihre Augen zu beobachten. Dies nennt man Eye-Tracking. Es ist wie ein winziger Scheinwerfer, der folgt, wohin eine Person schaut, und uns genau zeigt, auf welche Wörter sie starren, welche sie überspringen und wie lange sie innehalten. In der Welt der Informatik ist dies eine große Sache, denn Softwareentwickler verbringen ihr Leben damit, auf Quellcode zu starren – die textbasierten Anweisungen, die Computern sagen, was sie tun sollen. Aber Code ist nicht einfach nur eine Geschichte; er ist ein Puzzle. Ingenieure lesen ihn nicht wie einen Roman; sie springen vor und zurück, lesen Zeilen erneut und suchen nach Hinweisen. Zu verstehen, wohin sie schauen, hilft uns dabei, bessere Werkzeuge zu bauen, klarere Bildschirme zu entwerfen und sogar Computer zu lehren, wie Menschen zu denken.
Nun kommt der knifflige Teil: Computer sind normalerweise sehr schlecht darin, zu erraten, worauf Menschen schauen. Sie könnten denken, dass ein langes, kompliziertes Wort das wichtigste ist, während ein menschlicher Ingenieur weiß, dass das kurze, langweilige Wort daneben eigentlich der Schlüssel zum gesamten Programm ist. In dieser Arbeit geht es darum, den Computer zu lehren, aufzuhören zu raten und anzfangen, wie ein Mensch zu „sehen“. Die Forscher bauten eine spezielle Art von Computergehirn (ein Modell), das lernte, indem es echte Menschen beim Lesen von Code beobachtete. Sie sagten dem Computer nicht einfach: „Hier ist der Code, rate das nächste Wort.“ Stattdessen gaben sie ihm einen geheimen Spickzettel: eine Karte davon, wo das menschliche Auge tatsächlich gelandet ist. Sie brachten dem Computer bei, seinen eigenen internen „Blick“ mit dem tatsächlichen Blick des Menschen zu vergleichen und sein Denken so anzupassen, bis beide übereinstimmten.
Die wichtigste Entdeckung ist, dass dieses neue Computermodell überraschend gut darin ist, die menschliche Aufmerksamkeit nachzuahmen. Als die Forscher es gegen drei verschiedene Gruppen von Programmierern testeten (einige lasen Java-Code, andere C-Code), lagen die Vorhersagen des Computers viel näher an dem, was Menschen tatsächlich taten, als bei jedem bisherigen Computermodell. Tatsächlich war der Computer in einigen Tests um 64 % und sogar um 467 % besser darin, zu erraten, wohin ein Mensch schauen würde, als die alten Standardmethoden. Er hat nicht nur die Zahlen richtig bekommen; er hat das Muster des menschlichen Denkens gelernt.
Aber die Forscher hörten dort nicht auf. Sie wollten sehen, ob diese „menschenähnliche“ Aufmerksamkeit dem Computer helfen kann, eine schwierigere Aufgabe zu bewältigen: die exakte Abfolge von Augenbewegungen vorherzusagen, die als Scanpath bekannt ist. Stellen Sie sich vor, Sie versuchen, den exakten Pfad vorherzusagen, den ein Wanderer durch einen Wald nehmen wird, Schritt für Schritt. Der mit menschlichen Augendaten trainierte Computer war in der Lage, diese Pfade besser vorherzusagen als andere berühmte KI-Modelle (wie GPT-5 und Claude) und besser als das bisher beste Computerprogramm für die Leseaufgabe. Während er auch bei der Schreibaufgabe Verbesserungen zeigte, merkten die Forscher an, dass diese spezifischen Gewinne im Vergleich zum bisher besten Computerprogramm statistisch nicht signifikant waren, obwohl er kommerzielle Modelle dennoch übertraf. Dies deutet darauf an, dass, wenn wir Computer lehren, so aufmerksam zu sein wie Menschen, sie nicht nur besser im Lesen werden; sie beginnen, den Prozess des Denkens selbst zu verstehen.
Die Autoren sind jedoch vorsichtig damit, nicht zu behaupten, sie hätten das Rätsel des menschlichen Geistes gelöst. Sie geben zu, dass ihr Modell ein „Schätzer“ dessen ist, was eine Gruppe von Menschen üblicherweise tut, und kein perfektes Abbild des Gehirns einer einzelnen Person. Es hat auch Grenzen; es arbeitet am besten auf kleineren Code-Abschnitten und könnte verwirrt werden, wenn der Code zu riesig ist, um auf einmal in seinen Speicher zu passen. Aber die Ergebnisse sind ein starker Hinweis darauf, dass wir, indem wir beobachten, wie sich unsere Augen bewegen, Maschinen lehren können, die Welt ein wenig mehr so zu sehen, wie wir es tun.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.