Predicting Program Comprehension with Foundation Models of Human Cognition
Diese Arbeit zeigt auf, dass Centaur, ein auf allgemeinen psychologischen Daten trainiertes Fundamentmodell der menschlichen Kognition, sein Basismodell Llama 3.1 bei der Vorhersage des Entwicklerverhaltens während des Programverständnisses übertrifft, was darauf hindeutet, dass aus breiten psychologischen Experimenten gelernte kognitive Regularitäten effektiv auf komplexe Software-Engineering-Aufgaben übertragen werden können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu erraten, was ein Freund als Nächstes sagen wird. Sie könnten versuchen, jedes einzelne Gespräch, das er je geführt hat, auswendig zu lernen, oder Sie könnten versuchen, die allgemeinen Regeln zu verstehen, wie Menschen denken, sprechen und reagieren. Jahrzehntelang haben Forscher, die versuchen vorherzusagen, wie Softwareentwickler Code verstehen, in diesem ersten Lager verharrt: Sie haben winzige, spezifische Modelle für spezifische Aufgaben gebaut, oder sie haben versucht, die „Komplexität“ von Code zu messen, indem sie beispielsweise die Anzahl der Kommas in einem Satz zählten. Aber diese Methoden sind so, als würde man versuchen, einen ganzen Film vorherzusagen, indem man nur auf die Farbe der Schuhe der Schauspieler achtet – sie lassen sich entweder nicht skalieren oder sie passen einfach nicht gut zur Realität.
Hier kommt eine neue Idee aus der Welt der Psychologie ins Spiel. Anstatt ein Modell nur für das Programmieren zu bauen, was wäre, wenn wir ein Modell darauf trainieren würden, wie Menschen in allen Arten von Situationen handeln? Genau das haben die Forscher in dieser Arbeit getan. Sie nahmen eine superintelligente KI namens Centaur, die auf Daten aus 160 verschiedenen psychologischen Experimenten (wie Gedächtnisspielen oder Entscheidungsrätseln) trainiert worden war, und stellten eine große Frage: Kann dieser „allgemeine Simulator des menschlichen Gehirns“ verstehen, wie Entwickler Code lesen, obwohl er während seines Trainings noch nie eine einzige Zeile Code gesehen hat?
Die große Entdeckung
Die Antwort, so legt das Paper nahe, ist ein deutliches „Ja“. Als sie Centaur gegen 9 verschiedene Studien testeten, bei denen echte Entwickler beim Lesen von Code beobachtet wurden, sagte Centaur, wie Menschen reagieren würden, viel besser voraus als sein „Elternmodell“, Llama 3.1, das nicht auf diesen psychologischen Experimenten trainiert worden war. Tatsächlich lag Centaur über alle Versuche hinweg signifikant näher am menschlichen Verhalten. Stellen Sie es sich so vor: Llama 3.1 ist ein brillanter Student, der viele Fakten kennt, aber nicht gelernt hat, wie Menschen tatsächlich denken. Centaur ist derselbe Student, aber nachdem er ein Semester „Human Behavior 101“ absolviert hat, versteht er plötzlich, wie Menschen reagieren, selbst in einem völlig neuen Fachgebiet wie der Programmierung.
Was es NICHT ist
Hier ist der wichtigste Teil: Das Paper schließt explizit einige Dinge aus.
- Es geht nicht nur darum, die Antwort zu erraten. Die Forscher waren besorgt, dass Centaur vielleicht nur gut darin ist, häufige Antworten (wie „Ja“ oder „Nein“) zu erraten, weil es diese in seinem Training oft gesehen hat. Aber sie konnten dies widerlegen. Als sie den Code und die Aufgabenstellungen aus dem Test entfernten, verließ sich Centaur nicht einfach auf „Antwort-Biase“ (Response Biases). Es wurde tatsächlich besser darin, den Code selbst und die Aufgabenbeschreibungen zu nutzen, um die Antwort zu finden.
- Es ist kein magisches Kristallkugel. Das Paper stellt vorsichtig klar, dass dies ein „Vorschlag“ und ein „Transfer“ von Mustern ist, nicht eine endgültige, gelöste Theorie des menschlichen Geistes. Sie fanden heraus, dass Centaur bei einigen schwierigen, verwirrenden Codemustern (genannt „Atoms of Confusion“) nicht ganz so gut war wie Llama. Dies deutet darauf an, dass allgemeines menschliches Denken zwar hilft, es aber immer noch sehr spezifische Programmier-Eigenheiten gibt, die das Modell noch nicht gelernt hat.
Wie sie es getestet haben
Um sicherzugehen, spielten die Forscher ein Spiel des „Wegnehmens“. Sie fütterten die Modelle mit demselben Code und denselben Fragen, entfernten aber jeweils unterschiedliche Informationen:
- Den Code: Die eigentlichen Programmierfragmente.
- Die Anweisungen: Der Text, der erklärt, was zu tun ist.
- Die Historie: Was der Entwickler in vorherigen Fragen gemacht hat.
Sie fanden heraus, dass Centaur sich weniger auf die Historie der vorherigen Antworten verließ (was Llama sehr liebte) und mehr auf den tatsächlichen Code und die Anweisungen. Dies ist ein entscheidender Hinweis: Es bedeutet, dass Centaur eine tiefere Art des Verstehens der Aufgabe erlernt hat, anstatt nur einem Muster nach dem Motto „Was habe ich beim letzten Mal gesagt?“ zu folgen.
Die Zahlen
Die Ergebnisse wurden mit einem Score namens „negative log likelihood“ gemessen, wobei ein niedrigerer Wert besser ist. Über alle Studien hinweg erreichte Centaur einen Durchschnittswert von 1,63, während Llama 3.1 einen Wert von 1,85 erzielte. In 7 der 9 untersuchten Studien war Centur signifikant besser. Der Unterschied war kein kleiner Zufall; die statistische „Effektstärke“ betrug 0,17, was das Paper als eine reale, messbare Verbesserung beschreibt.
Das Fazit
Dieses Paper behauptet nicht, das Rätsel gelöst zu haben, wie Entwickler denken. Stattdessen deutet es einen kraftvollen neuen Weg an. Es zeigt, dass das Verständnis von Code durch Menschen keine seltsame, isolierte Superkraft ist; es basiert auf denselben allgemeinen kognitiven Regeln, die uns auch helfen, Gedächtnisspiele zu spielen oder Entscheidungen in anderen Teilen des Lebens zu treffen. Indem wir KI auf allgemeines menschliches Verhalten trainieren, könnten wir endlich ein Werkzeug erhalten, das vorhersagen kann, wie Entwickler mit Code kämpfen – nicht nur durch das Zählen von Zeilen, sondern durch das Verständnis des menschlichen Geistes hinter der Tastatur. Es ist ein Schritt in Richtung einer Zukunft, in der wir Software-Tools bauen können, die wirklich „menschenbewusst“ sind, fundiert auf der Wissenschaft, wie wir tatsächlich denken.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.