💻 computer science

Predicting Program Comprehension with Foundation Models of Human Cognition

Dit artikel toont aan dat Centaur, een fundatiemodel van menselijke cognitie getraind op algemene psychologische data, het basismodel Llama 3.1 overtreft in het voorspellen van ontwikkelaarsgedrag tijdens programma-begrip, wat suggereert dat cognitieve regelmatigheden geleerd uit brede psychologische experimenten effectief kunnen worden overgedragen naar complexe software engineering-taken.

Oorspronkelijke auteurs: Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yannick Lehmen, Marvin Wyrich, Anna-Maria Maurer, Norman Peitek, Marvin Wyrich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te raden wat een vriend als volgende zal zeggen in een gesprek. Je zou kunnen proberen elke individuele conversatie die ze ooit hebben gehad uit je hoofd te leren, of je zou de algemene regels kunnen proberen te begrijpen van hoe mensen denken, praten en reageren. Decennialang hebben onderzoekers die probeerden te voorspellen hoe softwareontwikkelaars code begrijpen, vastgezeten in dat eerste kamp: ze bouwden kleine, specifieke modellen voor specifieke taken, of ze probeerden de "complexiteit" van code te meten door bijvoorbeeld het aantal komma's in een zin te tellen. Maar deze methoden zijn als het proberen te voorspellen van een hele film door alleen naar de kleur van de schoenen van de acteurs te kijken — ze schalen ofwel niet op, of ze sluiten simpelweg niet goed aan bij de werkelijkheid.

Maak kennis met een nieuw idee uit de wereld van de psychologie. In plaats van een model te bouwen dat alleen over programmeren gaat, wat als we een model zouden trainen op hoe mensen handelen in alle soorten situaties? Dat is precies wat de onderzoekers in dit artikel deden. Ze namen een superintelligente AI genaamd Centaur, die getraind was op data van 160 verschillende psychologische experimenten (zoals geheugenspelletjes en beslissingspuzzels), en stelden een grote vraag: kan deze "algemene simulator van het menselijk brein" begrijpen hoe ontwikkelaars code lezen, ook al heeft het tijdens de training nog nooit een regel code gezien?

De Grote Ontdekking
Het antwoord, suggereert het artikel, is een volmondig "ja". Toen ze Centaur testten tegenover 9 verschillende studies waarbij echte ontwikkelaers code lazen, voorspelde Centaur hoe mensen zouden reageren veel beter dan het "ouderlijke" model, Llama 3.1, dat niet getraind was op die psychologische experimenten. Sterker nog, over alle proeven heen waren de voorspellingen van Centaur aanzienlijk dichter bij het menselijke gedrag. Denk er zo over na: Llama 3.1 is een briljante student die veel feiten kent, maar niet heeft geleerd hoe mensen echt denken. Centaur is diezelfde student, maar nadat hij een semester "Menselijk Gedrag 1.01" heeft gevolgd, begrijpt hij plotseling hoe mensen reageren, zelfs in een totaal nieuw onderwerp zoals programmeren.

Wat het NIET is
Dit is het belangrijkste deel: het artikel sluit expliciet een aantal zaken uit.

Het gaat niet alleen om het raden van het antwoord. De onderzoekers maakten zich zorgen dat Centaur misschien gewoon goed is in het raden van veelvoorkomende antwoorden (zoals "Ja" of "Nee") omdat die vaak in de training voorkamen. Maar ze bewezen dit onjuist. Wanneer ze de code en de taakinstructies verwijderden uit de test, vertrouwde Centaur niet simpelweg op "responsbias" (antwoordspecifieke voorkeuren). Het werd daadwerkelijk beter in het gebruiken van de code zelf en de taakbeschrijvingen om het antwoord te achterhalen.
Het is geen magische kristallen bol. Het artikel is voorzichtig en noemt dit een "suggestie" en een "overdracht" van patronen, en geen definitieve, opgeloste theorie van de menselijke geest. Ze ontdekten dat Centaur voor sommige lastige, verwarrende codepatronen (genaamd "Atoms of Confusion") niet zo goed was als Llama. Dit suggereert dat hoewel algemeen menselijk denken helpt, er nog steeds zeer specifieke programmeer-eigenaardigheden zijn die het model nog niet heeft geleerd.

Hoe ze het testten
Om er zeker van te zijn, speelden de onderzoekers een spel van "wegnemen". Ze voerden de modellen dezelfde code en vragen, maar verwijderden verschillende stukken informatie:

De Code: De eigenlijke programmeercode.
De Instructies: De tekst die uitlegt wat er moet gebeuren.
De Geschiedenis: Wat de ontwikkelaar in eerdere vragen deed.

Ze ontdekten dat Centaur minder vertrouwde op de geschiedenis van vorige antwoorden (waar Llama dol op was) en meer op de eigenlijke code en instructies. Dit is een enorme aanwijzing: het betekent dat Centaur een dieper begrip van de taak heeft geleerd, in plaats van simpelweg een patroon te volgen van "wat zei ik de vorige keer?".

De Cijfers
De resultaten werden gemeten met een score genaamd "negative log likelihood", waarbij lager beter is. Over alle studies heen behaalde Centaur een gemiddelde score van 1,63, terwijl Llama 3.1 een score van 1,85 behaalde. In 7 van de 9 onderzoeken die ze bekeken, was Centaur significant beter. Het verschil was geen klein toeval; de statistische "effectgrootte" was 0,17, wat het artikel noteert als een echte, meetbare verbetering.

De Conclusie
Dit artikel beweert niet het mysterie van hoe ontwikkelaars denken te hebben opgelost. In plaats daarvan suggereert het een krachtig nieuw pad voorwaarts. Het laat zien dat de manier waarop mensen code begrijpen geen vreemde, geïsoleerde superkracht is; het is gebouwd op dezelfde algemene cognitieve regels die ons helpen bij het spelen van geheugenspelletjes of het maken van beslissingen in andere delen van het leven. Door AI te trainen op algemeen menselijk gedrag, kunnen we eindelijk een hulpmiddel krijgen dat kan voorspellen waar ontwikkelaars tegenaan lopen bij code, niet door simpelweg regels te tellen, maar door de menselijke geest achter het toetsenbord te begrijpen. Het is een stap naar een toekomst waarin we softwaretools kunnen bouwen die echt "mensbewust" zijn, geworteld in de wetenschap van hoe wij daadwerkelijk denken.

Technische Samenvatting: Voorspellen van Programma-begrip met Fundamentele Modellen van de Menselijke Cognitie

Probleemstelling

Software engineering leunt zwaar op het vermogen van ontwikkelaars om code te begrijpen, maar het voorspellen van hoe zij dit begrijpen blijft een aanzienlijke uitdaging. Bestaande benaderingen lijden aan een afruil tussen schaalbaarheid en nauwkeurigheid:

Gecontroleerde experimenten bieden diepgaand inzicht, maar missen schaalbaarheid en generaliseerbaarheid buiten specifieke settings.
Proxy-maten (bijv. complexiteitsmetrieken) zijn schaalbaar, maar vertonen een zwakke correlatie met werkelijk menselijk gedrag.
Neurocognitieve methoden (bijv. fMRI, EEG) leveren rijke signalen, maar zijn duur, moeilijk te generaliseren en beperkt in reikwijdte.

Een gemeenschappelijke beperking van deze benaderingen is het onvermogen om overdraagbare regelmatigheden in menselijke reacties te vangen, wat het moeilijk maakt om voorspellende modellen te bouwerken die generaliseren over verschillende taken, individuen en onderzoeksontwerpen. Hoewel de psychologie onlangs is verschoven naar het gebruik van "black-box" machine learning-modellen die getraind zijn op grootschalige gedragsgegevens om menselijke reacties te voorspellen, blijft het onduidelijk of deze modellen kunnen overdragen naar complexe, gestructureerde domeinen zoals software engineering.

Methodologie

De auteurs evalueren Centaur, een fundamenteel model van de menselijke cognitie dat is gefinetuned op data van 160 diverse psychologische experimenten, tegenover het basismodel, Llama 3.1. De studie onderzoekt of geleerde gedragspatronen uit algemene cognitieve taken het gedrag van ontwikkelaars bij programma-begrip kunnen voorspellen.

Dataconstructie

De onderzoekers hebben een dataset samengesteld uit 9 eerder gepubliceerde studies naar programma-begrip (uit een initiële pool van 95). De selectiecriteria vereisten:

Toegankelijke replicatiepakketten.
Goed gestructureerde gedragsgegevens (taakbeschrijvingen, broncode en deelnemersreacties).
Compatibiliteit met natuurlijke taal prompting (exclusief taken zoals klasse-diagrammen of onbeperkte vrije tekstreacties).

De uiteindelijke dataset omvatte 9 studies over onderwerpen zoals codecomplexiteit, indentatie, method chains, leesbaarheid en "atoms of confusion", waarbij 208 tot 22 deelnemers per studie betrokken waren en duizenden trials werden uitgevoerd.

Experimenteel Ontwerp

De evaluatie was gestructureerd rond twee Onderzoeksvragen (OV):

OV1: Prestatievergelijking. De auteurs vergeleken Centaur en Llama 3.1 op hun vermogen om menselijke responsdistributies te voorspellen. De modellen werden geëvalueerd met behulp van Negative Log Likelihood (NLL), wat meet hoe goed de modellen de exact gekozen tokens door menselijke deelnemers voorspelden.
OV2: Bron van Prestatie (Ablatiestudies). Om te bepalen of verbeteringen werden gedreven door taakrelevante informatie of generieke respons-biases, voerden de auteurs ablatiestudies uit. Ze varieerden systematisch de beschikbare informatie in de prompts door het weglaten van:
- SEQU: Informatie over eerdere trials en deelnemersreacties.
- DESC: Taakbeschrijvingen en instructies.
- CODE: De broncode-snippets.
Dit genereerde 8 verschillende prompt-categorieën (bijv. SEQU+CODE+DESC, CODE, NOINFO) om de bijdrage van elke informatiebron te isoleren.

Belangrijkste Resultaten

OV1: Centaur presteert beter dan Llama 3.1

Algehele Afstemming: Centaur behaalde een significant lagere gemiddelde NLL (1.63) vergeleken met Llama 3.1 (1.85), wat wijst op een nauwere afstemming met menselijke reactiepatronen ( $p < 0.001$ , Cohen's $d = -0.17$ ).
Prestaties op Studieniveau: Centaur presteerde significant beter dan Llama in 7 van de 9 studies. In de overige twee studies was er geen significant verschil, en in de andere was er een verwaarloosbare afname in prestatie voor Centaur.
Taakgevoeligheid: Beide modellen hadden moeite met taken die lange vrije tekstreacties vereisten (hoge NLL), terwijl ze aanzienlijk beter presteerden op taken met beperkte reactieformaten (bijv. Ja/Nee, Likert-schalen).

OV2: Bronnen van Verbetering

Ablatiestudies toonden aan dat het prestatieverschil tussen Centaur en Llama niet louter toe te schrijven is aan het leren van generieke respons-biases:

Afhankelijkheid van Eerdere Reacties (SEQU): Llama 3.1 was significant meer afhankelijk van informatie uit eerdere trials en reacties. Wanneer de SEQU-informatie werd verwijderd, degradeerde de prestatie van Llama sterker dan die van Centaur.
Benutting van Taakinhoud (CODE & DESC): Centaur profiteerde meer van de aanwezigheid van taakbeschrijvingen en codesnippets. Het verwijderen van deze elementen veroorzaakte een grotere relatieve prestatiedaling voor Centaur vergeleken met Llama, wat suggereert dat Centaur beter heeft geleerd om taakspecifieke semantische informatie te benutten.
Interactie-effecten: In "Geen Informatie" (NOINFO) scenario's bleven de outputs van Centaur dichter bij de menselijke reacties dan die van Llama, met name in studies met single-character outputs, wat suggereert dat Centaur robuuste reactieformaat-regelmatigheden heeft geleerd, onafhankelijk van de inputinhoud.

Betekenis en Claims

Het artikel beweert het eerste empirische bewijs te leveren dat fundamentele modellen van de menselijke cognitie, uitsluitend getraind op algemene psychologische data (zonder specifieke software engineering taken), succesvol kunnen overdragen naar het voorspellen van menselijk gedrag bij programma-begrip.

De belangrijkste implicaties die door de auteurs worden belicht, zijn:

Generaliseerbaarheid van Cognitieve Regelmatigheden: De resultaten suggereren dat fundamentele cognitieve processen (bijv. werkgeheugen, aandacht, semantische verwerking) geleerd uit eenvoudige psychologische experimenten generaliseren naar complexe, gestructureerde software engineering taken.
Verschuiving in Modelleringsperspectief: De bevindingen ondersteunen een visie van programma-begrip niet als een set geïsoleerde fenomenen, maar als een interactie van domein-generieke cognitieve processen. Dit biedt een pad naar een verenigd, datagedreven kader voor het modelleren van ontwikkelaarsgedrag, geworteld in de cognitieve wetenschap.
Praktisch Nut: Dergelijke modellen bieden een nieuw, gedragsbewust alternatief voor traditionele complexiteitsmetrieken. Ze kunnen impliciet factoren bevatten die vaak genegeerd worden door statische analyse (bijv. naamgeving, documentatie) en kunnen worden gebruikt om de moeilijkheid van code-begrip in real-world workflows in te schatten, vooral nu ontwikkelaars steeds meer vertrouwen op AI-coding assistenten.
Methodologische Complementariteit: Hoewel niet interpreteerbaar in de traditionele zin, kunnen voorspellende fundamentele modellen zoals Centaur dienen als een complementair hulpmiddel voor hypothesegeneratie en het verfijnen van meer gestructureerde, interpreteerbare theorieën van programma-begrip.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hun evaluatie beperkt is tot specifieke datasets en reactieformaten, en dat de specifieke cognitieve processen die de transfer drijven verdere investigatie vereisen. Zij beweren niet het probleem van programma-begrip te hebben opgelost, maar hebben eerder een nieuwe weg geopend om het te bestuderen vanuit de lens van de algemene menselijke cognitie.