💻 computer science

What Makes a Programming Problem Hard for a Language Model? An Empirical Study of Item Difficulty Across Code LLMs on Two Benchmarks

Dit artikel presenteert een empirische studie die aantoont dat de moeilijkheidsgraad van problemen in benchmarks voor codegeneratie een stabiele, overdraagbare metriek is die wordt gedreven door specificatiekenmerken (zoals voorbeelden en promptlengte) op HumanEval en oplossingscomplexiteit op MBPP, wat cruciale inzichten biedt voor het verbeteren van benchmarking, automatische beoordeling en het ontwerp van educatieve tools naarmate geaggregeerde modelscores verzadigen.

Oorspronkelijke auteurs: TANZIM ISLAM KHAN

Gepubliceerd 2026-07-13

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: TANZIM ISLAM KHAN

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, magische bibliotheek van raadsels hebt en dat je een hele dierentuin aan verschillende AI "oplossers" hebt uitgenodigd om ze te proberen te kraken. Sommige oplossers zijn piepkleine hamsters met grote hersenen (kleine modellen), en andere zijn gigantische, superintelligente olifanten (zoals GPT-4). Meestal, wanneer we controleren hoe slim deze AI's zijn, geven we ze één enkele score, zoals een eindcijfer op school. Maar dit artikel betoogt dat een enkel cijfer saai en misleidend is. Het is alsof je zegt dat een wiskundetoets "moeilijk" is omdat je een C hebt gehaald, zonder te vragen: Welke vragen waren de lastige? Waren het de lange tekstproblemen, of de vragen zonder voorbeelden?

De auteur, Tanzim Islam Khan, besloot niet naar het eindcijfer te kijken, maar naar de raadsels zelf. Ze namen twee beroemde sets programmeer-raadsels (genaamd HumanEval en MBPP) en voerden een massaal experiment uit. Ze pakten de antwoorden van 31 verschillende AI-modellen (variërend van piepkleine modellen met 1 miljard parameters tot de gigantische GPT-4) en voerden elk antwoord opnieuw uit in een veilige, geïsoleerde sandbox om te zien of het daadwerkelijk werkte. Dat zijn wel 13.400 executies!

De Grote Ontdekking: Wat Maakt een Raadsel Moeilijk?

Het onderzoek vond iets verrassends dat onze manier van denken over "moeilijkheid" verandert.

Op de HumanEval-set (de raadsels met lange beschrijvingen en veel voorbeeldantwoorden) hing de moeilijkheid niet af van hoe ingewikkeld de oplossingscode was. Het hing volledig af van hoe het raadsel geschreven was.

De Magische Aanwijzing: Als het raadsel uitgewerkte voorbeelden bevatte (zoals de AI laten zien: "Hier is input A, hier is output B"), loste de AI het gemakkelijk op. Hoe meer voorbeelden, hoe makkelijker het werd.
De Valstrik: Als een raadsel lang en woordenrijk was, of als het een gebrek had aan die behulpzame voorbeelden, had de AI moeite, zelfs als de code die nodig was om het op te lossen heel simpel was.
Het Bewijs: De auteurs bouwden een voorspellingsmachine. Wanneer ze alleen de tekst van het raadsel invoerden (de prompt), kon de machine voorspellen hoe moeilijk het raadsel was met een cross-gevalideerde $R^2$ van 0,45, wat overeenkwam met de prestaties van het volledige model. Maar wanneer ze alleen de complexiteit van de oplossingscode invoerden (zoals het tellen van lussen of variabelen), wist de machine bijna niets ( $R^2$ van 0,11).

De Wending: Het Andere Raadselboek

Toen keken ze naar de MBPP-set. Deze raadsels zijn anders; ze zijn superkort, als een-regelige fluisteringen, met geen voorbeelden helemaal.

Hier draaiden de regels om! Omdat elk raadsel er hetzelfde uitzag (kort en vaag), vertelde de tekst de AI niet wat hij moest doen. In plaats daarvan hing de moeilijkheid af van hoe moeilijk de oplossing daadwerkelijk was.
Als de code complexe logica vereiste, faalde de AI. Als de code simpel was, slaagde de AI.
De Les: Een probleem is moeilijk voor een AI op basis van welk deel van de instructies de meeste variatie heeft. Als de instructies veel variëren (zoals in HumanEval), regeren de instructies. Als de instructies allemaal hetzelfde zijn (zoals in MBPP), regelt de complexiteit van het antwoord het.

Wat het Papier Verduidelijkt

Het artikel betoogt expliciet tegen het idee dat "moeilijkere code altijd een moeilijker probleem betekent."

Ze maten de complexiteit van de referentie-oplossingen (met zaken als "cyclomatische complexiteit" en "Halstead volume") en vonden dat op HumanEval deze getallen veel zwakkere voorspellers waren van moeilijkheid dan de kenmerken van de prompt. Een complexe oplossing was niet noodzakelijkerwijs moeilijker te genereren als de instructies duidelijk en vol voorbeelden waren.
Ze ontkrachtten ook het idee dat moeilijkheid slechts een toevalstreffer is van welke AI-modellen je toevallig test. Ze bewezen dat moeilijkheid een stabiele eigenschap van het probleem zelf is. Of je nu een hamster-groot AI-model test of een olifant-groot model, dezelfde raadsels blijven de moeilijkste en de makkelijkste. Ze controleerden dit zelfs door telkens één model te verwijderen, en de rangschikking veranderde niet (correlatie $\rho \ge 0,99$ ).

Hoe Zeker Zijn We?

De auteurs zijn zeer zelfverzekerd, maar ze zijn voorzichtig met hun bewoordingen.

Ze hebben dit direct gemeten door de code 13.400 keer uit te voeren in een sandbox.
Ze bewezen de stabiliteit door het te testen tegen een "verharde" versie van de tests (die 80 keer meer controles hebben voor HumanEval en 35 keer meer voor MBPP). Zelfs met deze zwaardere tests bleef de rangschikking van moeilijk versus makkelijk bijna hetzelfde (correlatie $\rho = 0,88$ ).
Ze simuleerden (of liever gezegd: voerden opnieuw uit) de resultaten met verschillende instellingen (zoals het veranderen van de "temperatuur" om de AI willekeuriger te maken) en vonden dat de moeilijkheidsrangschikking consistent bleef ( $\rho = 0,87$ ).
Ze suggereerden dat naarmate AI slimmer wordt en bijna alles op deze oude tests begint op te lossen (verzadiging), kijken naar welke specifieke problemen nog steeds moeilijk zijn, nog belangrijker zal worden.

De Toekomstige Context

Het paper werpt ook een blik op de "toekomst" (per juni 2026 in de tijdlijn van het artikel). Het merkt op dat de allernieuwste, superkrachtige AI's (zoals GPT-5.x en Claude Opus 4.8) deze oude raadsels eigenlijk niet meer gebruiken omdat ze te makkelijk voor hen zijn nu. De grens is verschoven naar veel moeilijkere, real-world programmeertaken. Maar de les blijft: naarmate de makkelijke problemen verdwijnen, wordt begrijpen waarom de resterende moeilijke problemen moeilijk zijn, de sleutel tot het bouwen van betere tools.

In een Notendop

Als je wilt weten of een programmeerprobleem moeilijk is voor een AI, kijk dan niet alleen naar de code die hij moet schrijven. Kijk naar de instructies!

Rijke instructies met voorbeelden? De AI zal er moeiteloos doorheen gaan, ongeacht hoe complex de code ook is.
Vage instructies of geen voorbeelden? Dan zal de AI worstelen, zelfs als de code simpel is.
Korte, een-regelige instructies? Dan is de complexiteit van de code zelf wat het moeilijk maakt.

Het artikel geeft ons een kaart om deze worstelingen te voorspellen zonder zelfs de AI te hoeven draaien, simpelweg door de probleemstelling te lezen. Het is een hulpmiddel voor docenten om betere oefeningen te bouwen en voor ingenieurs om betere benchmarks te bouwen, zodat we niet alleen testen of een AI het antwoord kan raden, maar of hij de raadsel daadwerkelijk kan begrijpen.

Technische Samenvatting: Wat maakt een programmeerprobleem moeilijk voor een taalmodel?

Probleemstelling

Huidige evaluatiepraktijken voor code-genererende Large Language Models (LLM's) leunen zwaar op geaggregeerde metrieken zoals pass@k op benchmarks zoals HumanEval en MBPP. Deze aanpak behandelt alle problemen als uitwisselbaar, waardoor het onduidelijk blijft welke specifieke problemen moeilijk zijn en waarom. Hierdoor slaagt het er niet in om onderscheid te maken tussen de algemene capaciteit van een model en de specifieke kenmerken van de items die het oplost. Het artikel adresseert de noodzaak om het probleem (het item) te behandelen als de eenheid van analyse, waarbij de moeilijkheid van het item wordt gescheiden van de bekwaamheid van het model om de determinanten van moeilijkheidsgraad in code-generatietaken te begrijpen.

Methodologie

De studie hanteert een datagedreven empirische benadering die geworteld is in Item Response Theory (IRT) en predictieve modellering.

Databron: De auteurs maakten gebruik van publiekelijk vrijgegeven greedy completions van het EvalPlus-project. De studie beslaat 31 verschillende modellen (variërend van ~1B tot GPT-4 schaal) op HumanEval (164 problemen) en 22 modellen op MBPP (378 problemen).
Execution Harness: In plaats van te vertrouwen op vooraf berekende scores, hebben de auteurs alle 13.400 completions opnieuw uitgevoerd in een gesandboxed Python-omgeving met een timeout van 12 seconden. Dit genereerde binaire responsmatrices (31×164 voor HumanEval; 22×378 voor MBPP).
Operationalisering van moeilijkheid:
- Empirische moeilijkheid: Gedefinieerd als $1 - \text{solve rate}$ (het deel van de modellen dat een specifiek probleem niet oplost).
- IRT Validatie: Een één-parameter logistiek (Rasch) model werd gefit om de bekwaamheid van het model ( $\theta$ ) te scheiden van de moeilijkheid van het item ( $b$ ). De auteurs bevestigden dat de ruwe cross-model foutmarge bijna perfect correleert ( $\rho \approx 1.00$ ) met de door de Rasch-methode afgeleide moeilijkheid, wat het gebruik van de eenvoudigere metriek valideert.
Feature Extractie: Er werden 36 statische features geëxtraheerd per probleem, gecategoriseerd in:
- Prompt Features: Lengte, leesbaarheid, aantal uitgewerkte voorbeelden, aanwezigheid van type hints, etc.
- Reference-Solution Features: Code-complexiteitsmetrieken (McCabe cyclomatische complexiteit, Halstead volume, AST-node counts, nesting depth, etc.).
- Test Suite Features: Aantal assertions, karakteraantal.
Analyse: De studie gebruikte correlatieanalyse (Spearman/Pearson met Benjamini-Hochberg correctie) en machine learning (Ridge regressie, Random Forests, Gradient Boosting) met 10-voudige cross-validatie om moeilijkheid te voorspellen. Robuustheid werd getest via leave-one-model-out, bootstrap resampling, transfer tussen capaciteitstiers, her-beoordeling tegen verharde testsuites (HumanEval+/MBPP+) en temperatuur-sampling.

Belangrijkste Resultaten

1. Moeilijkheid is een Stabiele, Meetbare Eigenschap

Distributie: Moeilijkheid is breed verdeeld, niet geconcentreerd. Op HumanEval was de gemiddelde solve rate over het panel van 31 modellen 0,29, waarbij sommige problemen door 0% van de modellen werden opgelost en andere door 100%.
Stabiliteit: De moeilijkheidsrangschikking is zeer robuust. Het verwijderen van een enkel model laat de rangschikking vrijwel onveranderd ( $\rho \ge 0,99$ ). De rangschikking is ook overdraagbaar naar verschillende capaciteitstiers (zwakkere versus sterkere modellen), met Spearman-correlaties van 0,78 (HumanEval) en 0,79 (MBPP).
Rasch Alignment: Het Rasch-model bevestigt dat moeilijkheid een latent kenmerk is van het item, onafhankelijk van het specifieke panel van solvers die gebruikt wordt.

2. Voorspellend Signaal Hangt Af van de Specificatiestijl

De studie identificeert een cruciaal verschil in wat de moeilijkheid voorspelt tussen de twee benchmarks:

HumanEval (Rijke Prompts): Moeilijkheid wordt primair voorspeld door prompt features ( $R^2 = 0,45$ $R^{2} = 0, 45$ ), wat overeenkomt met de prestaties van de volledige feature set ( $R^2 = 0,46$ $R^{2} = 0, 46$ ).
- Sterkste Predictoren: Het aantal uitgewerkte input-output voorbeelden (negatieve correlatie met moeilijkheid) en de aanwezigheid van type hints maken problemen gemakkelijker. Langere prompts en docstrings correleren met hogere moeilijkheid.
- Oplossingscomplexiteit: Kenmerken van de referentie-oplossing verklaren alleen al zeer weinig variantie ( $R^2 = 0,11$ ).
MBPP (Terse Prompts): Moeilijkheid wordt primair voorspeld door solution-complexity features ( $R^2 = 0,13$ $R^{2} = 0, 13$ ).
- Context: MBPP prompts zijn uniform kort, bestaande uit enkelvoudige zinnen zonder uitgewerkte voorbeelden. Hierdoor hebben prompt features weinig variantie om bij te dragen.
- Sterkste Predictoren: AST node count en Halstead volume zijn de dominante correlaten. Alleen prompt-features leveren een negatieve $R^2$ op.
Synthese: Wat een probleem moeilijk maakt, hangt af van wat het meest varieert in de specificatie. Als de prompt varieert (HumanEval), drijft de prompt de moeilijkheid; als de prompt statisch is (MBPP), drijft de algoritmische complexiteit de moeilijkheid.

3. Robuustheid en Generalisatie

Verharde Tests: Her-beoordeling tegen HumanEval+ en MBPP+ (respectievelijk 80x en 35x meer tests) verminderde de algemene pass rates maar behield de moeilijkheidsrangschikking ( $\rho = 0,88$ en $0,82$) en de splitsing tussen prompt- versus oplossing-voorspelling.
Decoding Regime: Het overschakelen van greedy decoding naar temperature-0.8 sampling behield de moeilijkheidsrangschikking ( $\rho = 0,87$ ) en de distributie van het voorspellende signaal.
2026 Context: Analyse van de juni 2026 EvalPlus leaderboard (125 modellen) laat zien dat HumanEval verzadigd raakt (topmodellen >96%). Frontier-modellen (bijv. GPT-5.x, Claude Opus 4.8) hebben HumanEval grotendeels verlaten voor repository-niveau benchmarks (SWE-bench), waarbij per-instance moeilijkheidsmodellering cruciaal blijft naarmate geaggregeerde scores comprimeren.

Belangrijkste Bijdragen

Reproduceerbare Executiestudie: Een gevalideerde dataset van ~68.000 executies over twee benchmarks, waarbij publieke completions zijn omgezet in binaire responsmatrices en moeilijkheidsschalen.
Bewijs van Stabiliteit: Empirisch bewijs dat item-moeilijkheid een model-agnostische eigenschap is die standhoudt bij het verwijderen van modellen, resampling en transfer tussen capaciteitstiers.
Predictieve Analyse: Demonstratie dat moeilijkheid voorspelbaar is vanuit statische features, met een cruciale cross-benchmark bevinding: het voorspellende signaal verschuift van de natuurlijke taal-specificatie (HumanEval) naar de oplossingscomplexiteit (MBPP) op basis van de variabiliteit van de prompt.
Contextualisering: Een koppeling van deze bevindingen aan het 2026 model-landschap, waarbij wordt aangetoond dat naarmate benchmarks verzadigen, moeilijkheidsbewuste analyse belangrijker wordt, niet minder.

Betekenis en Implicaties

Het artikel betoogt dat moeilijkheidsbewuste benchmarking essentieel is naarmate geaggregeerde scores comprimeren.

Voor Benchmark Design: Rapporten zouden verder moeten gaan dan enkelvoudige geaggregeerde scores door ook moeilijkheidsprofielen te rapporteren (bijv. distributie van makkelijke/gemiddelde/moeilijke items) om verzadiging te detecteren en te garanderen dat benchmarks discriminerend blijven. Statische moeilijkheidsvoorspellers bieden een laag-kosten methode voor het cureren van gebalanceerde benchmarks zonder vloten van modellen te draaien.
Voor Autograding en Onderwijs: Statische moeilijkheidsschattingen kunnen dienen als betrouwbaarheidssignalen voor LLM-ondersteund onderwijs. Als een specificatie als "moeilijk" wordt gemarkeerd (bijv. gebrek aan voorbeelden of hoge complexiteit), kan een assistent besluiten om menselijke beoordeling te vragen of om verduidelijking te verzoeken.
Educatieve Afstemming: De bevinding dat uitgewerkte voorbeelden en type hints problemen gemakkelijker maken voor LLM's, sluit aan bij het "worked-example effect" in de cognitieve belastingtheorie. Dit suggereert dat scaffolding die nuttig is voor beginnende programmeurs ook nuttig is voor LLM's, hoewel dit een trade-off creëert: oefeningen die ontworpen zijn om gemakkelijk te zijn voor assistenten (rijk aan voorbeelden) kunnen te makkelijk zijn voor studenten om van te leren, terwijl terse oefeningen zowel studenten als assistenten kunnen uitdagen.

De studie concludeert dat moeilijkheid niet een inherente eigenschap van het algoritme alleen is, maar wordt bepaald door de dimensie van de specificatie die het meest variabel blijft. Dit inzicht biedt een kader voor het begrijpen en voorspellen van LLM-prestaties over verschillende probleemsettings heen.