💻 computer science

SE Journals in 2036: Looking Back at the Future We Need to Have

Dit artikel, geschreven vanuit het perspectief van 2036, schetst hoe de software-engineering-publieke gemeenschap de bestaande crisis in de schaalbaarheid van peer review heeft opgelost door middel van een alliantie van tijdschriften, hervorming van het beoordelingsproces en een cultuurverandering.

Oorspronkelijke auteurs: Tim Menzies, Paris Avgeriou, Robert Feldt, Mauro Pezzè, Abhik Roychoudhury, Miroslaw Staron, Sebastian Uchitel, Thomas Zimmermann

Gepubliceerd 2026-03-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tim Menzies, Paris Avgeriou, Robert Feldt, Mauro Pezzè, Abhik Roychoudhury, Miroslaw Staron, Sebastian Uchitel, Thomas Zimmermann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Software-journaals in 2036: Een terugblik op de toekomst die we nodig hadden

Stel je voor dat het jaar 2036 is. De schrijvers van dit artikel kijken terug op de jaren 2025 en 2026 als een tijd van grote chaos in de wereld van software-onderzoek. Ze noemen het een "existentiële crisis". Om het simpel te zeggen: het systeem was kapot.

Hier is wat er aan de hand was, en hoe ze het hebben opgelost, vertaald naar alledaagse taal en met een paar leuke vergelijkingen.

1. Het Probleem: De "Loterij" en de Overvolle Supermarkt

In 2025 probeerden onderzoekers hun werk te publiceren in grote tijdschriften. Maar er kwamen zoveel artikelen binnen dat de beoordelaars (de mensen die controleren of iets goed is) het niet meer haalden.

De Vergelijking: Stel je voor dat je een supermarkt hebt met één kassa, maar er staan duizenden mensen in de rij. De kassamedewerker kan niet meer goed kijken wat er in de winkelmandjes zit. Soms gooit hij iets weg dat goed is, en soms laat hij iets door wat rot is. Het werd een loterij. Of je geaccepteerd werd, hing meer van geluk af dan van de kwaliteit van je werk.
Het Resultaat: De beste ideeën verdwenen in de prullenbak, en onderzoekers raakten uitgeput van het wachten en het herhaaldelijk indienen van hun werk.

2. De Oplossing: De Grote Hervorming

De redacteuren van de belangrijkste tijdschriften besloten: "We stoppen met pleisters plakken op een lekke boot. We bouwen een nieuwe boot." Ze noemen hun oplossing de "Grote Herstructurering". Hier zijn de zes belangrijkste stappen, vertaald naar begrijpelijke concepten:

Stap 1: Stop met vechten (De Bondgenootschap)

Vroeger concurreerden de tijdschriften met elkaar. Als een artikel werd afgewezen bij tijdschrift A, stuurden ze het naar tijdschrift B, zonder dat B wist wat A had gezegd.

De Analogie: Het was alsof je een sollicitatiebrief naar vijf verschillende bedrijven stuurde, maar elk bedrijf had een eigen dossier en wist niet dat je ook elders solliciteerde.
De Oplossing: Ze vormden een bondgenootschap. Nu delen ze hun dossiers. Als je eenmaal hebt gesolliciteerd, zien alle tijdschriften wat er is gezegd. Je hoeft je werk niet steeds opnieuw te "wassen" voor een nieuwe beoordeling.

Stap 2: De Loterij (Maar dan slim)

Omdat ze niet iedereen handmatig konden beoordelen, besloten ze een loterij in te voeren.

Hoe het werkt: Een snelle computer of een klein team kijkt eerst heel snel of een artikel "beloftevol" is.
- Is het duidelijk slecht? Dan wordt het direct geweigerd.
- Is het heel goed? Dan gaat het direct door naar de experts.
- Zit het ergens in het midden? Dan wordt het getrokken uit een loterij.
Waarom? Dit zorgt ervoor dat je niet urenlang wacht op een beoordeling die misschien toch willekeurig uitvalt. Het maakt het proces eerlijker en sneller.

Stap 3: Mens + Robot (De Sifon)

In plaats van te wachten tot een mens alles leest, gebruiken ze nu slimme robots als sifon (een zeef).

De Analogie: Stel je voor dat je koffie zet. Eerst gooi je de koffiebonen in de filter (de robot). De robot kijkt: "Is er wel koffie in? Is de kop goed?" Als dat niet klopt, gooit hij het weg. Pas als de robot zegt "Ja, dit ziet er goed uit", komt de mens (de expert) kijken of de koffie ook echt lekker smaakt.
Het voordeel: Mensen hoeven niet meer te kijken of de cijfers kloppen of of er een code bij zit. De robot doet dat. Mensen kunnen zich nu focussen op het echte, creatieve deel: "Is dit een nieuw en belangrijk idee?"

Stap 4: Kathedralen en Bazaars (Twee snelheden)

Er waren twee soorten onderzoekers:

De Kathedraal-bouwers: Mensen die jarenlang aan één perfect, diep onderzoek werken (zoals het bouwen van een enorme kathedraal).
De Bazaar-handelaars: Mensen die snel nieuwe tools maken en snel willen delen (zoals een drukke markt).

Vroeger probeerden ze allebei in hetzelfde gebouw te wonen, wat niet werkte.

De Oplossing: Ze bouwden twee aparte gebouwen.
- Voor de Kathedraal: Alleen de allerbeste, diepste werken komen hier. Je wordt niet afgerekend op hoeveel artikelen je hebt, maar op je drie beste werken.
- Voor de Bazaar: Hier kunnen snelle, praktische ideeën direct worden gedeeld. Geen dure abonnementen, maar gratis video's en samenvattingen die iedereen begrijpt.

Stap 5: De "Losgekoppelde" Artikel (Unbundling)

Een traditioneel artikel is als een pakketje waarin je motivatie, methode en resultaten allemaal in één keer moet presenteren.

De Oplossing: Ze gingen het pakketje openmaken.
- Heb je alleen een geweldig idee? Publiceer alleen het idee.
- Heb je alleen een nieuwe methode? Publiceer alleen de methode.
- Heb je alleen de resultaten? Publiceer alleen de resultaten.
Voordeel: Je hoeft niet te wachten tot alles af is om iets te delen. Experts kunnen sneller helpen met het specifieke stukje waar ze goed in zijn.

Stap 6: Weg uit het "Benchmark-kerkhof"

Veel onderzoekers bleven maar spelen met dezelfde oude datasets (testmateriaal) om te zien wie het snelst was. Het werd saai en herhalend.

De Analogie: Het was alsof alle auto-ontwerpers alleen maar bleven racen op dezelfde oude, geasfalteerde baan. Niemand ontwierp meer auto's voor modder of sneeuw.
De Oplossing: Ze stopten met prijzen geven voor wie het snelst was op de oude baan. Nu moeten onderzoekers bewijzen dat hun werk werkt in de echte, rommelige wereld (modder en sneeuw). Ze moesten de testbaan zelf verbeteren, in plaats van er alleen maar op te racen.

Conclusie: Van "Bewaken" naar "Praten"

In 2036 kijken ze terug en zeggen ze: "We hebben het gered door nederig te zijn."
Ze gaven toe dat het oude systeem (alleen maar controleren en blokkeren) niet werkte. Ze zijn overgestapt van een systeem van "Bewaking" (waar 90% van de tijd werd besteed aan het filteren van rotzooi) naar een systeem van "Dialoog" (waar 90% van de tijd wordt besteed aan het verbeteren van goede ideeën).

Software-engineering is weer wat het zou moeten zijn: een wetenschappelijke gemeenschap die samenwerkt, in plaats van een fabriek waar artikelen worden geproduceerd.

Probleemstelling: De Schaalbaarheidscrisis

Het artikel schetst een existentiële crisis die de software-engineering (SE) publicatielandschap in 2025 bereikte. De kern van het probleem was de schaalbaarheid:

Stochastische Peer Review: Traditionele peer-review bleek geen nauwkeurige maatstaf voor kwaliteit, maar eerder een stochastisch proces (een "loterij"). Experimenten toonden aan dat onafhankelijke reviewteams het vaak niet eens waren over 50% van de geaccepteerde papers.
De "Bureaucratische Anomalie": De groei van de onderzoeksgemeenschap en de snelle integratie van methoden zoals Large Language Models (LLMs) maakten de monolithische reviewprocessen wiskundig onhoudbaar.
Wiskundige Asymmetrie: Volgens de wet van Price wordt 50% van de bijdragen geleverd door de wortel van het totale aantal onderzoekers ( $\sqrt{N}$ ). In de praktijk bleek dat een zeer kleine kern van hoog-citerende onderzoekers (ongeveer 2,6% van de populatie) de enorme "long tail" van inzendingen niet kon reviewen. Dit leidde tot een tekort aan reviewers, vertragingen en een toename van "forum shopping" (auteurs die papers na afwijzing naar andere tijdschriften sturen met minimale wijzigingen).
Cultuurkloof: Er was een fundamenteel conflict tussen snelle, agile ontwikkelingen ("Bazaars") en de trage, archivalische reviewcycli ("Kathedralen").

Methodologie: De "Grote Herstructurering" (2026-2036)

De auteurs beschrijven een collectieve transformatie die plaatsvond door zes cruciale hervormingen. Deze benadering verschuift van een competitief naar een collaboratief model, met een sterke focus op automatisering en culturele verandering.

De methodologische pijlers zijn:

De SE Journal Alliance (Politieke Integratie):
- Top-tijdschriften (ASE, EMSE, IST, JSS, TOSEM, TSE) vormden een alliantie om silo's te doorbreken.
- Portable Reviews: Reviews worden gedeeld tussen tijdschriften om herhaling te voorkomen.
- Portable Credit: Reviewer-inspanningen worden zichtbaar gemaakt en geteld als academisch kapitaal voor aanstellingen en promoties, waardoor "onzichtbare arbeid" wordt erkend.
Het Loterij-systeem (Procesoptimalisatie):
- In plaats van elke paper te reviewen, worden papers eerst gescreend door snelle pre-review teams.
- Papers met een hoge score krijgen gegarandeerde review; andere papers worden via een loterij geselecteerd op basis van de beschikbare reviewer-capaciteit.
- Dit vervangt het "one-shot" reviewmodel door een continue dialoog (private discussiepagina's tussen auteurs, reviewers en editors) om misverstanden te verminderen en hoogwaardig werk te versnellen.
Review = Automatisch + Handmatig (AI Triage):
- Verschil tussen "AI scoring" (oordelen) en "AI Triage" (compliance controleren).
- Open Science & Compilation Model: Papers moeten "compileren" (scripts uitvoeren in standaard containers) voordat ze door mensen worden beoordeeld. Dit verifieert reproduceerbaarheid automatisch.
- Hiërarchische Triage:
  - Fase 1 (Automatisch): Structurele checks (aanwezigheid van gerelateerd werk, beperkingen, code/data links).
  - Fase 2 (Extraction): Scope-profiel en risicovlaggen.
  - Fase 3 (Menselijk): Alleen papers die de eerdere poorten passeren, krijgen diepgaande menselijke review op logica en validiteit.
Kathedralen en Bazaars (Culturele Scheiding):
- Er wordt erkend dat twee soorten wetenschap nodig zijn:
  - Cathedraal (Deep Science): Diepgaand, rigoureus werk. De "Rule of Three" wordt ingevoerd voor aanstellingen: alleen de drie belangrijkste publicaties tellen mee, niet het aantal papers.
  - Bazaar (Agile Science): Snelle, praktische innovaties. Deze worden niet langer geforceerd in trage tijdschriftcycli.
Ontkoppeling van de Monoliet (Unbundling):
- Papers worden opgesplitst in modulaire eenheden (Micro-publicaties):
  - Vision Statement: Alleen motivatie.
  - Registered Report: Motivatie + Methode.
  - Tools Paper: Alleen methode.
  - Replication Paper: Motivatie + Resultaten.
- Dit stelt experts in staat om specifieke aspecten sneller te reviewen.
- Voor practitioners worden AI-genereerde samenvattingen en video's gepubliceerd die gratis toegankelijk zijn en direct in workflows kunnen worden geïntegreerd.
Ontsnappen aan de Benchmark-graf (Catalyst Criteria):
- De community stopte met het belonen van marginale verbeteringen op bestaande benchmarks (de "Exhausted" fase).
- Acceptatie vereist nu werk dat het veld uitbreidt: nieuwe taken/domeinen, het betwisten van aannames, of het verbeteren van de benchmarks zelf.

Belangrijkste Bijdragen

Het Journal Alliance Model: Een bewezen framework voor het delen van reviewers, data en credit over tijdschriftgrenzen heen.
De Triage-architectuur: Een hybride reviewmodel dat AI gebruikt voor structurele validatie en reproduceerbaarheid, waardoor menselijke experts zich kunnen focussen op innovatie en logica.
De "Two-Speed" Cultuur: Een formele scheiding tussen diepe, academische wetenschap en snelle, praktische innovatie, elk met hun eigen validatiemechanismen.
Modulaire Publicatie: Het afschaffen van de "monolithische paper" ten gunste van gespecialiseerde micro-publicaties.
Nieuwe Impactmetrieken: Het verschuiven van focus van "paper counting" naar kwalitatieve beoordeling en praktijkgebruik (bijv. feedback van practitioners op AI-samenvattingen).

Resultaten (Gezien vanuit 2036)

Efficiëntie: De gemiddelde leestijd per reviewer is met 40% gedaald doordat ze slechts één aspect van de onderzoekscyclus hoeven te beoordelen.
Kwaliteit en Innovatie: Door het stopzetten van de "benchmark-graf" en het focussen op nieuwe domeinen, is de innovatie weer gestimuleerd.
Toegankelijkheid: Praktijkgerichte kennis is niet langer achter betaalmuren verstopt; AI-genereerde samenvattingen zorgen voor directe adoptie in de industrie.
Duurzaamheid: Het systeem is schaalbaar geworden door de stochastische aard van de review te omarmen (loterij) in plaats van er tegen te vechten, en door de "onzichtbare arbeid" van reviewers te waarderen.

Significantie

Dit artikel is significant omdat het een visie biedt op hoe een wetenschappelijke gemeenschap kan evolueren van een "kwaliteitscontrole door bewaking" (waar 90% van de energie gaat naar het filteren van ruis) naar "kwaliteitscontrole door dialoog" (waar 90% van de energie gaat naar het verbeteren van het signaal).

Het benadrukt dat peer review geen objectieve filter is voor waarheid, maar een sociaal en logistiek proces dat moet worden ontworpen voor schaalbaarheid. De overgang van een 19e-eeuws reviewmodel naar een 21e-eeuws, AI-ondersteund ecosysteem heeft de software-engineering gered van een bureaucratische impasse en het weer een levendige, wetenschappelijke gemeenschap gemaakt. Het biedt een blauwdruk voor andere disciplines die geconfronteerd worden met vergelijkbare schaalbaarheidsproblemen in het tijdperk van AI.