An Investigation of the NeurIPS and ICML 2025 Position Tracks

In de wereld van kunstmatige intelligentie-onderzoek fungeren conferenties als de grote poortwachters van vooruitgang. Wanneer wetenschappers een nieuw idee willen delen, dienen ze dit in bij deze bijeenkomsten, waar een panel van vakgenoten beslist of het werk goed genoeg is om gepubliceerd en besproken te worden. Onder de meest prestigieuze van deze bijeenkomsten zijn NeurIPS en ICML, die de toon zetten voor wat de hele discipline als belangrijk beschouwt. Binnen deze enorme conferenties is er een speciale sectie genaand de "Position Paper Track". In tegenstelling tot standaard onderzoeksartikelen die nieuwe gegevens of een afgeronde tool presenteren, zijn position papers bedoeld om visionair te zijn. Ze zijn bedoeld om te pleiten voor een nieuwe richting, de gemeenschap uit te dagen anders te denken, of een frisse manier voor te stellen om problemen op te lossen. Het doel is niet alleen om een kleine fout in een bestaande methode te herstellen, maar om de gehele agenda van het vakgebied te verschuiven, vergelijkbaar met een kapitein die een schip naar een nieuwe horizon stuurt in plaats van alleen het dek te poetsen.

Echter, een recent onderzoek naar de inzendingen voor 2025 voor deze tracks suggereert dat het kompas wellicht een nauwere richting op wijst dan de bedoeling is. Onderzoekers Fan Yang, Wenkai Li en Jun Liu besloten de publiekelijk beschikbare pool van papers van deze twee belangrijke conferenties te auditeren om te zien welke soorten argumenten er daadwerkelijk werden gemaakt. Ze bekeken 191 papers die waren beoordeeld en vonden een opvallend patroon: de overgrote meerderheid zette geen nieuwe koersen uit. In plaats daarvan waren ze gericht op het repareren van wat al bestond. Ongeveer drie kwart van de papers waren "reformistische kritieken", wat betekent dat ze beargumenteerden dat huidige benchmarks, evaluatiemethoden of datasets gebrekkig waren en aanpassing nodig hadden. Hoewel deze kritieken vaak rigoureus en waardevol waren, vertegenwoordigden ze een ander soort werk dan de gedurfde, agenda-bepalende visie waar de track voor ontworpen was. De auteurs vonden dat papers die geheel nieuwe richtingen voorstelden zeldzaam waren, en de papers die die wel voorstelden, ontvingen niet noodzakelijkerwijs hogere scores van reviewers.

De onderzoekers vergeleken dit huidige landschap met een "referentiegroep" van beroemde papers uit het afgelopen decennium die er succesvol in slaagden de focus van het veld te verschuiven, zoals het werk dat de Transformer-architectuur introduceerde of het paper dat concrete veiligheidsproblemen in AI definieerde. Deze historische keerpunten deelden een gemeenschappelijk kenmerk: ze beargumenteerden niet alleen wat er mis was; ze gaven de gemeenschap iets nieuws om op voort te bouwen. Ze boden een nieuw meetprotocol, een toy-implementatie, een dataset card, of een toetsbaar experiment dat anderen onmiddellijk konden gebruiken om het nieuwe idee te testen. In contrast hiermee werd de 2022-pool gedomineerd door papers die bestaande tools bekritiseerden zonder een nieuwe operationele structuur aan te bieden om ze te vervangen. De studie suggereert dat het reviewproces van de conferentie onbedoeld een filter is geworden dat de voorkeur geeft aan veilige, incrementele correcties boven risicovolle, visionaire voorstellen. Dit komt niet doordat reviewers ambitieuze ideeën direct afwijzen, maar omdat het systeem werk beloont dat op korte termijn gemakkelijk te verifiëren is, waardoor het moeilijkere, meer speculatieve werk van het definiëren van de toekomst grotendeels onverkend blijft.

Om te begrijpen waarom deze onbalans bestaat, stelden de auteurs verschillende redenen voor die geworteld zijn in hoe mensen en instituten opereren. Ten eerste is het gemakkelijker om te bewijzen dat een huidige methode defect is dan om te bewijzen dat een nieuwe, onbewezen richting de juiste is. Een kritiek op een bestaande benchmark kan worden getest met een eenvoudig experiment, terwijl een voorstel voor een nieuw onderzoekspad een sprong in het diepe vereist die moeilijker te verdedigen is in een schriftelijke beoordeling. Ten tweede beloont de cultuur van machine learning zwaar empirische cijfers en rigoureus testen, wat van nature de voorkeur geeft aan papers die directe data kunnen produceren boven papers die een nieuw perspectief bieden. Ten derde spelen carrière-incentives een rol; een jonge onderzoeker kan het gevoel hebben dat het voorstellen van een radicale nieuwe richting te riskant is voor hun carrièreperspectief, terwijl het bekritiseren van een bestaande praktijk een veilige, citeerbare bijdrage is. De combinatie van deze drukfactoren creëert een feedbackloop waarbij de zichtbare pool van papers toekomstige auteurs leert dat "position papers" simpelweg kritieken zijn op de status quo, in plaats van blauwdrukken voor de toekomst.

De auteurs beargumenteren niet dat de reformistische kritieken slecht zijn of dat ze verwijderd moeten worden. Sterker nog, ze erkennen dat deze papers vaak van hoge kwaliteit en noodzakelijk zijn. Het probleem is een kwest van balans. Als een podium dat bedoeld is om de agenda te bepalen, wordt gedomineerd door papers die alleen de huidige agenda aanpassen, kan het vakgebied het vermogen verliezen om te draaien naar werkelijk nieuwe fronten. De studie concludeert dat de oplossing niet een volledige herziening van het reviewproces vereist, maar eerder een paar gerichte impulsen. De auteurs suggereren dat conferentie-organisatoren expliciet aan auteurs kunnen vragen om aan te geven of hun paper een kritiek op het heden of een voorstel voor de toekomst is. Ze raden ook aan om een zin te vereisen die uitlegt hoe een nieuw idee weerlegd zou kunnen worden, om auteurs te dwingen hun claims concreter te maken. Tot slot stellen ze voor dat organisatoren actief papers moeten werven die een nieuw perspectief combineren met een tastbaar artefact, zoals een nieuwe dataset of een eenvoudig experimenteel programma, om de visie operationeel te maken. Door deze kleine veranderingen door te voeren, kan de gemeenschap ervoor zorgen dat de position paper track zijn oorspronkelijke belofte vervult: niet alleen te repareren wat kapot is, maar ook te laten zien waar we naartoe moeten gaan.