An Investigation of the NeurIPS and ICML 2025 Position Tracks

In der Welt der KI-Forschung fungieren Konferenzen als die großen Torwächter des Fortschritts. Wenn Wissenschaftler eine neue Idee teilen wollen, reichen sie diese bei diesen Zusammenkünften ein, wo ein Gremium aus Fachkollegen entscheidet, ob die Arbeit gut genug ist, um veröffentlicht und diskutiert zu werden. Zu den prestigeträchtigsten dieser Zusammenkünfte gehören NeurIPS und ICML, die den Ton dafür angeben, was die gesamte Disziplin als wichtig erachtet. Innerhalb dieser massiven Konferenzen gibt es einen speziellen Abschnitt namens „Position Paper Track“. Im Gegensatz zu Standard-Forschungspapieren, die neue Daten oder ein fertiges Werkzeug präsentieren, sollen Position Papers visionär sein. Sie sollen dazu aufrufen, eine neue Richtung einzuschlagen, die Gemeinschaft herausfordern, anders zu denken, oder einen frischen Weg zur Lösung von Problemen vorzuschlagen. Das Ziel ist nicht bloß, einen kleinen Fehler in einer bestehenden Methode zu beheben, sondern die gesamte Agenda des Feldes zu verschieben – ähnlich wie ein Kapitän, der das Schiff in Richtung eines neuen Horizonts steuert, anstatt nur das Deck zu polieren.

Eine jüngste Untersuchung der Einreichungen für diese Tracks im Jahr 2025 deutet jedoch darauf an, dass der Kompass möglicherweise in eine engere Richtung zeigt, als eigentlich beabsichtigt war. Die Forscher Fan Yang, Wenkai Li und Jun Liu beschlossen, den öffentlich zugänglichen Pool an Papieren dieser beiden großen Konferenzen zu prüfen, um zu sehen, welche Arten von Argumenten tatsächlich geführt wurden. Sie untersuchten 1t91 begutachtete Arbeiten und fanden ein auffälliges Muster: Die überwiegende Mehrheit setzte keine neuen Kurse. Stattdessen konzentrierten sie sich darauf, das bereits Existierende zu korrigieren. Ungefähr drei Viertel der Arbeiten waren „reformistische Kritiken“, was bedeutet, dass sie argumentierten, dass aktuelle Benchmarks, Evaluierungsmethoden oder Datensätze fehlerhaft seien und angepasst werden müssten. Während diese Kritiken oft rigoros und wertvoll waren, repräsentierten sie eine andere Art von Arbeit als die kühnen, agenda-setzenden Visionen, für die dieser Track konzipiert wurde. Die Autoren stellten fest, dass Arbeiten, die völlig neue Richtungen vorschlugen, selten waren, und dass die Arbeiten, die solche durchaus vorschlugen, nicht zwangsläufig höhere Bewertungen von den Reviewern erhielten.

Die Forscher verglichen diese aktuelle Landschaft mit einer „Referenzklasse“ berühmter Arbeiten aus dem letzten Jahrzehnt, die erfolgreich den Fokus des Feldes verschoben haben, wie etwa die Arbeit, die die Transformer-Architektur einführte, oder das Papier, das konkrete Sicherheitsprobleme in der KI definierte. Diese historischen Wendepunkte teilten ein gemeinsames Merkmal: Sie argumentierten nicht nur darüber, was falsch war; sie gaben der Gemeinschaft etwas Neues, worauf sie aufbauen konnte. Sie lieferten ein neues Messprotokoll, eine Toy-Implementierung, eine Dataset Card oder ein falsifizierbares Experiment, das andere sofort nutzen konnten, um die neue Idee zu testen. Im Gegensatz dazu wurde der begutachtete Pool von 2025 von Arbeiten dominiert, die bestehende Werkzeuge kritisierten, ohne einen neuen operativen Rahmen zu deren Ersatz anzubieten. Die Studie legt nahe, dass der Konferenz-Review-Prozess unbeabsichtigt zu einem Filter geworden ist, der sich eher für sichere, inkrementelle Korrekturen als für riskante, visionäre Vorschläge entscheidet. Dies liegt nicht daran, dass Reviewer ehrgeizige Ideen von vornherein ablehnen, sondern daran, dass das System Arbeit belohnt, die kurzfristig leicht zu verifizieren ist, wodurch die schwierigere, spekulativere Arbeit der Definition der Zukunft weitgehend unerforscht bleibt.

Um zu verstehen, warum dieses Ungleichgewicht existiert, führten die Autoren mehrere Gründe an, die in der Art und Weise verwurzelt sind, wie Menschen und Institutionen agieren. Erstens ist es einfacher zu beweisen, dass eine aktuelle Methode fehlerhaft ist, als zu beweisen, dass eine neue, ungetestete Richtung die richtige ist. Eine Kritik an einem bestehenden Benchmark lässt sich mit einem einfachen Experiment testen, während der Vorschlag eines neuen Forschungsweges einen Vertrauensvorschuss erfordert, der schwerer zu verteidigen ist, als dies in einer schriftlichen Rezension der Fall ist. Zweitens belohnt die Kultur des maschinellen Lernens empirische Zahlen und rigorose Tests stark, was natürlich Arbeiten begünstigt, die unmittelbare Daten produzieren können, gegenüber solchen, die eine neue Perspektive bieten. Drittens spielen Karriereanreize eine Rolle; ein Nachwuchsforscher könnte das Gefühl haben, dass der Vorschlag einer radikal neuen Richtung zu riskant für seine berufliche Zukunft ist, während die Kritik einer bestehenden Praxis ein sicherer, zitierfähiger Beitrag ist. Die Kombination dieser Drücke erzeugt eine Rückkopplungsschleife, in der der sichtbare Pool an Papieren zukünftigen Autoren lehrt, dass „Position Papers“ lediglich Kritiken des Status Quo sind, statt Blaupausen für die Zukunft.

Die Autoren argumentieren nicht, dass die reformistischen Kritiken schlecht sind oder dass sie entfernt werden sollten. Tatsächlich erkennen sie an, dass diese Arbeiten oft hochwertig und notwendig sind. Das Problem ist ein Problem der Balance. Wenn ein Forum, das dazu geschaffen wurde, die Agenda zu setzen, von Arbeiten dominiert wird, die lediglich die aktuelle Agenda anpassen, könnte das Feld seine Fähigkeit verlieren, zu wirklich neuen Grenzen zu navigen. Die Studie kommt zu dem Schluss, dass die Lösung keinen kompletten Umbau des Review-Prozesses erfordert, sondern lediglich einige gezielte Impulse. Die Autoren schlagen vor, dass Konferenzorganisatoren explizit von Autoren verlangen könnten, anzugeben, ob ihr Papier eine Kritik der Gegenwart oder ein Vorschlag für die Zukunft ist. Sie empfehlen auch, einen Satz zu verlangen, der erklärt, wie eine neue Idee widerlegt werden könnte, um die Autoren zu zwingen, ihre Behauptungen konkreter zu formulieren. Schließlich schlagen sie vor, dass Organisatoren aktiv nach Papieren suchen sollten, die eine neue Perspektive mit einem greifbaren Artefakt bündeln – wie etwa einem neuen Datensatz oder einem einfachen experimentellen Programm –, um die Vision operativ zu machen. Durch diese kleinen Änderungen kann die Gemeinschaft sicherstellen, dass der Position Paper Track sein ursprüngliches Versprechen erfüllt: nicht nur zu reparieren, was kaputt ist, sondern uns zu zeigen, wohin wir als Nächstes gehen sollen.