An Investigation of the NeurIPS and ICML 2025 Position Tracks
Questo articolo esamina i percorsi "Position Track" di NeurIPS e ICML 2025 per sostenere che, sebbene l'attuale pool di sottomissioni sia dominato da critiche riformiste, i convegni dovrebbero sollecitare esplicitamente lavori che impostino nuove direzioni e che forniscano nuovi artefatti e programmi sperimentali per spostare l'agenda del campo.
Articolo originale dedicato al pubblico dominio sotto CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo della ricerca sull'intelligenza artificiale, le conferenze agiscono come i grandi guardiani del progresso. Quando gli scienziati vogliono condividere una nuova idea, la sottopongono a questi incontri, dove un panel di pari decide se il lavoro è abbastanza valido per essere pubblicato e discusso. Tra questi incontri, i più prestigiosi sono NeurIPS e ICML, che stabiliscono il tono di ciò che l'intero campo considera importante. All'interno di queste massicce conferenze, esiste una sezione speciale chiamata "Position Paper Track". A differenza dei normali articoli di ricerca che presentano nuovi dati o uno strumento finito, i position paper sono destinati a essere visionari. Dovrebbero sostenere una nuova direzione, sfidare la comunità a pensare diversamente o proporre un nuovo modo di risolvere i problemi. L'obiettivo non è solo correggere un piccolo errore in un metodo esistente, ma spostare l'intero programma del campo, proprio come un capitano che guida una nave verso un nuovo orizzonte piuttosto che limitarsi a lucidare il ponte.
Tuttavia, un'indagine recente sulle sottomissioni del 2025 per questi percorsi suggerisce che la bussola potrebbe puntare in una direzione più stretta di quanto previsto. I ricercatori Fan Yang, Wenkai Li e Jun Liu hanno deciso di sottoporre ad audit il pool di articoli pubblicamente disponibili di queste due grandi conferenze per vedere quali tipi di argomentazioni venissero effettivamente formulate. Hanno esaminato 191 articoli che erano stati revisionati e hanno trovato un modello sorprendente: la stragrande maggioranza non stava tracciando nuovi corsi. Al contrario, si concentrava sul correggere ciò che già esisteva. Circa tre quarti degli articoli erano "critiche riformiste", ovvero sostenevano che i benchmark attuali, i metodi di valutazione o i dataset fossero difettosi e necessitassero di aggiustamenti. Sebbene queste critiche fossero spesso rigorose e preziose, rappresentavano un tipo di lavoro diverso rispetto al coraggioso e programmatico approccio che il track era progettato per ospitare. Gli autori hanno scoperto che gli articoli che proponevano direzioni interamente nuove erano rari, e quelli che le proponevano non ricevevano necessariamente punteggi più alti dai revisori.
I ricercatori hanno confrontato questo panorama attuale con una "classe di riferimento" di famosi articoli dell'ultimo decennio che hanno avuto successo nello spostare il focus del campo, come il lavoro che ha introdotto l'architettura Transformer o l'articolo che ha definito problemi concreti di sicurezza nell'IA. Questi punti di svolta storici condividevano un tratto comune: non si limitavano ad argomentare su cosa fosse sbagliato; fornivano alla comunità qualcosa di nuovo su cui costruire. Fornivano un nuovo protocollo di misurazione, un'implementazione giocattolo, una scheda del dataset o un esperimento falsificabile che altri potessero usare immediatamente per testare la nuova idea. Al contrario, il pool di articoli revisionati del 2025 era dominato da lavori che criticavano gli strumenti esistenti senza offrire un nuovo framework operativo per sostituirli. Lo studio suggerisce che il processo di revisione delle conferenze sia diventato involontariamente un filtro che favorisce correzioni incrementali sicure rispetto a proposte visionarie rischiose. Ciò non accade perché i revisori rifiutino le idee ambiziose a priori, ma perché il sistema premia il lavoro che è facile da verificare nel breve termine, lasciando in gran parte inesplorato il lavoro più difficile e speculativo di definizione del futuro.
Per comprendere perché esista questo squilibrio, gli autori hanno proposto diverse ragioni radicate nel modo in cui gli esseri umani e le istituzioni operano. Primo, è più facile dimostrare che un metodo attuale è guasto piuttosto che dimostrare che una nuova direzione, mai tentata, sia quella giusta. Una critica a un benchmark esistente può essere testata con un semplice esperimento, mentre una proposta per un nuovo percorso di ricerca richiede un salto di fede che è più difficile da difendere in una revisione scritta. Secondo, la cultura del machine learning premia pesantemente i numeri empirici e i test rigorosi, il che favorisce naturalmente gli articoli che possono produrre dati immediati rispetto a quelli che offrono una nuova prospettiva. Terzo, gli incentivi di carriera giocano un ruolo; un ricercatore junior potrebbe sentire che proporre una nuova direzione radicale sia troppo rischioso per le proprie prospettive lavorative, mentre criticare una pratica esistente è un contributo sicuro e citabile. La combinazione di queste pressioni crea un ciclo di feedback in cui il pool visibile di articoli insegna ai futuri autori che i "position papers" sono semplicemente critiche dello status quo, piuttosto che progetti per il futuro.
Gli autori non sostengono che le critiche riformiste siano cattive o che debbano essere rimosse. Infatti, riconoscono che questi articoli sono spesso di alta qualità e necessari. Il problema è di equilibrio. Se un luogo creato per stabilire l'agenda viene dominato da articoli che si limitano ad aggiustare l'agenda corrente, il campo potrebbe perdere la capacità di virare verso vere nuove frontiere. Lo studio conclude che la soluzione non richiede una ristrutturazione completa del processo di revisione, ma piuttosto alcuni stimoli mirati. Gli autori suggeriscono che gli organizzatori delle conferenze potrebbero chiedere esplicitamente agli autori di dichiarare se il loro articolo è una critica del presente o una proposta per il futuro. Raccomandano anche di richiedere una frase che spieghi come una nuova idea potrebbe essere smentita, costringendo gli autori a rendere le loro affermazioni più concrete. Infine, propongono che gli organizzatori debbano sollecitare attivamente articoli che uniscano una nuova prospettiva con un artefatto tangibile, come un nuovo dataset o un semplice programma sperimentale, per rendere la visione operativa. Rendendo questi piccoli cambiamenti, la comunità può garantire che il position paper track assolva al suo scopo originale: non solo riparare ciò che è rotto, ma mostrare dove andare dopo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.