An Investigation of the NeurIPS and ICML 2025 Position Tracks

No mundo da pesquisa em inteligência artificial, as conferências atuam como os grandes guardiões do progresso. Quando cientistas querem compartilhar uma nova ideia, eles a submetem a esses encontros, onde um painel de pares decide se o trabalho é bom o suficiente para ser publicado e discutido. Entre os encontros mais prestigiados desses estão o NeurIPS e o ICML, que definem o tom do que todo o campo considera importante. Dentro dessas conferências massivas, existe uma seção especial chamada "Position Paper Track" (Trilha de Artigos de Posicionamento). Ao contrário dos artigos de pesquisa padrão, que apresentam novos dados ou uma ferramenta finalizada, os artigos de posicionamento pretendem ser visionários. Eles devem defender um novo caminho, desafiar a comunidade a pensar de forma diferente ou propor uma nova maneira de resolver problemas. O objetivo não é apenas corrigir um pequeno erro em um método existente, mas sim mudar a agenda de todo o campo, de forma muito semelhante a um capitão conduzindo um navio em direção a um novo horizonte, em vez de apenas polir o convés.

No entanto, uma investigação recente sobre as submissões de 2025 para essas trilhas sugere que a bússola pode estar apontando para uma direção mais estreita do que o pretendido. Os pesquisadores Fan Yang, Wenkai Li e Jun Liu decidiram auditar o conjunto de artigos publicamente disponíveis dessas duas grandes conferências para ver que tipos de argumentos estavam sendo realmente feitos. Eles analisaram 191 artigos que foram revisados e encontraram um padrão impressionante: a grande maioria não estava traçando novos cursos. Em vez disso, estavam focados em consertar o que já existia. Aproximadamente três quartos dos artigos eram "críticas reformistas", o que significa que argumentavam que os benchmarks atuais, métodos de avaliação ou conjuntos de dados estavam falhos e precisavam de ajustes. Embora essas críticas fossem frequentemente rigorosas e valiosas, elas representavam um tipo diferente de trabalho do que a visão audaciosa e de definição de agenda que a trilha foi desenhada para hospedar. Os autores descobriram que artigos propondo direções inteiramente novas eram raros, e os artigos que de fato as propunham não necessariamente recebiam pontuações mais altas dos revisores.

Os pesquisadores compararam este cenário atual com uma "classe de referência" de artigos famosos da última década que conseguiram mudar o foco do campo, como o trabalho que introduziu a arquitetura Transformer ou o artigo que definiu problemas concretos de segurança em IA. Esses pontos de virada históricos compartilhavam um traço comum: eles não apenas argumentavam sobre o que estava errado; eles davam à comunidade algo novo sobre o qual construir. Eles forneciam um novo protocolo de medição, uma implementação de brinquedo (toy implementation), um cartão de conjunto de dados (dataset card) ou um experimento falsificável que outros pudessem usar imediatamente para testar a nova ideia. Em contraste, o conjunto revisado de 2025 foi dominado por artigos que criticavam ferramentas existentes sem oferecer um novo framework operacional para substituí-las. O estudo sugere que o processo de revisão das conferências tornou-se inadvertidamente um filtro que favorece correções incrementais seguras em vez de propostas visionárias e arriscadas. Isso não ocorre porque os revisores estão rejeitando ideias ambiciosas de imediato, mas porque o sistema recompensa o trabalho que é fácil de verificar no curto prazo, deixando o trabalho mais difícil e especulativo de definir o futuro amplamente inexplorado.

Para entender por que esse desequilíbrio existe, os autores propuseram diversas razões enraizadas em como os seres humanos e as instituições operam. Primeiro, é mais fácil provar que um método atual está quebrado do que provar que uma nova direção, ainda não testada, é a correta. Uma crítica a um benchmark existente pode ser testada com um experimento simples, enquanto uma proposta para um novo caminho de pesquisa exige um salto de fé que é mais difícil de defender em uma revisão escrita. Segundo, a cultura do aprendizado de máquina recompensa fortemente números empíricos e testes rigorosos, o que naturalmente favorece artigos que podem produzir dados imediatos em vez daqueles que oferecem uma nova perspectiva. Terceiro, os incentivos de carreira desempenham um papel; um pesquisador júnior pode sentir que propor uma nova direção radical é arriscado demais para suas perspectivas profissionais, enquanto criticar uma prática existente é uma contribuição segura e citável. A combinação dessas pressões cria um ciclo de feedback onde o conjunto visível de artigos ensina aos futuros autores que "artigos de posicionamento" são simplesmente críticas ao status quo, em vez de projetos para o futuro.

Os autores não argumentam que as críticas reformistas são ruins ou que devam ser removidas. De fato, eles reconhecem que esses artigos são frequentemente de alta qualidade e necessários. O problema é de equilíbrio. Se um espaço criado para definir a agenda torna-se dominado por artigos que apenas ajustam a agenda atual, o campo pode perder sua capacidade de pivotar em direção a fronteiras verdadeiramente novas. O estudo conclui que a solução não requer uma reformulação completa do processo de revisão, mas sim alguns estímulos direcionados. Os autores sugerem que os organizadores das conferências poderiam pedir explicitamente aos autores que declarem se seu artigo é uma crítica do presente ou uma proposta para o futuro. Eles também recomendam exigir uma frase que explique como uma nova ideia poderia ser provada errada, forçando os autores a tornar suas afirmações mais concretas. Finalmente, eles propõem que os organizadores devem solicitar ativamente artigos que agrupem uma nova perspectiva com um artefato tangível, como um novo conjunto de dados ou um programa experimental simples, para tornar a visão operacional. Ao fazer essas pequenas mudanças, a comunidade pode garantir que a trilha de artigos de posicionamento cumpra sua promessa original: não apenas consertar o que está quebrado, mas mostrar-nos para onde ir a seguir.