An Investigation of the NeurIPS and ICML 2025 Position Tracks
이 논문은 NeurIPS 및 ICML 2025 포지션 트랙(Position Tracks)을 감사하여, 현재의 제출 풀이 개혁적 비판에 의해 지배되고 있는 반면, 해당 학술 대회들은 분야의 의제를 전환하기 위한 새로운 결과물과 실험 프로그램을 제공하는 방향 설정형 연구를 명시적으로 요청해야 한다고 주장한다.
원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능 연구의 세계에서 컨퍼런스는 진보를 가로막는 거대한 문지기 역할을 합니다. 과학자들이 새로운 아이디어를 공유하고 싶을 때, 그들은 이 모임에 논문을 제출하며, 이곳의 동료 심사 위원단은 그 작업이 발표되고 논의될 만큼 충분히 훌륭한지를 결정합니다. 이 중 가장 권위 있는 모임으로는 NeurIPS와 ICML이 있으며, 이들은 전체 분야가 무엇을 중요하게 여길지를 결정하는 기조를 설정합니다. 이 거대한 컨퍼런스들 내부에는 "포지션 페이퍼 트랙(Position Paper Track)"이라 불리는 특별한 섹션이 있습니다. 새로운 데이터나 완성된 도구를 제시하는 일반적인 연구 논문과 달리, 포지션 페이퍼는 비전(visionary)을 제시하기 위해 존재합니다. 이들은 새로운 방향을 주장하거나, 커뮤니티가 다르게 생각하도록 도전하거나, 혹은 문제를 해결하는 신선한 방식을 제안해야 합니다. 그 목표는 단순히 기존 방법론의 작은 오류를 고치는 것이 아니라, 마치 배의 갑판을 닦는 데 그치지 않고 배를 새로운 지평선을 향해 몰고 가는 선장처럼, 분야의 전체 의제를 전환하는 것입니다.
그러나 최근 이 트랙의 2025년 제출물들에 대한 한 조사는, 나침반이 의도했던 것보다 더 좁은 방향을 가리키고 있음을 시사합니다. 연구자 팡 양(Fan Yang), 웽카이 리(Wenkai Li), 준 리우(Jun Liu)는 이 두 주요 컨퍼런스의 공개된 논문 풀을 감사하여 실제로 어떤 종류의 논쟁들이 이루어지고 있는지 확인하기로 했습니다. 그들은 검토를 거친 191편의 논문을 조사했고, 놀라운 패턴을 발견했습니다. 대다수의 논문은 새로운 항로를 설정하는 것이 아니었습니다. 대신, 그것들은 이미 존재하는 것을 고치는 데 집중되어 있었습니다. 약 4분의 3의 논문은 "개혁적 비판(reformist critiques)"이었는데, 이는 현재의 벤치마크, 평가 방법 또는 데이터셋이 결함이 있으며 조정이 필요하다고 주장하는 것을 의미합니다. 이러한 비판들이 종종 엄격하고 가치 있었음에도 불구하고, 그것들은 이 트랙이 수용하도록 설계된 대담하고 의제를 설정하는 작업과는 다른 종류의 작업이었습니다. 저자들은 완전히 새로운 방향을 제안하는 논문은 드물며, 그러한 제안을 하는 논문들이 반드시 리뷰어들로부터 더 높은 점수를 받는 것도 아니라는 점을 발견했습니다.
연구자들은 현재의 지형을 지난 10년 동안 분야의 초점을 성공적으로 변화시켰던 유명한 논문들의 "참조 클래스(reference class)"와 비교했습니다. 예를 들어 트랜스포머(Transformer) 구조를 도입한 연구나 AI의 구체적인 안전 문제를 정의한 논문 같은 것들입니다. 이러한 역사적 전환점들은 공통된 특징을 공유했습니다. 그것들은 단지 무엇이 잘못되었는지만을 논쟁한 것이 아니라, 커뮤니티가 그 위에 새로 구축할 수 있는 무언가를 제공했습니다. 그들은 새로운 측정 프로토콜, 토이 구현체(toy implementation), 데이터셋 카드, 또는 다른 이들이 새로운 아이디어를 즉시 테스트할 수 있는 검증 가능한 실험을 제공했습니다. 반면, 2025년의 검토된 풀은 새로운 운영 프레임워크를 제공하지 못한 채 기존의 도구들을 비판하는 논문들에 의해 지배되었습니다. 이 연구는 컨퍼런스 심사 과정이 의도치 않게 위험하고 선구적인 제안보다는 안전하고 점진적인 수정을 선호하는 필터가 되었다고 시사합니다. 이는 리뷰어들이 야심 찬 아이디어들을 무조건 거절하기 때문이 아니라, 시스템이 단기적으로 검증하기 쉬운 작업을 보상함으로써, 미래를 정의하는 더 어렵고 추측적인 작업을 주로 탐구되지 않은 상태로 남겨두기 때문입니다.
이러한 불균형이 왜 존재하는지 이해하기 위해, 저자들은 인간과 기관이 작동하는 방식에 뿌리를 둔 몇 가지 이유를 제안했습니다. 첫째, 새로운 미답의 방향이 옳다는 것을 증证明하는 것보다 현재의 방법이 잘못되었다는 것을 증명하는 것이 더 쉽습니다. 기존 벤치마크에 대한 비판은 간단한 실험으로 테스트할 수 있지만, 새로운 연구 경로에 대한 제안은 서면 검토에서 방어하기 훨씬 어려운 '믿음의 도약'을 요구합니다. 둘째, 머신러닝 문화는 경험적 수치와 엄격한 테스트를 크게 보상하며, 이는 자연스럽게 새로운 관점을 제공하는 논문보다 즉각적인 데이터를 생산할 수 있는 논문을 선호하게 만듭니다. 셋째, 경력에 대한 인센티브가 역할을 합니다. 신진 연구자는 급진적인 새로운 방향을 제안하는 것이 자신의 직업적 전망에 너무 위험하다고 느낄 수 있는 반면, 기존의 관행을 비판하는 것은 안전하고 인용 가능한 기여가 됩니다. 이러한 압박의 결합은 "포지션 페이퍼"가 미래를 위한 청사진이라기보다 현상 유지에 대한 비판일 뿐이라는 것을 미래의 저자들에게 가르치는 피드백 루프를 만듭니다.
저자들은 개혁적 비판이 나쁘다거나 제거되어야 한다고 주장하는 것이 아닙니다. 사실, 그들은 이러한 논문들이 종종 고품질이며 필수적이라는 점을 인정합니다. 문제는 균형의 문제입니다. 만약 의제를 설정하기 위해 만들어진 장소가 현재의 의제를 조정하기만 하는 논문들에 의해 지배된다면, 그 분야는 진정으로 새로운 경계를 향해 전환하는 능력을 잃을 수 있습니다. 연구는 해결책이 검토 과정의 전면적인 개편을 요구하는 것이 아니라, 몇 가지 표적화된 자극(nudges)을 필요로 한다고 결론짓습니다. 저자들은 컨퍼런스 주최 측이 저자들에게 자신의 논문이 현재에 대한 비판인지 아니면 미래에 대한 제안인지를 명시적으로 요청할 수 있다고 제안합니다. 또한, 저자들이 자신들의 주장을 더 구체화하도록 강제하기 위해, 새로운 아이디어가 어떻게 틀렸음을 증명할 수 있는지 설명하는 문장을 포함하도록 요구할 것을 권고합니다. 마지막으로, 저자들은 비전을 실행 가능하게 만들기 위해, 새로운 관점을 새로운 데이터셋이나 간단한 실험 프로그램과 같은 실질적인 결과물과 결합하여 제출하도록 적극적으로 독려해야 한다고 제안합니다. 이러한 작은 변화들을 통해, 커뮤니티는 포지션 페이퍼 트랙이 본래의 약속, 즉 단순히 무엇이 고장 났는지를 고치는 것이 아니라 우리가 다음에 어디로 가야 할지를 보여주는 역할을 완수할 수 있도록 할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.