🤖 AI

Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

이 입장서는 최상위 AI 학회가 '에이전트 분모 조작'이라는 체계적 취약점에 직면해 있다고 경고하며, 여기서 악의적 행위자가 자동화된 에이전트를 이용해 저품질 논문으로 제출 풀을 폭증시켜 표적된 정당한 연구의 인플레이션된 수용률을 인위적으로 조작함으로써, 이로 인한 리뷰어 번아웃과 심사 질 저하를 완화하기 위해 단순한 기술적 탐지보다 구조적 정책 개혁이 필요하다고 주장합니다.

원저자: Rong Shan, Te Gao, Hang Zheng, Yunjia Xi, Jiachen Zhu, Zeyu Zheng, Yong Yu, Weinan Zhang, Jianghao Lin

게시일 2026-05-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rong Shan, Te Gao, Hang Zheng, Yunjia Xi, Jiachen Zhu, Zeyu Zheng, Yong Yu, Weinan Zhang, Jianghao Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"완전 자동화된 과학적 에이전트에 의해 발생할 수 있는 학술 컨퍼런스의 분모 조작 위험"이라는 논지에 대한 설명을 쉬운 언어와 비유를 들어 풀어냅니다.

핵심 아이디어: 시스템을 조작하는 새로운 방식

매년 제출된 그림의 25% 만을 엄격하게 수락하는 권위 있는 미술관을 상상해 보세요. 이 규칙은 미술관의 명성을 유지하기 위해 매년 일관되게 적용됩니다.

이 논문의 저자들은 새로운 유형의 '해커'가 등장하고 있다고 경고합니다. 이들은 입소문을 얻기 위해 걸작을 그리려 노력하는 대신, AI 로봇을 이용해 수천 개의 추악하고 형편없는 그림을 그려 한꺼번에 제출합니다.

그들의 목표는 추악한 그림이 채택되는 것이 아닙니다. 그들의 목표는 미술관을 범람시켜 '25% 수락률' 규칙을 유지하려면 더 많은 그림을 받아들여야만 하도록 만드는 것입니다. '분모'(전체 제출 건수) 를 쓰레기로 채워 넣음으로써, 우연히 자신들의 진짜 고품질 그림이 채택되기 쉽게 만듭니다.

이 논문은 이를"에이전트 기반 분모 조작 (Agentic Denominator Gaming)"이라고 부릅니다.

작동 원리: '총알받이' 전략

이 논문은 이 메커니즘을 세 가지 간단한 단계로 설명합니다.

안정적인 규칙: NeurIPS 나 ICML 같은 최상위 AI 컨퍼런스는 제출 건수가 급증하더라도 수락률을 일정하게 유지 (보통 20~30%) 하는 전통을 가지고 있습니다.
AI 범람: 악의적인 행위자들은 AI 에이전트 (로봇) 를 이용해 표지는 실제 연구처럼 보이지만 내용은 터무니없는 수천 편의 논문을 작성하고 제출합니다. 이를 만드는 데 드는 비용은 거의 없습니다.
수학적 트릭:
- 컨퍼런스에 100 편의 논문이 제출되어 25 편이 채택되면, 수락률은 25% 입니다.
- 해커가 300 편의 가짜 논문을 추가하면, 총 건수는 400 편이 됩니다.
- 25% 수락률을 유지하려면 컨퍼런스는 이제 25 편이 아닌 100 편을 채택해야 합니다.
- 300 편의 가짜 논문은 쓰레기이므로 거절당합니다. 하지만 컨퍼런스는 여전히 추가된 자리를 채우기 위해 75 편의 진짜 논문을 더 찾아야 합니다.
- 결과: 이전에 거절의 위기에 처해 있던 실제 과학자들의 논문이 채택됩니다. 이는 그들의 연구가 개선되어서가 아니라, 시스템이 소음으로 범람했기 때문입니다.

왜 이것이 위험한가 (세 가지 재앙)

이 논문은 이것이 단순한 기술적 결함이 아니라 학계를 세 가지 방식으로 붕괴시킬 시스템적 위기라고 주장합니다.

1. "무료 노동"의 함정 (경제적 비대칭)

공격자의 비용: 몇 푼. 그들은 저렴한 AI 도구를 이용해 수천 편의 논문을 생성합니다.
공동체의 비용: 수백만 달러에 달하는 시간 손실. 실제 과학자들은 논문을 무료로 검토하는 자원봉사자입니다. 100 편의 진짜 논문을 찾기 위해 1,000 편의 가짜 논문을 읽어야 한다면, 그들은 번아웃에 빠집니다.
비유: 트롤이 수영장 한 바가지의 진흙을 붓는 것과 같습니다. 트롤은 진흙에 1 달러를 썼을 뿐입니다. 하지만 구조대원 (검토자) 은 수영장을 쓸 수 없게 만들지 않기 위해 몇 시간을 청소해야 합니다.

2. "번아웃" 위기
검토자들은 이미 지쳐 있습니다. AI 가 생성한 쓰레기 더미를 분류하도록 강요당하면 그들은 그만두게 될 것입니다.

비유: 응급실의 의사를 상상해 보세요. 누군가 매시간 대기실에 1,000 명의 가짜 환자를 던져 넣는다면, 의사는 진짜 아픈 사람들을 치료할 수 없습니다. 의사는 결국 쓰러지거나 떠나고, 전체 시스템은 무너집니다.

3. "에이전트 밀 (Agent Mills)"의 부상
우리는 이미 가짜 연구를 판매하는 '페이퍼 밀 (paper mills)'을 가지고 있습니다. 이 위협은 이를 '에이전트 밀'로 업그레이드합니다.

인간이 가짜 논문을 쓰는 대신, 로봇이 산업 규모로 이를 수행할 것입니다.
비유: 하루에 한 장의 가짜 지폐를 만드는 소규모 위조범과, 시간당 100 만 장의 가짜 지폐를 찍어내는 공장의 차이와 같습니다. 과학의 질은 떨어지고, 우리가 읽는 내용을 더 이상 신뢰할 수 없게 됩니다.

"가짜 논문 탐지"가 작동하지 않는 이유

이 논문은 단순히 'AI 탐지기'를 만들어서 이 문제를 해결할 수 없다고 주장합니다.

고양이와 쥐의 게임: 탐지기를 만드는 순간, AI 로봇은 이를 속이는 법을 배웁니다. 마치 따려고 할 때마다 모양이 변하는 자물쇠와 같습니다.
부정확한 고발: 현재의 탐지기는 매우 부실합니다. 종종 실제 인간 작가를 AI 로 오인합니다. 컨퍼런스가 결함 있는 탐지기를 기반으로 논문을 금지하면, 뛰어난 인간 과학자들이 부당하게 거절당할 수 있으며 이는 치명적입니다.

제안된 해결책 (기술이 아닌 규칙 수정)

기술적 해결책 (예: 탐지기) 은 신뢰할 수 없으므로, 저자들은 게임의 규칙을 변경할 것을 제안합니다.

수수료 부과: 제출 시 소액의 수수료를 부과합니다. 이는 가짜 논문을 수천 편 생성하는 것이 너무 비싸지므로 '범람'을 막습니다. (다만, 이 논문은 이것이 가난한 연구자들에게 해가 될 수 있음을 지적합니다.)
"안정적인 수락률" 규칙 중단: 이것이 가장 중요합니다. 컨퍼런스는 고정된 수락 비율 (예: "우리는 항상 25% 를 수락합니다") 을 약속하는 것을 중단해야 합니다. 대신 "제출 건수에 상관없이 정확히 500 편의 논문만 수락합니다"라고 말해야 합니다.
- 왜 이것이 작동하는가: 수락되는 논문 수가 고정되어 있다면, 가짜 논문으로 시스템을 범람시켜도 도움이 되지 않습니다. 가짜 논문은 거절당할 뿐이며, 진짜 논문은 동일한 수락 확률을 유지합니다.
평판 시스템: 신뢰할 수 있는 연구자 (또는 신뢰할 수 있는 인물에게 추천받은 사람) 만 논문 제출을 허용합니다. 이는 익명의 봇이 수천 개의 가짜 계정을 만들어 시스템을 범람시키는 것을 막습니다.

결론

이 논문은 경고입니다. 현재의 규칙 (안정적인 수락률) 을 유지하면서 AI 가 논문 작성에 더 능숙해지도록 방치한다면, 나쁜 행위자들은 결코 '좋은' 논문을 출판하려 시도하지 않아도 시스템을 무너뜨릴 수 있다고 말합니다. 그들은 단지 수학을 바꾸기 위해 충분한 '나쁜' 소음을 만들어내기만 하면 됩니다.

학술적 정직성을 구하기 위해서는 더 나은 소프트웨어로 나쁜 봇을 잡으려 노력하는 것이 아니라, 인센티브와 규칙을 변경해야 합니다.

기술 요약: 에이전트 컨퍼런스 분모 게임

문제 제기
본 논문은 최상위 학술 컨퍼런스의 구조적 취약점 중 하나를 식별합니다. 즉, 제출 논문 수가 기하급수적으로 증가함에도 불구하고 상대적으로 안정적인 수용률 (일반적으로 20~30%) 을 유지하는 암묵적 정책입니다. 이러한 안정성은 선별성을 신호하기 위한 것이지만, 예측 가능한 '분모'를 만들어 악용될 수 있게 합니다. 저자들은 이를 **에이전트 컨퍼런스 분모 게임 (Agentic Conference Denominator Gaming)**이라는 새로운 시스템적 위협으로 규정합니다. 이 시나리오에서 악의적 행위자들은 완전히 자동화된 과학 에이전트를 투입하여 겉보기에는 그럴듯하지만 과학적 질이 낮은 방대한 양의 논문을 생성하고 제출합니다. 목표는 이러한 저품질 논문이 수용되는 것이 아니라, 총 제출 논문 수 (분모) 를 인위적으로 부풀리는 것입니다. 고정된 수용률 정책 하에서 이는 컨퍼런스가 목표 비율을 유지하기 위해 수용되는 논문의 절대적 수를 늘리도록 강제합니다. 결과적으로 수용 기준이 낮아지고, 본질적 품질이 변하지 않더라도 표적화된 일련의 정당한 인간 작성 논문이 수용될 확률이 통계적으로 증가하게 됩니다.

방법론 및 위협 모델링
본 논문은 수학적 모델과 개념 증명 (Proof-of-Concept) 시스템 아키텍처를 통해 이 위협을 형식화합니다:

수학적 형식화:
$N_h$ 를 인간 제출 논문, $N_a$ 를 AI 생성 제출 논문이라고 합시다. 컨퍼런스가 안정적인 수용률 $\alpha$ 를 유지한다면, 총 수용 논문 수는 $N_{acc} = \alpha(N_h + N_a)$ 가 됩니다. AI 논문은 거절된다고 가정할 때 ( $N^a_{acc} \approx 0$ ), 인간 논문의 실효 수용률은 $\hat{\alpha} \approx \alpha(1 + \frac{N_a}{N_h})$ 가 됩니다. AI 제출과 인간 제출의 비율이 증가함에 따라, 품질과 무관하게 인간 논문의 실효 수용 확률이 비례하여 상승합니다.
시스템 아키텍처 (개념 증명):
저자들은 두 가지 전문 에이전트로 구성된 멀티 에이전트 파이프라인을 제안합니다:
- 연구 에이전트: 대형 언어 모델 (LLM) 을 활용하여 고유하고 스타일적으로 그럴듯한 원고들을 생성합니다. 핵심적으로, 이 에이전트는 특정 컨퍼런스의 LaTeX 템플릿 (.sty 및 .tex 파일) 을 다운로드하여 해당 venue 의 포맷 요구사항과 완벽하게 일치하는'논문 뼈대'를 구성함으로써 구조적 결함에 기반한 초기 데스크 리젝션을 우회합니다.
- 제출 에이전트: 컨퍼런스 관리 플랫폼 (예: OpenReview) 을 사용하여 제출의 물류 과정을 자동화합니다. 계정 등록 (시빌 공격을 위해 교육용 이메일을 활용할 가능성 포함), API 를 통한 양식 작성, 그리고 자동화된 반박서 작성까지 처리합니다.
- 타당성 검증: 저자들은 통제된 소규모 엔드 - 투 - 엔드 테스트를 수행하여 과학 에이전트가 초안을 생성하고 제출 에이전트가 OpenReview 를 통해 원고를 등록 및 제출하는 과정을 확인했습니다. 이 실험은 생성 - 등록 - 제출 체인의 기술적 실행 가능성을 입증했습니다.

주요 기여

새로운 위협 벡터의 정의: 본 논문은 단순한 콘텐츠 과잉이나 전통적인 논문 공장 (paper mills) 과 구별되는'에이전트 컨퍼런스 분모 게임'을 공식적으로 정의합니다. 이는 콘텐츠 품질 조작에서 선별 메커니즘 자체를 조작하는 것으로의 전환을 강조합니다.
경제적 비대칭성 분석: 저자들은 공격자가 저렴한 LLM API 와 무료 제출 플랫폼을 사용하여 한계 비용을 거의 발생시키지 않는 반면, 학술 공동체는 심사자 및 의장이라는 무보수 고숙련 자원봉사 노동의 형태로 방어 부담을 지는 극심한 불균형을 보여줍니다.
시스템적 위험 평가: 본 논문은 다음과 같은 광범위한 결과를 분석합니다:
- 심사자 번아웃: 저품질 논문의 범람은 신호 - 잡음비를 저하시켜 피로를 가속화하고 경험 있는 심사자들을 이탈시킵니다.
- 인식적 보안 위기: 인간 주도에서 에이전트 주도 논문 공장으로의 전환은 학술 사기의 비용을 붕괴시켜 과학 문헌의 진위를 신뢰하기 어렵게 만듭니다.
- 평판 훼손: 수용 기준이 조작되어 낮아짐에 따라 컨퍼런스 Proceedings 의 권위가 약화되어 제출 품질의 악순환을 촉발할 수 있습니다.

결과 및 평가
본 논문은 책임 있는 공개 원칙을 준수하여 최소한의 단일 실행 타당성 테스트만 수행했으므로, 성공적인 공격에 대한 대규모 실증 데이터를 제시하지는 않습니다. 대신'결과'는 이론적이고 분석적입니다:

타당성: 개념 증명은 이러한 공격을 시작하는 기술적 장벽이 낮음을 검증합니다.
현재 방어 수단의 비효율성: 저자들은 잠재적 방어 수단을 평가하여 다음과 같이 부족함을 발견했습니다:
- 기술적 방어 (AI 탐지기): 높은 오검출률과 적대적 생성의'고양이와 쥐'게임 특성상 (생성기가 특정 탐지기를 우회하도록 미세 조정될 수 있음) 신뢰할 수 없는 것으로 간주됩니다.
- 정책적 방어 (제출 수수료/다단계 심사): 잠재적으로 효과적일 수 있으나, 수수료는 형평성 문제를 제기하며, 사전 검사는 자원 고갈을 해결하지 못한 채 부담을 의장에게 전가할 뿐입니다.
- 시스템적 방어: 저자들은 제출량과 수용 수 사이의 연결을 끊는 것 (예: 수용 논문 절대 수 상한선 설정) 또는 평점 기반 제출 시스템을 도입하는 것만이 유일한 강력한 해결책이라고 주장합니다.

의의 및 주장
본 논문은 학술 공동체가 과학적 검증의 무결성을 위협하는 덜 논의된 취약점에 직면해 있다고 주장합니다. 이는 의도적이고 자동화된 적대자에 맞서 기술적 탐지에 주로 의존하는 것은 패배 전략이라고 역설합니다. 이 연구의 의의는 반응적인 기술적 수정이 아닌 선제적, 시스템 수준의 정책 및 인센티브 개혁을 요구하는 데 있습니다. 저자들은 이러한 공격이 일상화되기 전에 학술 출판 생태계의 신뢰와 지속 가능성을 보호하기 위해 안정적인 수용률 규범이라는 근본적인 구조적 취약점을 해결할 것을 공동체에 촉구하고 있습니다.