APRES: An Agentic Paper Revision and Evaluation System

이 논문은 대규모 언어 모델 (LLM) 을 활용하여 과학적 핵심 내용을 유지하면서 논문 텍스트를 개선하고 향후 인용 수를 예측하는 새로운 자동화 시스템 'APRES'를 제안하며, 인간 전문가 평가에서 원본보다 선호도를 높이고 인용 예측 오차를 크게 줄인 결과를 입증합니다.

핵심

🎯 핵심 아이디어: "왜 논문은 잘 안 읽힐까?"

과학자들은 매일 새로운 발견을 하지만, 그걸 세상에 알리는 '논문'이 너무 어렵게 쓰이거나, 설명이 부족해서 사람들이 이해하지 못하면 그 발견은 묻혀버립니다.

지금까지 논문 심사 (Peer Review) 는 인간 심사위원들이 했지만, 심사위원마다 기준이 다르고 피곤해서 일관성이 떨어지는 문제가 있었습니다. 마치 맛있는 요리를 했는데, 심사위원 A 는 "소금이 부족하다"고 하고, 심사위원 B 는 "너무 짜다"고 하는 상황과 비슷합니다.

이 문제를 해결하기 위해 이 연구팀은 **LLM(거대 언어 모델)**을 이용해 논문을 자동으로 다듬고, 어떤 논문이 나중에 더 많이 인용될지 (인기 있을지) 예측하는 시스템을 만들었습니다.

---

🛠️ APRES 가 어떻게 작동할까? (두 단계의 마법)

APRES 는 크게 두 가지 일을 합니다.

1 단계: "미래의 대박을 예측하는 기준 찾기" (Rubric Search)

• 비유: 마치 요리 대회 심사위원이 "어떤 요리가 나중에 가장 많은 팬을 얻을까?"를 예측하는 기준을 스스로 찾아내는 과정입니다.
• 작동 방식:
  • 기존에 인간이 정해둔 "논문의 질" 기준만 믿지 않습니다.
  • 대신 AI 가 수천 편의 논문을 분석하며, **"어떤 특징을 가진 논문이 나중에 가장 많이 인용 (인기) 될까?"**를 스스로 학습합니다.
  • 예를 들어, "제목이 짧아야 한다", "서론이 명확해야 한다" 같은 구체적인 기준 (루브릭) 을 AI 가 스스로 찾아냅니다.
  • 결과: 기존 인간 심사위원들의 점수보다 미래의 인용 횟수를 19.6% 더 정확하게 예측했습니다.

2 단계: "논문을 다듬어 더 빛나게 만들기" (Paper Revision)

• 비유: 이제 찾아낸 기준을 바탕으로, 요리사가 요리를 더 맛있게 다듬는 과정입니다.
• 작동 방식:
  • AI 가 작성한 논문을 "심사위원 (AI)"이 평가하고, "어디가 부족하다"고 피드백을 줍니다.
  • 그 피드백을 받은 "편집자 (AI)"가 논문을 수정합니다.
  • 중요한 규칙: 과학적인 내용 (실험 결과, 데이터) 은 절대 건드리지 않습니다. 오직 문장, 설명, 흐름만 다듬어서 이해하기 쉽게 만듭니다.
  • 이 과정을 반복하며 논문을 수정합니다.
  • 결과: 수정된 논문을 인간 전문가들이 평가했을 때, 원본보다 79% 의 확률로 더 좋은 논문이라고 선택했습니다. 특히, 원래는 '아깝게 떨어질 뻔한 (Borderline)' 논문들이 수정 후 '합격'할 만한 수준으로 올라가는 경우가 많았습니다.

---

💡 이 기술이 왜 중요한가요?

1. 과학자의 '스트레스 테스트' 도구:
   논문을 제출하기 전에 APRES 를 통해 "내 논문이 얼마나 잘 읽히는지, 어떤 부분이 약한지" 미리 점검할 수 있습니다. 마치 연습 경기를 치러 본 것과 같습니다.
2. 인간을 대체하는 게 아니라 돕는 것:
   이 연구는 "AI 가 심사를 다 대신하자"는 뜻이 아닙니다. **"AI 가 일관된 기준으로 초안을 다듬어 주면, 인간 심사위원은 더 중요한 '과학적 가치' 판단에 집중할 수 있다"**는 것입니다.
3. 공정한 기회:
   영어가 모국어가 아닌 과학자들도, 문장력 때문에 좋은 연구가 묻히는 일을 줄여줍니다.

---

⚠️ 주의할 점 (한계점)

• 그림은 못 봅니다: AI 가 논문의 텍스트만 다듬을 수 있지, 중요한 실험 결과 그림이나 표는 직접 수정하지 못합니다.
• 악용 가능성: 만약 누군가 AI 를 속여서 (프롬프트 주입 등) 좋은 점수만 받도록 조작하려 한다면 문제가 될 수 있습니다.
• 과학적 진실성: AI 가 문장을 고치는 과정에서 실수로 과학적 사실을 왜곡하지 않도록 매우 조심해야 합니다.

📝 한 줄 요약

"APRES 는 과학자들이 쓴 논문의 '문장'과 '설명'을 AI 가 자동으로 다듬어, 그 연구가 세상에 더 잘 알려지고 인정받을 수 있도록 돕는 똑똑한 비서입니다."

이 도구는 과학자들이 복잡한 연구 결과를 더 명확하게 전달할 수 있게 도와주어, 결국 인류의 지식 발전 속도를 높여주는 역할을 합니다.

기술 요약

1. 문제 정의 (Problem)

과학적 발견은 명확한 소통을 통해 그 잠재력을 발휘할 수 있습니다. 그러나 현재 학계의 핵심 소통 수단인 동료 평가 (Peer Review) 시스템은 다음과 같은 심각한 한계에 직면해 있습니다.

• 일관성 부족: 리뷰어 간 평가 기준이 불일치하여 동일한 논문이 다른 결과를 초래하는 경우가 많습니다.
• 피로와 지연: 상위 컨퍼런스에 제출되는 논문 수가 급증하면서 리뷰어 피로도가 높아지고 평가 주기가 길어집니다.
• LLM 활용의 위험: 기존에 제안된 대형 언어 모델 (LLM) 기반 리뷰 도구는 과학적 주장을 무의식적으로 변경하거나 학술적 스타일을 벗어날 위험이 있어, 직접적인 적용에 신중을 기해야 했습니다.

이러한 상황에서 저자들은 LLM 을 활용하여 논문의 핵심 과학적 내용은 보존하면서, 텍스트의 명확성과 가독성을 높여 미래의 영향력 (인용 횟수) 을 예측하고 개선할 수 있는 자동화 시스템의 필요성을 제기합니다.

2. 방법론 (Methodology)

저자는 APRES (Agentic Paper Revision and Evaluation System) 라는 새로운 에이전트 기반 프레임워크를 제안합니다. 이 시스템은 두 단계의 폐쇄 루프 (Closed-loop) 프로세스로 구성됩니다.

단계 1: 예측적 평가 기준 (Rubric) 탐색

기존의 고정된 평가 기준 대신, 논문의 미래 인용 횟수를 가장 잘 예측하는 평가 기준 (Rubric) 을 LLM 에이전트가 스스로 발견하도록 설계했습니다.

• 에이전트 탐색 (Agentic Search): 'Rubric Proposer' 에이전트가 평가 항목을 제안하고, 'Reviewer' 에이전트가 이를 적용하여 점수를 매깁니다.
• 예측 모델: 생성된 점수 벡터와 실제 인용 횟수 (Semantic Scholar 데이터) 를 기반으로 Negative Binomial Regression 모델을 학습시킵니다.
• 최적화: 모델의 예측 오차 (MAE) 를 최소화하는 방향으로 Rubric 을 반복적으로 수정하고 개선합니다 (MultiAIDE 검색 scaffold 활용).

단계 2: 자동화된 논문 개선 (Paper Revision)

단계 1 에서 발견된 최적의 Rubric 을 목적 함수 (Objective Function) 로 사용하여 논문을 자동 수정합니다.

• 에이전트 협업: 'Reviewer' 에이전트가 Rubric 을 기반으로 피드백을 생성하면, 'Rewriter' 에이전트가 이를 반영하여 논문을 수정합니다.
• 제약 조건: 수정은 표현, 구조, 명확성에만 국한되며, 실험 결과, 데이터, 핵심 과학적 주장은 절대 변경되지 않도록 엄격히 제한됩니다 (Diff 기반 편집 방식 사용).
• 반복적 개선: 수정된 논문을 다시 Rubric 으로 평가하여 점수가 향상될 때까지 반복적으로 수정합니다.

3. 주요 기여 (Key Contributions)

1. 예측적 Rubric 발견: 인간이 정의한 기준이 아닌, 데이터 기반의 LLM 에이전트 탐색을 통해 미래 인용 횟수를 예측하는 데 가장 효과적인 새로운 평가 기준을 발견했습니다.
2. 자동화된 폐쇄 루프 개선 시스템: 발견된 Rubric 을 기반으로 논문을 자동으로 수정하고 그 효과를 검증하는 완전 자동화 시스템을 구축했습니다.
3. 과학적 무결성 보장: LLM 이 논문의 핵심 내용을 왜곡하지 않고, 오직 전달 방식 (Presentation) 만을 개선하도록 설계된 제약 메커니즘을 제시했습니다.

4. 실험 결과 (Results)

ICLR 2024-2025 및 NeurIPS 2023-2024 의 26,707 편의 논문과 리뷰 데이터를 기반으로 실험을 수행했습니다.

• 영향력 예측 성능:

  • APRES 가 발견한 Rubric 을 사용한 모델은 기존 베이스라인 (인간 리뷰어 점수, SPECTER 임베딩 등) 대비 평균 절대 오차 (MAE) 를 19.6% 개선하여 미래 인용 횟수를 더 정확하게 예측했습니다.
  • 특히 인간 리뷰어의 점수는 미래 인용을 예측하는 데 상대적으로 낮은 성능을 보였습니다.

• 논문 개선 효과:

  • 자동 평가: 수정된 논문은 발견된 Rubric 점수에서 원본보다 향상된 점수를 기록했습니다. 특히 '경계선 (Borderline)' 등급의 논문이 수정 후 '수락 (Accept)' 영역으로 진입하는 경우가 많았습니다.
  • 인간 평가 (User Study): ML 박사 과정 연구자 및 엔지니어 364 쌍의 논문을 비교한 결과, **수정된 논문을 원본보다 선호하는 비율이 79%**에 달했습니다. 이는 통계적으로 유의미한 결과 (p < $10^{-22}$) 입니다.
  • 일관성: LLM 기반 평가 시스템은 인간 리뷰어 간의 불일치 (약 23%) 보다 훨씬 높은 일관성을 보였습니다.

5. 의의 및 결론 (Significance)

• 인간과 AI 의 협업 증진: APRES 는 인간 리뷰어를 대체하기보다, 저자가 제출 전 자신의 논문을 "스트레스 테스트"하고 명확성을 높일 수 있도록 돕는 도구로 제안됩니다.
• 과학 커뮤니케이션의 질적 향상: LLM 이 발견한 새로운 평가 기준은 기존에는 포착하지 못했던 논문의 미래 영향력 신호를 밝혀냈으며, 이는 과학적 발견의 전달 방식을 혁신할 가능성을 시사합니다.
• 윤리적 고려: 시스템은 과학적 진실성을 해치지 않는 범위 내에서 작동하도록 설계되었으며, 저자들은 AI 의 오용 (예: 인용 수 조작) 에 대한 경계와 투명한 공개의 중요성을 강조합니다.

결론적으로, APRES 는 LLM 을 활용하여 동료 평가 시스템의 일관성을 높이고, 과학적 연구의 질과 전달력을 동시에 향상시킬 수 있는 강력한 실증적 증거를 제시합니다.