Evaluating LLM-Based Grant Proposal Review via Structured Perturbations

이 논문은 EPSRC 제안서를 대상으로 구조적 변형을 통해 LLM 기반 심사 방식을 평가한 결과, 섹션 단위 분석이 가장 효과적이었으나 현재 LLM 은 명확성 결함을 놓치고 순응성 확인에 치우쳐 고위험 평가에서는 보조적 역할만 수행할 수 있음을 밝혔습니다.

핵심

이 논문은 **"인공지능 (AI) 이 연구비 지원 신청서를 심사할 수 있을까?"**라는 매우 실용적이고 중요한 질문을 던집니다.

연구비 신청서 (Grant Proposal) 는 연구자가 "이 연구를 하려면 돈이 필요해요"라고 주장하는 문서입니다. 보통 이걸 심사하는 건 인간 전문가들인데, 신청서가 너무 많아져서 사람들이 지쳐버린 상황입니다. 그래서 연구자들은 "AI 가 대신 심사를 해줄 수 있지 않을까?"라고 생각했습니다.

이 논문은 AI 가 실제로 이 일을 잘할 수 있는지, 그리고 어떤 부분에서 실패하는지를 실험으로 증명했습니다.

---

🍎 핵심 비유: "과일 장수의 AI 심사관"

이 실험을 이해하기 위해 '과일 장수' 상황을 상상해 보세요.

1. 상황: 과일 장수 (연구자) 가 매일 사과 (연구 제안서) 를 가져와서 "이 사과가 최고예요, 사세요!"라고 외칩니다.
2. 문제: 사과가 너무 많이 와서, 장수를 도와주는 심판들 (심사위원) 이 지쳐서 사과를 제대로 고를 수 없게 되었습니다.
3. 해결책: "AI 심판"을 고용해서 사과를 대신 고르게 해보자는 것입니다.

하지만 AI 심판이 사과를 고를 때, 실수로 사과에 구멍을 뚫거나, 시든 사과를 넣거나, 가격을 터무니없이 높게 적어놓는 등의 '함정'을 넣었습니다. 그리고 AI 가 이 함정을 찾아낼 수 있는지를 테스트한 것이 이 연구입니다.

---

🔍 실험 내용: AI 가 함정을 찾아냈을까?

연구진은 6 개의 실제 연구 제안서를 가져와서, AI 가 실수할 수 있는 6 가지 유형으로 고쳐보았습니다.

1. 돈 (Funding): 예산을 터무니없이 높게 책정하거나, 왜 그 돈이 필요한지 설명을 뺐습니다.
2. 시간 (Timeline): 1 년에 10 년 치 일을 하라고 하거나, 일정이 논리적으로 맞지 않게 했습니다.
3. 역량 (Competency): 팀원들의 능력을 과장하거나, 중요한 전문가를 빼버렸습니다.
4. 맞춤 (Alignment): 이 연구가 지원하려는 프로그램의 목표와 전혀 맞지 않게 바꿨습니다.
5. 명확성 (Clarity): 전문 용어를 설명하지 않거나, 문장이 너무 복잡하게 꼬였습니다.
6. 영향 (Impact): 이 연구가 세상에 어떤 도움을 줄지 설명을 뺐거나, 엉뚱한 사람을 언급했습니다.

그리고 AI 가 이 6 가지 함정을 찾아내어 "여기 문제가 있어요!"라고 지적했는지 확인했습니다.

---

🏆 실험 결과: AI 는 어떻게 했을까?

결과는 **"AI 는 꽤 잘하지만, 아직 인간을 완전히 대체할 수는 없다"**는 것이었습니다.

1. 어떤 방식이 가장 좋았을까? (세부 분석 vs 한 번에 다 보기)

• 한 번에 다 보기 (Baseline): AI 에게 긴 문서 전체를 한 번에 읽게 했더니, 중요한 함정들을 놓쳤습니다. (너무 길어서 집중력이 떨어졌기 때문입니다.)
• 세부 분석 (Section-Level): 문서를 조각조각 잘라서 하나씩 심사하게 했더니, AI 가 문제를 훨씬 잘 찾아냈습니다.
  • 비유: 긴 소설을 한 번에 읽으려다 결말을 잊어버리는 대신, 장마다 요약해서 읽으면 내용을 더 잘 이해하는 것과 같습니다.
• 여러 전문가 팀 (Council of Personas): AI 에게 "경제 전문가", "윤리 전문가", "기술 전문가" 등 여러 역할을 부여해서 팀으로 심사하게 했습니다. 하지만 이 방법은 시간만 많이 걸리고 결과는 세부 분석과 비슷하거나 오히려 나빴습니다.
  • 비유: 5 명을 모아 회의를 해도, 각자가 제각각 생각하다 보니 결론이 잘 안 나고 시간만 낭비된 경우와 비슷합니다.

2. AI 가 잘 찾아낸 것 vs 못 찾아낸 것

• 잘 찾아낸 것: "이 연구는 지원 프로그램의 목표와 맞지 않아" (맞춤 문제) 같은 논리적 오류는 잘 찾아냈습니다.
• 못 찾아낸 것: "이 전문 용어는 설명이 없네"나 "문장이 너무 복잡해" 같은 명확성 (Clarity) 문제는 거의 찾아내지 못했습니다.
  • 비유: AI 는 "이 사과가 배랑 닮았네?" (종류 오류) 는 잘 알아채지만, "이 사과 껍질에 흠집이 있네?" (세부 결함) 는 못 보는 경향이 있습니다. AI 는 문맥을 추론해서 "아마도 이 뜻이겠지"라고 넘어가는 경향이 있기 때문입니다.

3. 인간 심사관과의 비교

• AI 는 **규칙 위반 (예: 예산이 너무 비쌈)**을 잘 지적했지만, **전체적인 느낌 (예: 이 연구가 정말 혁신적인가?)**을 평가하는 데는 인간 심사관보다 부족했습니다.
• 인간 심사관은 "이건 실패할 거야"라고 단호하게 말하지만, AI 는 "약간 불확실하네요"라고 중립적으로 말하거나, 사소한 규칙 위반에만 집착하는 경향이 있었습니다.

---

💡 결론: AI 는 '보조 도구'가 되어야 한다

이 논문은 다음과 같은 결론을 내립니다.

"AI 가 혼자서 연구비를 심사하게 하면 안 됩니다. 하지만 인간 심사관의 '비서'나 '체크리스트'로 쓰면 아주 유용합니다."

• AI 의 역할: "여기 예산 설명이 없어요", "이 용어는 처음 나오는데 설명이 없어요"처럼 사소한 실수나 규칙 위반을 찾아내는 데는 탁월합니다.
• 인간의 역할: "이 연구가 정말 세상을 바꿀 가치가 있을까?", "팀이 이 일을 해낼 능력이 있을까?" 같은 복잡한 가치 판단은 여전히 인간이 해야 합니다.

한 줄 요약:
AI 는 문법 검사기처럼 실수를 찾아내는 건 잘하지만, 예술 평론가처럼 작품의 깊이를 평가하는 건 아직 인간이 더 낫습니다. 그러니 AI 를 '심사관'으로 세우기보다, '심사관을 도와주는 보조 도구'로 쓰는 것이 가장 현명한 방법입니다.

기술 요약

이 논문은 **"구조적 교란 (Structured Perturbations) 을 통한 LLM 기반 연구비 제안서 검토 평가"**를 주제로 하며, 연구 생태계의 '말트서스적 함정 (Malthusian trap)'으로 인해 증가하는 제안서 검토 수요를 해결하기 위해 대규모 언어 모델 (LLM) 의 잠재력과 한계를 분석합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 검토 과부하: 연구비 신청 건수가 기하급수적으로 증가하는 반면, 검토 인력은 정체되어 있어 시스템적 피로와 행정적 부담이 가중되고 있습니다.
• 비대칭적 규제: 지원자는 생성형 AI 를 사용할 수 있지만, 검토자는 엄격히 금지되어 있어 검토의 질 저하나 지연이 우려됩니다.
• 데이터 부족 및 윤리적 장벽: 연구비 제안서는 지적 재산권과 개인정보가 포함된 민감한 자산이므로 공개 데이터가 부족하여 LLM 의 검토 능력을 체계적으로 평가하기 어렵습니다.
• 검토의 복잡성: 학술 논문 검토 (과거 지향적) 와 달리, 연구비 검토는 미래 지향적이며 예산, 일정, 역량, 영향력 등 다양한 맥락을 종합적으로 판단해야 하는 고위험 (high-stakes) 작업입니다.

2. 방법론 (Methodology)

저자는 데이터 부족 문제를 해결하기 위해 **교란 기반 평가 프레임워크 (Perturbation-based Evaluation Framework)**를 제안했습니다.

• 데이터셋: 6 개의 실제 EPSRC(영국 공학 및 물리과학 연구위원회) 연구비 제안서를 사용했습니다.
• 교란 전략 (Perturbation Strategy): 제안서의 품질을 6 가지 축 (재정, 일정, 역량, 정렬, 명확성, 영향력) 으로 분류하고, 각 축에 대해 의도적으로 결함을 주입하여 42 가지의 통제된 오류 조건을 생성했습니다.
  • 예: 예산 과다 산정, 일정 비현실화, 핵심 인력 제거, 용어 정의 생략 (명확성 저하) 등.
• 검토 아키텍처 비교: 세 가지 LLM 검토 방식을 비교 평가했습니다.
  1. Zero-shot Baseline: 전체 문서를 한 번에 입력받아 검토.
  2. Section-Level Review: 논문을 논리적 섹션 (비전/접근, 팀 역량, 자금, 윤리 등) 으로 분할하여 개별 검토 후 종합.
  3. Council of Personas: 5 가지 페르소나 (비용 분석가, 윤리 평가자, 기술 전도사 등) 가 독립적으로 검토하고, 메타 리뷰를 거쳐 의장이 최종 종합하는 앙상블 방식.
• 평가 지표:
  • 교란 탐지율: LLM 이 의도된 오류를 부정적인 감정으로 식별하는지 여부.
  • 점수 신뢰도 (ICC): 동일 제안서에 대한 반복 평가의 일관성.
  • 전문가 - 모델 피드백 정렬: LLM 의 피드백이 실제 인간 검토자 (UKRI) 의 판단과 얼마나 일치하는지 분석.

3. 주요 기여 (Key Contributions)

1. 데이터 부족 환경에서의 평가 프레임워크: 소수의 실제 제안서를 교란하여 통제된 오류를 생성함으로써, 민감한 도메인에서 LLM 의 민감도와 일관성을 정밀하게 측정할 수 있는 방법론을 제시했습니다.
2. Council of Personas 아키텍처 개발: 다각도의 전문가 패널을 모방한 다중 페르소나 앙상블 방식을 설계하고 실험했습니다.
3. 실제 검토자 데이터와의 비교 분석: LLM 의 생성된 피드백을 UKRI 의 숙련된 검토자 피드백과 비교하여, 자동화 시스템의 현재 격차와 편향을 규명했습니다.

4. 실험 결과 (Results)

• 검토 아키텍처 성능:
  • **섹션 단위 검토 (Section-Level)**가 교란 탐지율과 점수 신뢰도 (ICC 0.50) 모두에서 가장 우수한 성능을 보였습니다. 긴 컨텍스트를 분할하여 처리하는 것이 전체 문서를 한 번에 처리하는 것보다 훨씬 효과적이었습니다.
  • Council of Personas는 계산 비용이 매우 높았음에도 불구하고, 베이스라인과 통계적으로 유의미한 차이를 보이지 않았으며 신뢰도 (ICC 0.11) 도 낮았습니다.
• 교란 유형별 민감도:
  • 정렬 (Alignment) 관련 오류는 비교적 잘 탐지되었습니다 (LLM 이 사전 학습된 제안서 가이드라인 패턴을 학습했기 때문으로 추정).
  • 명확성 (Clarity) 관련 오류 (약어 생략, 모호한 표현 등) 는 거의 탐지되지 않았습니다 (LLM 이 모호함을 채워 넣으려는 경향이 강하기 때문).
• 피드백 정렬:
  • LLM 의 피드백은 대체로 유효했으나, 규정 준수 (compliance) 체크에 치중하는 경향이 있었습니다.
  • 인간 검토자는 제안서의 전반적인 타당성과 비전을 평가하는 반면, LLM 은 데이터 거버넌스, GDPR 준수 등 세부적인 규정 위반 사항을 더 많이 지적했습니다.
  • LLM 은 인간이 놓친 세부 사항을 발견할 수 있지만, 제안서의 전체적인 가치 판단 (holistic assessment) 에는 한계가 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 현재의 한계: 현재 LLM 은 연구비 제안서를 완전히 자동화하여 검토할 수 있을 만큼의 엄밀함 (rigour) 을 갖추지 못했습니다. 특히 명확성 문제와 고차원적인 판단에서는 인간 검토자를 대체하기 어렵습니다.
• 보조 도구로서의 가능성: LLM 은 인간 검토자의 보조 도구 (Supplementary tool) 로서, 구조화된 피드백 생성, 규정 준수 확인, 세부 사항 점검 등에 유용할 수 있습니다.
• 향후 방향: 연구비 검토 시스템에 LLM 을 도입할 때는 '섹션 단위' 처리 방식을 채택하고, 인간 검토자의 감독 하에 규정 준수 및 초기 스크리닝 단계에서 활용하는 것이 가장 효과적일 것으로 결론지었습니다.

이 논문은 연구비 검토라는 고위험 도메인에서 LLM 의 실제 능력을 정량적으로 평가한 최초의 체계적인 연구 중 하나로, 향후 AI 기반 학술 평가 시스템 설계에 중요한 통찰을 제공합니다.