Orchestrating LLM Agents for Scientific Research: A Pilot Study of Multiple Choice Question (MCQ) Generation and Evaluation
본 논문은 인간 연구자가 여러 LLM 에이전트를 조율하여 SAT 수학 객관식 문제를 생성하고 평가하는 파일럿 연구를 통해, AI 기반 연구 워크플로우에서 연구자의 역할이 직접적인 작성에서 명세, 오케스트레이션, 검증 및 거버넌스로 전환되고 있음을 보여주며, 생성된 문제의 표면적 품질은 높지만 난이도 조절 및 인지적 참여도 등 핵심 영역에서 전문가 검증 기준과 완전한 동등성을 달성하지 못함을 실증합니다.
과거의 연구자는 직접 재료를 다지고, 요리를 하고, 맛을 보는 **'요리사'**였습니다. 하지만 이 연구는 AI 가 등장하면서 연구자의 역할이 **'셰프 (요리장)'**로 변했음을 보여줍니다.
과거 (요리사): 연구자가 직접 모든 문제를 만들고, 직접 채점하고, 직접 분석했습니다.
현재 (셰프): 연구자는 "오늘 메뉴는 SAT 수학 문제야. 난이도는 이 정도고, 이 교과서 내용을 바탕으로 만들어줘"라고 **명령 (지시)**만 내립니다. 실제 요리 (문제 생성) 는 AI 가 하고, 맛보기 (채점) 도 AI 가 합니다. 연구자는 최종적으로 "이 요리가 맛있고 안전한가?"를 확인하고 메뉴판을 기획하는 일에 집중합니다.
📝 이 연구가 실제로 한 일: "AI 요리 대회"
이 연구팀은 **SAT 수학 객관식 문제 (MCQ)**를 만드는 실험을 진행했습니다.
재료 준비: AI 가 인터넷에 있는 무료 교과서 (OpenStax) 를 읽고, 필요한 부분만 잘라내어 정리했습니다.
요리 시작: 연구자가 "이 교과서 내용을 바탕으로, 이 정도 난이도의 문제를 만들어줘"라고 지시하자, 두 가지 다른 AI (Gemini 와 GPT) 가 수천 개의 문제를 뚝딱 만들어냈습니다.
맛보기 (평가): 만든 문제들이 진짜 인간 전문가가 만든 문제 (기존 SAT 문제) 만큼 좋은지 확인하기 위해, 또 다른 AI 두 대가 24 가지 기준 (문법, 오답의 설득력, 난이도 등) 으로 채점을 했습니다.
📊 실험 결과: "완벽한 요리사는 아니지만, 아주 훌륭함"
결과를 요약하면 이렇습니다.
표면적인 맛은 완벽함: 문법 오류가 없고, 글씨가 깔끔하며, 중복된 문제가 없는지 확인하는 **'기본적인 요리 기술'**은 AI 가 인간보다 더 잘했습니다. (점수 4.8/5 이상)
깊이 있는 맛은 부족함: 하지만 문제를 풀 때 **'생각의 깊이'**나 '정확한 난이도 조절', '오답이 얼마나 그럴듯한지' 같은 깊은 부분에서는 AI 가 만든 문제가 인간 전문가가 만든 문제와 완전히 같지 않았습니다.
비유: AI 가 만든 요리는 겉보기엔 아주 예쁘고 깔끔하지만, 입안에 넣었을 때 인간 요리사가 만든 깊은 풍미나 '어떤 상황에 먹어야 할지'에 대한 뉘앙스는 조금 떨어집니다.
⏱️ 놀라운 효율성: "6 개월 걸릴 일을 10 일 만에"
이 실험에서 가장 큰 변화는 시간입니다.
전통적인 방식: 박사 과정 학생이 이 모든 일을 (자료 찾기, 문제 만들기, 채점, 분석) 직접 했다면 약 6 개월이 걸렸을 것입니다.
AI 조종 방식: 이 연구자는 약 10 일 만에 끝냈습니다. 비용은 약 62 달러 (약 8 만 원) 정도였습니다.
핵심: 연구자의 일은 '직접 요리하는 것'에서 '요리 과정을 설계하고, 실패를 막고, 최종 맛을 확인하는 것'으로 바뀌었습니다.
💡 이 연구가 우리에게 주는 메시지
일자리가 사라지는 게 아니라 '변화'합니다: 연구자가 사라지는 게 아니라, '직접 만드는 사람'에서 '시스템을 관리하고 지시하는 사람'으로 변합니다. 이를 **'AI 연구 운영 (AI Research Operations)'**이라는 새로운 직업 능력이라고 부릅니다.
AI 는 만능이 아닙니다: AI 가 문제를 만들어주지만, 그 결과가 정말 좋은지 확인하는 **'감시자'와 '설계자'**의 역할은 여전히 인간이 해야 합니다.
새로운 기술이 필요합니다: 이제 연구자는 단순히 지식을 아는 것뿐만 아니라, AI 가 어떻게 실수하는지, 어떻게 지시를 내려야 하는지, 어떻게 시스템을 통제할지 아는 '시스템 엔지니어' 같은 능력이 필요합니다.
🎁 한 줄 요약
"AI 는 이제 연구자가 직접 '일'을 하는 것이 아니라, 연구자가 '일하는 방법'을 설계하고 통제하는 시대가 왔습니다. AI 는 훌륭한 요리사를 고용해 주지만, 메뉴를 기획하고 맛을 검증하는 '셰프'는 여전히 인간이어야 합니다."
이 논문은 AI 가 과학 연구를 더 빠르고 저렴하게 만들 수 있음을 보여주지만, 동시에 인간이 해야 할 '질 높은 통제와 설계'의 중요성을 강조하고 있습니다.
1. 연구 배경 및 문제 정의 (Problem)
배경: 대규모 언어 모델 (LLM) 의 발전으로 과학 연구의 방식이 급격히 변화하고 있으나, 이러한 시스템이 실제 연구 활동을 어떻게 재편하는지에 대한 실증적 증거는 부족합니다.
핵심 질문: 연구자가 AI 주도 파이프라인을 사용하여 프로젝트를 처음부터 끝까지 수행할 때, 어떤 작업이 위임되고 어떤 새로운 책임이 발생하는가?
목표: 인간 전문가가 작성한 SAT 수학 객관식 문제 (MCQ) 와 LLM 이 생성한 MCQ 를 비교하여, AI 가 생성한 교육 콘텐츠의 교육적 품질, 인지적 요구도, 평가 타당성 측면에서 인간 전문가의 수준과 얼마나 비교 가능한지 실증적으로 검증하는 것입니다.
동기: 시험 준비 산업의 경제적 구조 변화와 AI 가 인간 전문가와 동등한 수준의 콘텐츠를 대규모로 생성할 수 있는지에 대한 의문에서 시작되었습니다.
2. 연구 방법론 (Methodology)
이 연구는 단일 연구자가 여러 LLM 에이전트를 조율하여 수행한 혼합 방법론 (Mixed-methods) 파일럿 연구로, 6 단계에 걸친 종단적 (End-to-End) AI 오케스트레이션 워크플로우를 구축했습니다.
데이터 수집 및 전처리 (Phase 1-2):
기반 데이터 (Baseline): College Board 의 공식 SAT 수학 문제은행 (PDF) 에서 1,071 개의 MCQ 추출 및 JSON 구조화.
소스 코퍼스: OpenStax 의 오픈 교재를 PDF 에서 마크다운으로 변환하고, 교육적 일관성을 유지하며 2,980 개의 청크 (chunk) 로 분할.
정합 및 생성 (Phase 3-4):
정합 (Alignment): 벡터 임베딩을 사용하여 각 SAT 문제를 관련 교재 청크에 매핑 (메타데이터 유사도 30% + 내용 유사도 70%).
생성: 매핑된 교재 내용과 메타데이터 (도메인, 기술, 난이도, 인지 수준) 를 기반으로 GPT-5-nano와 Gemini-2.5-Flash를 사용하여 새로운 MCQ 생성.
평가 (Phase 5):
평가 기준: 24 가지 항목으로 구성된 5 점 리커트 척도 평가 루브릭 (정확성, 명확성, 오답선 품질, 난이도 균형, 도메인 정합성, 인지적 캘리브레이션 등).
평가자 (Judges): 생성된 모델 (Gemini, GPT) 과 동일한 두 개의 LLM 을 독립적인 평가자로 활용 (Dual-judge design).
통계 분석: 단순 평균 비교뿐만 아니라, **동등성 검정 (Equivalence Testing, TOST)**을 수행하여 생성된 문제가 인간 기반 문제와 실질적으로 동등한지 (실용적 동등성) 확인.
3. 주요 기여 (Key Contributions)
노동의 전환 실증: 단일 연구자가 여러 LLM 을 조율하여 대규모 연구 워크플로우를 실행한 사례를 제시하며, 연구자의 역할이 '콘텐츠 제작 (Authoring)'에서 '명세, 조율, 검증, 거버넌스 (Specification, Orchestration, Verification, Governance)'로 이동했음을 문서화.
대규모 LLM 기반 평가: 1,000 개 이상의 SAT 스타일 MCQ 에 대해 24 가지 기준과 2 명의 독립적인 LLM 평가자를 적용하여 평균 품질과 기준별 성능을 심층 분석.
품질 불균형 발견: 전반적인 평균 점수는 높았으나, 기준별 동등성 (Equivalence) 은 실패했음을 입증. 특히 '기술의 깊이 (Skill Depth)'와 '난이도 캘리브레이션'에서 인간 전문가 수준에 미치지 못함.
새로운 역량 제안: "AI 연구 운영 (AI Research Operations)"이라는 새로운 전문 역량 (오케스트레이션, 오류 제어, 해석) 의 필요성을 주장.
4. 주요 결과 (Results)
A. 품질 평가 결과
전반적 품질: 모든 조건에서 평균 점수가 높았음 (4.64~4.89/5). 문법 유창성, 명확성, 중복 없음 등 **표면적 품질 (Surface-level qualities)**은 거의 완벽하게 달성됨.
약점 (Persistent Gaps):
기술의 깊이 (Skill Depth): 문제를 표면적으로 언급하는 수준에 그치고 깊이 있는 탐구를 요구하지 못함.
인지적 참여 (Cognitive Engagement) 및 난이도 균형: 문제의 난이도 조절과 인지적 요구도가 기준에 부합하지 않음.
오답선 (Distractors): 오답선의 설득력 (Plausibility) 이 부족함.
동등성 검정 (Equivalence Testing):
엄격한 동등성 (24/24 기준): 어떤 조건에서도 달성되지 않음.
실용적 동등성: 평가자 (Judge) 와 분석 트랙 (Matched vs Whole-set) 에 따라 9~12 개 기준만 동등성 임계값을 충족.
결론: LLM 이 생성한 문제는 인간 전문가가 검증한 문제와 전체적으로 동등하지 않으며, 특히 심층적인 교육적 설계와 난이도 조절 측면에서 격차가 존재함.
B. 작업 관행 및 효율성 (Work-Practice Findings)
노동의 재분배:
연구자의 시간의 **52.5%**가 파이프라인 엔지니어링 및 운영 (스크립트 작성, 오류 수정, 도구 통합) 에 할당됨.
콘텐츠 생성 자체는 LLM 에게 위임됨.
기존 6 개월이 소요될 것으로 추정되던 박사 과정 연구 (전체 작업) 를 **약 10 일 (약 80 시간)**로 단축.
비용: API 비용은 약 $62 로 매우 낮았으나, 이는 연구자의 전문성과 시스템 설계 능력을 전제로 함.
역량 변화: 단순 프롬프트 엔지니어링을 넘어, 시스템 설계, 실패 모드 분석, 평가 거버넌스 등 시스템 엔지니어링에 가까운 역량이 요구됨.
5. 의의 및 시사점 (Significance)
과학 연구의 미래: AI 는 단순히 작업을 자동화하는 도구가 아니라, 연구의 본질을 '만드는 것 (Creating)'에서 '정의하고 검증하는 것 (Defining and Verifying)'으로 변화시킴.
새로운 전문직의 등장: 'AI 연구 운영 (AI Research Operations)'이 생물정보학 (Bioinformatics) 이나 데이터 과학과 유사하게 새로운 전문 분야로 부상할 가능성이 있음.
책임 있는 AI 활용: LLM 을 평가자 (Judge) 로 사용할 때 평가자 모델의 편향 (Rater Effect) 이 결과에 큰 영향을 미칠 수 있으므로, 평가 프로세스의 거버넌스, 문서화, 민감도 분석이 필수적임.
한계 및 향후 과제: 단일 연구자/단일 도메인 (수학) 한계, LLM 평가자의 신뢰성 문제, 실제 학생 대상 적용 (IRT 분석) 부재 등 추가 검증이 필요함.
요약
이 논문은 LLM 에이전트를 조율하여 대규모 교육 콘텐츠를 생성하고 평가하는 새로운 연구 워크플로우의 가능성을 보여주었습니다. 결과는 AI 가 생성한 콘텐츠가 표면적으로는 우수하지만, 교육적 깊이와 정밀한 난이도 조절 측면에서는 인간 전문가 수준에 미치지 못함을 시사합니다. 따라서 AI 시대의 과학 연구에서 핵심 가치는 자동화된 생성이 아니라, 복잡한 워크플로우를 설계하고 그 품질을 통제하는 인간의 오케스트레이션 능력에 있음을 강조합니다.