Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation

이 논문은 대규모 멀티모달 언어 모델을 활용한 과학적 발견, 실험, 콘텐츠 생성 및 평가의 5 가지 핵심 영역에 대한 데이터셋, 방법론, 평가 전략, 한계 및 윤리적 문제를 포괄적으로 검토하여 AI 기반 과학 연구의 현재와 미래를 조명하는 종합적인 조사를 제공합니다.

핵심

과학의 새로운 동반자: 거대 언어 모델 (AI) 이 어떻게 과학을 바꾸고 있는가?

이 논문은 **"거대 언어 모델 (LLM)"**이라는 초지능 AI 가 어떻게 과학 연구의 전 과정을 도와주고 있는지, 그리고 그 한계와 위험은 무엇인지 자세히 조사한 보고서입니다.

과학 연구를 마치 **'거대한 보물 찾기'**나 **'새로운 도시를 건설하는 작업'**에 비유해 보면 이해하기 쉽습니다. 예전에는 과학자 혼자서 모든 것을 해야 했지만, 이제는 AI 라는 **'똑똑한 조수'**가 함께 일하고 있습니다.

이 보고서의 핵심 내용을 5 가지 단계로 나누어 쉽게 설명해 드릴게요.

---

1. 도서관 사서 찾기 (문헌 검색 및 요약)

상황: 과학 논문은 매일 수천 편씩 쏟아져 나옵니다. 한 사람이 모든 책을 다 읽는 것은 불가능합니다.
AI 의 역할: AI 는 거대한 도서관의 초고속 사서입니다.

• 무엇을 하나요? "심장병 치료에 새로운 약이 있을까?"라고 물으면, AI 는 수백만 편의 논문 중 relevant(관련된) 것만 골라내어 요약해 줍니다.
• 비유: 구글 검색이 '키워드'로 책을 찾는다면, AI 사서는 '의미'를 이해해서 "이 책은 A 와 B 를 연결해 주네요"라고 설명해 줍니다.
• 한계: 가끔 AI 가 없는 책을 있는 것처럼 말하기도 합니다 (할루시네이션). 또한, 특정 분야의 책만 많이 추천할 수도 있습니다.

2. 아이디어 발명가 (아이디어 및 가설 생성)

상황: 연구의 시작은 "무엇을 연구할까?"라는 아이디어입니다.
AI 의 역할: AI 는 창의적인 브레인스토밍 파트너입니다.

• 무엇을 하나요? 기존 연구들을 섞어서 "이 두 가지를 합치면 어떨까?"라는 새로운 아이디어를 제안합니다. "이런 가설을 세워보자"라고 제안하기도 합니다.
• 비유: 요리사가 재료를 보고 "이거랑 저거 섞으면 맛있는 새 요리가 될 거야!"라고 제안하는 것과 같습니다.
• 한계: AI 가 제안한 아이디어는 참신할 수 있지만, 실제로 실행 가능하지 않거나 너무 막연할 때가 많습니다.

3. 실험실 도우미 (실험 자동화)

상황: 아이디어를 검증하려면 실험을 해야 합니다. 코드를 짜고 데이터를 분석하는 과정은 매우 번거롭습니다.
AI 의 역할: AI 는 자동화 된 실험실 기술자입니다.

• 무엇을 하나요? 연구자가 "이 실험을 해봐"라고 말하면, AI 가 직접 코드를 짜고 시뮬레이션을 돌립니다.
• 비유: 요리사가 레시피를 말하면, AI 로봇이 재료를 다듬고 불을 조절해 요리를 해주는 것과 같습니다.
• 한계: AI 가 코드를 짜다가 실수를 하거나, 위험한 실험을 제안할 수도 있어 사람이 반드시 확인해야 합니다.

4. 그림과 슬라이드 제작자 (멀티모달 콘텐츠 생성)

상황: 연구 결과를 발표할 때는 복잡한 그래프, 그림, 그리고 발표용 슬라이드가 필요합니다.
AI 의 역할: AI 는 재미있는 일러스트레이터이자 프레젠테이션 디자이너입니다.

• 무엇을 하나요? "이 데이터를 그래프로 그려줘"라고 하면 AI 가 코드를 짜서 멋진 그림을 만들어냅니다. 논문 내용을 바탕으로 발표용 슬라이드도 만들어 줍니다.
• 비유: 요리사가 만든 요리를 예쁘게 접시에 담고, 메뉴판도 그려주는 역할입니다.
• 한계: AI 가 만든 그림이 실제 데이터와 조금 다를 수 있어, 과학적 정확성을 사람이 다시 체크해야 합니다.

5. 심사위원 보조 (논문 심사 및 피어 리뷰)

상황: 과학 논문을 발표하려면 다른 전문가들의 심사를 받아야 합니다. 하지만 심사위원들은 바빠서 시간이 부족합니다.
AI 의 역할: AI 는 심사위원의 보조관입니다.

• 무엇을 하나요? 논문이 논리적인지, 중요한 내용이 빠진 건 아닌지 빠르게 체크해 줍니다. 심사의견 초안을 작성하는 데 도움을 줍니다.
• 비유: 교수가 학생의 논문을 볼 때, AI 가 "이 부분은 문법 오류가 있어요", "이 부분은 근거가 부족해 보여요"라고 미리 알려주는 것입니다.
• 한계: AI 가 심사를 대신할 수는 없습니다. AI 는 편견을 가질 수 있고, 과학적 엄밀함을 판단하는 데 한계가 있기 때문입니다.

---

⚠️ 주의할 점: AI 의 그림자 (윤리적 문제)

이 보고서에서는 AI 가 과학을 돕는 것만큼이나 위험도 크다고 경고합니다.

1. 거짓말 (할루시네이션): AI 는 없는 논문이나 잘못된 사실을 진짜인 것처럼 말해댑니다. 과학은 '진실'이 생명인데, 거짓이 섞이면 큰 문제가 됩니다.
2. 표절과 저작권: AI 가 쓴 글을 사람이 쓴 것처럼 내보내는 것은 표절일 수 있습니다.
3. 편향: AI 가 배운 데이터가 특정 성별이나 인종에 치우쳐 있다면, 과학 연구도 불공정해질 수 있습니다.
4. 책임 소재: AI 가 잘못된 실험을 제안해서 사고가 나면, 누구의 책임일까요?

🎯 결론: AI 는 '마법 지팡이'가 아니라 '강력한 망치'입니다

이 논문은 결론적으로 말합니다.

"AI 가 과학자를 완전히 대체할 수는 없습니다. AI 는 과학자가 더 빠르고, 더 넓게, 더 창의적으로 일할 수 있게 도와주는 '도구'일 뿐입니다."

과학의 최종 책임은 여전히 **사람 (과학자)**에게 있습니다. AI 라는 강력한 망치를 들고 집을 지을 때, 그 망치가 어디를 치고 있는지, 건물이 무너지지 않는지 사람이 반드시 지켜봐야 합니다.

이 기술이 올바르게 쓰인다면, 우리는 더 빨리 질병을 치료하고, 기후 변화를 해결하며, 인류에게 더 큰 혜택을 줄 수 있을 것입니다. 하지만 그 전에 우리는 AI 를 어떻게 safely(안전하게) 다룰지 철저히 준비해야 합니다.

기술 요약

1. 문제 정의 (Problem)

과학 연구는 수세기 동안 일관된 프로세스 (연구 질문 설정, 문헌 조사, 가설 수립, 실험 설계 및 수행, 데이터 분석, 결과 보고) 를 따르지만, 현대에는 과학 문헌이 기하급수적으로 증가하여 연구자들이 정보를 효율적으로 처리하고 새로운 통찰을 얻는 데 어려움을 겪고 있습니다.

• 기존 한계: 전통적인 도구들은 연구 주기의 특정 단계만 지원하거나, 특정 도메인 (예: 물리학, 사회과학) 에 국한된 경우가 많습니다.
• 새로운 도전: 대형 멀티모달 언어 모델 (LLM) 의 등장으로 과학 연구의 전 과정에 AI 가 개입할 가능성이 열렸으나, 이를 체계적으로 정리하고 윤리적 리스크 (할루시네이션, 연구 무결성 훼손 등) 를 평가한 포괄적인 조사가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 **체계적 조사 (Systematic Survey)**보다는 서사적 조사 (Narrative Survey) 방식을 채택했습니다.

• 접근 방식: 다양한 분야 (NLP, 컴퓨터 비전, 머신러닝 등) 의 전문가로 구성된 저자 팀이 핵심 기술, 평가 관행, 최신 동향을 포괄적으로 다루기 위해 엄격한 포함/제외 기준보다는 개념적 일관성과 방법론적 대표성에 초점을 맞췄습니다.
• 데이터 선정: 시드 논문 (Seed papers) 과 인용 분석, 주요 학술 데이터베이스 (Google Scholar 등) 의 키워드 검색을 통해 관련 문헌을 수집했습니다.
• 구조: 과학 연구 라이프사이클의 5 가지 핵심 단계로 나누어 각 단계별 데이터셋, 방법론, 결과, 평가 전략, 한계점 및 윤리적 문제를 심층 분석했습니다.

3. 주요 기여 및 핵심 내용 (Key Contributions)

논문은 AI 가 지원하는 과학 연구 워크플로우를 다음 5 가지 주요 영역으로 분류하여 체계적으로 정리했습니다.

3.1. 문헌 검색, 요약 및 비교 (Literature Search, Summarization, and Comparison)

• 기술: 전통적인 키워드 검색을 넘어 의미 기반 검색 (Semantic Search), 지식 그래프 (KG) 기반 추론, RAG(검색 증강 생성) 를 활용한 논문 채팅 (Paper Chat) 및 추천 시스템이 발전했습니다.
• 도구 예시: Elicit, Consensus, ORKG ASK, Connected Papers 등.
• 한계: 데이터 품질 불균형, 검색 알고리즘의 편향성, 실시간 처리의 확장성 문제.

3.2. 과학적 발견: 아이디어 생성, 가설 수립 및 실험 (Scientific Discovery: Ideation, Hypothesis Generation, and Experimentation)

• 기술: LLM 을 활용한 연구 아이디어 생성 (Iterative refinement, Multi-agent systems), 가설 생성 (Knowledge Graph, RAG 활용), 그리고 자동화된 실험 (Code generation, Simulation) 이 포함됩니다.
• 주요 접근: 'The AI Scientist'와 같은 에이전트 프레임워크는 아이디어 생성부터 실험 수행, 논문 작성까지 전 과정을 자동화하려는 시도를 보여줍니다.
• 평가: 생성된 아이디어의 참신성 (Novelty) 과 실행 가능성 (Feasibility) 을 인간 전문가나 시뮬레이션 (LabBench 등) 을 통해 평가합니다.
• 한계: LLM 이 생성한 아이디어는 참신하지만 실행 가능성이 낮거나, 최신 문헌을 반영하지 못해 기존 아이디어를 재생산할 위험이 있습니다.

3.3. 텍스트 기반 콘텐츠 생성 (Text-based Content Generation)

• 작업: 제목, 초록, 관련 연구 (Related Work), 인용문 생성, 교정 및 문체 변환 등.
• 성과: LLM 은 교정 및 문체 개선에 탁월하지만, 사실성 (Factuality) 과 인용문 생성 시 할루시네이션 (존재하지 않는 논문 인용) 문제가 심각합니다.
• 장문 생성: LongWriter 등 장문 생성 모델은 구조적 일관성을 개선하려는 시도를 하고 있으나, 여전히 인간 검수가 필수적입니다.

3.4. 멀티모달 콘텐츠 생성 및 이해 (Multimodal Content Generation and Understanding)

• 작업: 과학 논문 내의 도표 (Figure), 표 (Table), 프레젠테이션 슬라이드, 포스터 생성 및 이해.
• 기술: 텍스트를 TikZ 코드나 Python 코드로 변환하여 도표를 생성하거나 (AutomaTikZ, DeTikZify), 이미지와 텍스트의 매칭을 통해 도표를 이해하는 작업이 수행됩니다.
• 한계: 학습 데이터가 주로 arXiv 의 STEM 분야에 치중되어 있어 다른 도메인 적용에 한계가 있으며, 생성된 시각 자료의 정확도가 인간 수준에 미치지 못합니다.

3.5. 동료 검토 (Peer Review)

• 작업: 논문 리뷰 자동 생성, 메타 리뷰 (Meta-review) 작성, 리뷰 분석, 과학적 주장 검증.
• 현황: 리뷰 점수 예측, 리뷰 텍스트 생성, 논증 분석 등에 LLM 이 활용되고 있으나, 단독 평가자로서는 신뢰도가 부족하며 인간 전문가의 보조 도구로 제한적으로 사용되고 있습니다.
• 리스크: 리뷰어의 편향성 강화 가능성과 검토 과정의 인간적 참여 감소 우려.

4. 결과 및 평가 (Results & Evaluation)

• 성능: LLM 은 특정 단계 (문헌 요약, 교정, 코드 생성) 에서 인간을 보조하는 데 효과적이지만, 전체 연구 주기를 대체할 수 있는 수준에는 도달하지 못했습니다.
• 평가 지표: 전통적인 BLEU/ROUGE 지표를 넘어, LLM 을 심사자 (LLM-as-a-Judge) 로 활용하거나 인간 전문가의 평가를 병행하는 방식이 주류를 이루고 있습니다.
• 데이터: 각 태스크별로 다양한 데이터셋 (SciMON, ScienceAgentBench, ChartQA 등) 이 구축되었으나, 도메인별 편향과 데이터 부족 문제가 여전히 존재합니다.

5. 윤리적 고려사항 (Ethical Concerns)

논문은 AI 의 과학적 활용에서 발생할 수 있는 심각한 윤리적 문제를 강조합니다.

• 연구 무결성: 할루시네이션, 표절, 저작권 침해, 저자권 문제.
• 편향성: 훈련 데이터에 내재된 편향이 과학적 발견의 방향성을 왜곡할 수 있음.
• 안전성: 유해한 화학 물질 설계나 위험한 실험 절차 제안 가능성 (Jailbreaking 위험).
• 대응: AI 사용의 투명한 공개, 인간 전문가의 최종 책임 (Human-in-the-loop), 그리고 신뢰할 수 있는 AI 시스템 개발이 필수적입니다.

6. 의의 및 결론 (Significance & Conclusion)

• 포괄적 지도: 이 논문은 AI 가 과학 연구의 전 과정에 어떻게 통합될 수 있는지를 보여주는 최초의 포괄적인 지도 (Roadmap) 역할을 합니다.
• 현실적 전망: AI 는 과학자의 능력을 확장하는 **보조 도구 (Complementary Tool)**로서 기능할 수 있으나, 인간 전문가의 통찰과 윤리적 판단을 대체할 수는 없습니다.
• 미래 방향: 더 강력한 벤치마크 구축, 도메인 적응 능력 향상, 윤리적 가이드라인 정립, 그리고 인간과 AI 의 협력 (Human-LLM Collaboration) 모델 개발이 향후 연구의 핵심 과제로 제시됩니다.

이 조사는 AI4Science 분야의 연구자, 정책 입안자, 그리고 과학 커뮤니케이터에게 현재 기술 수준과 한계, 그리고 윤리적 쟁점을 명확히 이해하는 데 중요한 자료가 됩니다.