Measuring Mid-2025 LLM-Assistance on Novice Performance in Biology
2025 년 중반의 대규모 언어 모델 (LLM) 은 생물학적 실험 초보자의 복잡한 실험 절차 완수율을 유의미하게 높이지는 않았으나, 개별 단계별 수행 능력에는 소폭의 개선 효과를 보였으며, 이는 사이버 벤치마크와 실제 물리적 실험 환경 간의 격차를 보여줍니다.
원저자:Shen Zhou Hong, Alex Kleinman, Alyssa Mathiowetz, Adam Howes, Julian Cohen, Suveer Ganta, Alex Letizia, Dora Liao, Deepika Pahari, Xavier Roberts-Gaal, Luca Righetti, Joe Torres
상상해 보세요. 여러분은 생물학 실험실이라는 **'보물찾기 현장'**에 있습니다. 목표는 바이러스를 만드는 복잡한 과정 (역유전학) 을 성공적으로 끝내는 것입니다.
이 게임에는 두 팀이 있었습니다.
구글 팀 (인터넷만 사용): 구글 검색, 위키백과, 유튜브, 인터넷 포럼만 쓸 수 있습니다.
AI 팀 (최신 AI 사용): 구글 검색뿐만 아니라, 2025 년 당시 가장 똑똑하다고 알려진 AI(챗지피티, 클로드, 제미니 등) 와 대화하며 힌트를 얻을 수 있습니다.
참가자들은 생물학 지식이 거의 없는 **완전 초보 (신입생)**들이었습니다. 이들은 8 주 동안 매일 4 시간씩 실험실에 나가서 직접 손으로 실험을 해봐야 했습니다.
📊 실험 결과: AI 가 정말 '신'이었을까?
결과는 다소 의외였습니다.
1. 최종 목표 달성률: "차이는 거의 없었다"
결과: AI 팀이 인터넷 팀보다 보물 (바이러스 만들기 성공) 을 더 많이 찾아낸 것은 아닙니다.
비유: AI 팀이 지도 (AI) 를 들고 있었지만, 인터넷 팀이 지도 없이 구글링을 하더라도, 최종적으로 보물 상자를 열어서 성공한 사람의 수는 두 팀이 거의 비슷했습니다. (AI 팀 5.2% vs 인터넷 팀 6.6%)
이유: 실험실 작업은 책상에서 지식을 얻는 것만으로는 부족합니다. 손기술, 눈으로 세포 상태를 판단하는 감각, 실험 기구를 다루는 '직관' 같은 것은 AI 가 말로만 알려주기엔 너무 어렵기 때문입니다.
2. 하지만 AI 가 도움을 준 부분도 있었습니다: "길 잃지 않고 더 멀리 가다"
결과: 비록 최종 성공률은 비슷했지만, AI 팀이 중간 과정에서는 더 잘했습니다.
특히 '세포 배양' (살아있는 세포를 키우는 작업) 에서 AI 팀이 훨씬 더 빨리, 더 잘 성공했습니다.
AI 팀은 실험을 시작하는 데 걸리는 시간이 더 짧았고, 실패를 반복하며 다시 시도하는 횟수도 더 적었습니다.
비유: AI 팀은 지도를 보고 **"여기서 왼쪽으로 가세요, 저기서 멈추세요"**라고 구체적으로 알려주어, 인터넷 팀보다 미로 속에서 헤매는 시간을 줄이고 더 깊은 곳까지 도달했습니다. 하지만 마지막 문 (최종 성공) 을 여는 열쇠는 여전히 손기술 문제라 AI 가 해결해주진 못했습니다.
3. AI 의 한계: "말은 잘하지만, 손은 못 쓴다"
현상: 참가자들은 AI 가 매우 유용하다고 생각했지만, 시간이 지날수록 **"AI 가 말한 대로 해보는데 잘 안 돼요"**라는 좌절감을 느꼈습니다.
비유: AI 는 이론적으로 완벽한 요리사처럼 "소금을 3g 넣으세요"라고 정확히 말해줍니다. 하지만 초보자가 그 소금을 넣으려다 소금통을 엎어치거나, 불 조절을 못 해서 탔다면? AI 는 "아, 소금 3g 이 아니라 2g 이었어야 했어요"라고 다시 말해줄 뿐, 직접 냄비를 들고 불을 조절해 주지는 못합니다.
특히 DNA 조각을 이어붙이는 '분자 클로닝' 같은 복잡한 작업에서는 AI 가 잘못된 정보를 주거나, 초보자가 AI 의 말을 제대로 이해하지 못해 실패했습니다.
💡 이 실험이 우리에게 주는 교훈
이 연구는 **"AI 가 생물학 지식을 다 안다고 해서, 초보자가 바로 생물학자가 되는 건 아니다"**라는 사실을 보여줍니다.
지식 vs 기술: AI 는 '지식'을 전달하는 데는 천재지만, 실험실에서 필요한 '손기술'과 '직관'을 가르치는 데는 아직 한계가 있습니다.
초보자의 어려움: 초보자는 AI 가 준 복잡한 지시사항을 이해하거나, AI 가 실수했을 때 그것을 찾아내기가 매우 어렵습니다.
안전의 중요성: 만약 AI 가 초보자에게 위험한 바이러스를 만드는 법을 완벽하게 가르쳐 준다면 큰 문제가 될 수 있습니다. 하지만 이 실험 결과에 따르면, AI 가 초보자에게 위험한 일을 시킬 가능성은 우리가 생각했던 것보다 낮을 수도 있다는 반전의 메시지도 줍니다. (물론, AI 기술이 계속 발전하면 이 결론은 바뀔 수 있습니다.)
🎯 한 줄 요약
"AI 는 초보 생물학자에게 훌륭한 '가이드북'이 되어주어 길을 잃지 않게 도와주지만, 직접 실험을 성공적으로 끝내게 해주는 '마법 지팡이'는 아직 아닙니다."
이 연구는 AI 의 능력을 평가할 때, 단순히 시험 점수 (지식) 만 보는 것이 아니라, **실제 손으로 하는 작업 (현실 세계)**에서 얼마나 도움이 되는지 계속 지켜봐야 함을 강조합니다.
1. 연구 배경 및 문제 제기 (Problem)
배경: 대규모 언어 모델 (LLM) 은 생물학적 벤치마크 (프로토콜 개발, 문제 해결, 지식 테스트 등) 에서 전문가 수준의 성능을 보여주며, 특히 바이러스 역유전학 (viral reverse genetics) 과 같은 이중 사용 (dual-use) 가능성이 있는 분야에서 뛰어난 능력을 입증하고 있습니다.
문제: 이러한 LLM 의 벤치마크 성능이 실제 물리적 실험실 환경에서 초보자가 복잡한 생물학적 기술을 습득하고 수행하는 능력을 향상시키는지에 대해서는 명확하지 않습니다.
연구 격차: 기존 생물학 벤치마크 (VCT, LAB-Bench 등) 는 구조화된 디지털 환경에서의 사실적 지식이나 단기 과제를 평가하는 데 중점을 두어, 실험실에서 필요한 암묵지 (tacit knowledge), 손기술, 장비 조작 능력, 그리고 장기적인 복잡한 프로토콜 수행 능력을 포착하지 못합니다. 또한, 초보자가 LLM 을 실제로 어떻게 활용하여 전문가 수준의 결과를 도출하는지에 대한 실증적 데이터가 부족합니다.
2. 연구 방법론 (Methodology)
이 연구는 2025 년 6 월부터 8 월까지 8 주 동안 진행된 ** investigator-blinded(연구자 맹검), 무작위 대조 시험 (RCT)** 입니다.
참가자: 최소한의 실험실 경험을 가진 초보자 153 명 (대학생 및 일반인) 을 모집했습니다.
실험 설계:
두 그룹:
인터넷 그룹 (대조군): 구글, 위키피디아, 유튜브 등 일반 인터넷 리소스 및 읽기 전용 포럼 접근 허용. LLM 및 실시간 커뮤니케이션 차단.
LLM 그룹 (실험군): 인터넷 접근 + 2025 년 중반 기준 최첨단 LLM (Anthropic Opus 4/Sonnet 4, OpenAI o3/GPT-4o/GPT-5, Google Gemini 2.5 등) 접근 허용.
과제: 바이러스 역유전학 워크플로우를 모델링한 5 가지 생물학 실험 과제 수행.
미세 피펫팅 (Pre-task 1): 정밀도 및 정확도 테스트.
세포 배양 (Task 2): HEK293T 세포의 3 회 연속 계대 배양 (핵심 역유전학 시퀀스).
분자 클로닝 (Task 3): 플라스미드 조립 및 시퀀싱.
바이러스 생산 (Task 4): rAAV(재조합 아데노 관련 바이러스) 생산.
RNA 정량 (Task 5): qPCR 을 통한 정량 분석.
환경: BSL-2(생물안전등급 2) 실험실에서 진행되었으며, 참가자는 연구진으로부터 직접적인 기술 지도를 받지 않고 독립적으로 과제를 수행해야 했습니다.
분석: 주된 결과 지표는 핵심 역유전학 시퀀스 (세포 배양, 분자 클로닝, 바이러스 생산) 의 성공적 완료 여부였습니다. 베이지안 계층 모델링을 통해 데이터의 통계적 검정력을 보완했습니다.
3. 주요 결과 (Key Results)
A. 주요 결과 지표 (Primary Endpoint)
전체 워크플로우 완료율: LLM 그룹 (5.2%) 과 인터넷 그룹 (6.6%) 사이에 통계적으로 유의미한 차이가 관찰되지 않았습니다 (P=0.759). 즉, LLM 접근이 초보자가 복잡한 생물학 프로세스를 끝까지 성공적으로 완료하는 데 결정적인 도움을 주지는 못했습니다.
B. 개별 과제 및 세부 분석
세포 배양 (Task 2): LLM 그룹이 인터넷 그룹보다 수치적으로 더 높은 성공률을 보였습니다 (LLM 68.8% vs 인터넷 55.3%, P=0.059). 프로토콜 준수 집단 (PPS) 분석에서는 LLM 그룹의 성공률이 유의하게 높았습니다 (79.7% vs 62.5%, P=0.025).
시간 및 시도 횟수: 세포 배양 과제에서 LLM 그룹은 성공까지 소요된 시간이 약 6 일 더 짧았으며, 시도 횟수도 적었습니다.
진행 단계 (Ordinal Regression): 최종 성공 여부와는 별개로, LLM 그룹은 모든 과제에서 중간 단계 (milestones) 를 더 많이 통과할 확률이 높았습니다 (사후 확률 81%~96%). 이는 LLM 이 초기 진입 장벽을 낮추고 프로토콜을 더 멀리 진행하는 데 도움을 줌을 시사합니다.
C. 베이지안 모델링 (Post-hoc Analysis)
데이터 풀링 (Pooling) 을 통한 베이지안 계층 모델링 결과, "전형적인" 역유전학 과제에서 LLM 지원 시 성공 확률이 약 1.4 배 증가할 것으로 추정되었습니다 (95% 신뢰 구간 0.74~2.62). 이는 긍정적이지만 불확실성이 큰 효과 크기입니다.
D. LLM 사용 패턴 및 한계
사용 패턴: 참가자들은 하루 평균 23 개의 프롬프트를 입력했으며, 이미지 업로드 비율이 60% 에 달했습니다.
한계: 참가자들은 세포 배양과 같은 절차적 지시에는 LLM 에서 도움을 잘 받았으나, 분자 클로닝과 같은 복잡한 시퀀스 분석 및 특정 시약 추천에는 LLM 이 잘못된 시퀀스나 시약을 생성하는 오류를 범했습니다.
인식 변화: 연구 기간 중 인터넷 그룹은 LLM 의 유용성을 점점 더 높게 평가한 반면, LLM 사용 그룹은 실제 도움이 줄어든다고 느꼈습니다. 또한 두 그룹 모두 유튜브를 개별 LLM 보다 더 유용한 리소스로 평가했습니다.
4. 주요 기여 및 의의 (Contributions & Significance)
실증적 데이터 제공: 생물학 분야에서 초보자의 LLM 활용 효과를 평가한 가장 크고 긴 무작위 대조 시험 (RCT) 으로, 기존 시뮬레이션 기반 벤치마크의 한계를 보완했습니다.
벤치마크와 현실의 괴리 규명: LLM 이 지식 기반 테스트에서는 전문가를 능가할 수 있지만, 물리적 실험실에서의 암묵지 (tacit knowledge) 와 손기술이 필요한 작업에서는 초보자의 최종 성공률을 획기적으로 높이지 못함을 입증했습니다.
바이오보안 (Biosecurity) 정책 시사점:
LLM 이 초보자에게 위험한 이중 사용 기술을 즉시 부여할 수 있다는 '최악의 시나리오'에 대한 우려는 현재 모델 수준에서는 과장되었을 수 있음을 시사합니다.
그러나 LLM 이 실험의 초기 진입 장벽을 낮추고 진행을 가속화한다는 점은 여전히 바이오보안 리스크 관리에 있어 지속적인 모니터링이 필요함을 강조합니다.
평가 방법론의 발전: 단순한 성공/실패 이진법 (binary) 이 아닌, 단계별 진행 (progression through steps) 을 측정하는 것이 LLM 의 실제 영향력을 파악하는 데 더 민감한 지표임을 보여주었습니다.
5. 결론
2025 년 중반의 LLM 은 생물학 초보자가 복잡한 실험실 절차를 완전히 독립적으로 수행하는 능력을 비약적으로 향상시키지는 못했습니다. 하지만 세포 배양과 같은 특정 과제에서 수행력을 modest하게 향상시키고, 실험 프로토콜의 초기 진입 장벽을 낮추어 진행을 가속화하는 효과는 있었습니다. 이는 AI 의 생물학적 위험 평가가 단순한 디지털 벤치마크 점수가 아닌, 물리적 세계에서의 인간-AI 상호작용에 대한 지속적인 실증적 검증을 기반으로 해야 함을 강조합니다.